JP2019200729A - 電子機器、制御装置、制御方法、及びプログラム - Google Patents

電子機器、制御装置、制御方法、及びプログラム Download PDF

Info

Publication number
JP2019200729A
JP2019200729A JP2018096496A JP2018096496A JP2019200729A JP 2019200729 A JP2019200729 A JP 2019200729A JP 2018096496 A JP2018096496 A JP 2018096496A JP 2018096496 A JP2018096496 A JP 2018096496A JP 2019200729 A JP2019200729 A JP 2019200729A
Authority
JP
Japan
Prior art keywords
image data
unit
related word
image
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018096496A
Other languages
English (en)
Inventor
賢二 木村
Kenji Kimura
賢二 木村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2018096496A priority Critical patent/JP2019200729A/ja
Priority to US16/412,857 priority patent/US20190354760A1/en
Priority to CN201910408504.XA priority patent/CN110502093A/zh
Publication of JP2019200729A publication Critical patent/JP2019200729A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/535Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233Character input methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/70Details of telephonic subscriber devices methods for entering alphabetical characters, e.g. multi-tap or dictionary disambiguation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】ユーザが文章を入力する際の手間及び誤記を低減する。【解決手段】電子機器(1)は、画像データを記憶する記憶部(30)と、表示部(40)と、制御部(10)とを備え、制御部(10)は、記憶部(30)からユーザに選択された画像データを被選択画像データとして取得する画像データ取得処理と、被選択画像データについて関連するワードを画像関連ワードとして選定する関連ワード選定処理と、画像関連ワードを被選択画像データとともに表示部(40)に表示する表示処理と、を行う。【選択図】図1

Description

本発明は電子機器、制御装置、制御方法、及びプログラムに関する。
従来、SNS(Social Networking Service)等のコミュニケーションサービスを多くのユーザが利用している。ユーザは、文書等を前記コミュニケーションサービスに投稿する等して前記コミュニケーションサービスを活用している。このような状況において、ユーザが文書等を前記コミュニケーションサービスに投稿し易い方法が求められている。
例えば、特許文献1に開示されているコメント投稿支援システムは、コミュニケーションシステムに対してユーザにより投稿されたコメントに、そのユーザにより提供される商品またはサービスを対応付ける。また、前記コメント投稿支援システムは、ユーザによって投稿されたコメントに対応付けられた商品またはサービスに応じた新たなコメントをそのユーザに提供する。
特開2012−164273号公報(2012年8月30日公開)
特許文献1に開示されているコメント投稿支援システムでは、商品またはサービスを提供するユーザによる、コミュニーションサービスへのコメントの投稿の有無に基づいて、ユーザへコメントをおすすめすることを可能とする効果を奏する。しかしながら、特許文献1に開示されているコメント投稿支援システムは、さらなる改善の余地を有している。
本発明の一態様は、ユーザが文章を入力する際の手間及び誤記を低減することを目的とする。
上記の課題を解決するために、本発明の一態様に係る電子機器は、画像データを記憶する少なくとも1つの記憶部と、少なくとも1つの表示部と、少なくとも1つの制御部とを備えた電子機器であって、前記制御部は、前記記憶部からユーザに選択された画像データを被選択画像データとして取得する画像データ取得処理と、前記被選択画像データについて関連するワードを画像関連ワードとして選定する関連ワード選定処理と、前記画像関連ワードを前記被選択画像データとともに前記表示部に表示する表示処理と、を行う。
本発明の一態様に係る制御方法は、画像データを記憶する少なくとも1つの記憶部と、少なくとも1つの表示部と、少なくとも1つの制御部とを備えた電子機器の制御方法であって、前記制御部が、前記記憶部からユーザに選択された画像データを被選択画像データとして取得する画像データ取得処理と、前記被選択画像データについて関連するワードを画像関連ワードとして選定する関連ワード選定処理と、前記画像関連ワードを前記被選択画像データとともに前記表示部に表示する表示処理と、を実行する。
本発明の一態様に係る制御装置は、画像データを記憶する少なくとも1つの記憶部と、少なくとも1つの表示部とを備えた電子機器を制御する制御装置であって、前記記憶部からユーザに選択された画像データを被選択画像データとして取得する画像データ取得処理部と、前記被選択画像データについて関連するワードを画像関連ワードとして選定する関連ワード選定処理部と、前記画像関連ワードを前記被選択画像データとともに前記表示部に表示する表示処理部と、を備えている。
本発明の一態様によれば、ユーザが文章を入力する際の手間及び誤記を低減することができる。
本発明の実施形態1に係る電子機器の構成を示すブロック図である。 図1に示す電子機器が備える関連ワード選定処理部の構成を示すブロック図である。 図1に示す電子機器が行う処理を示すフローチャートである。 (a)は、電子機器が備える表示部の表示を示す図であり、(b)は、表示部が表示する画像選択画面を示す図である。 (a)は、電子機器が備える表示部に画像関連ワードが選択可能なメニューが表示されている様子を示す図であり、(b)は、表示部に画像関連ワードが入力された様子を示す図である。 本発明の実施形態2に係る電子機器の構成を示すブロック図である。
〔実施形態1〕
(電子機器1の要部構成)
図1は、本発明の実施形態1に係る電子機器1の構成を示すブロック図である。図2は、電子機器1が備える関連ワード選定処理部230の構成を示すブロック図である。電子機器1としては、例えば、スマートフォン等の情報端末が挙げられる。
電子機器1は、図1に示すように、制御部10、カメラ20、記憶部30、及び表示部40を備えており、クラウドサーバー2と通信を行う。制御部10、記憶部30、及び表示部40については、単数であってもよいし、複数であってもよい。また、制御部10を備え、電子機器1を制御する制御装置についても本発明の範疇に入る。この制御装置は、単数であってもよいし、複数であってもよい。
制御部10は、文字入力アプリ実行部100、SNSクライアントアプリ実行部200、カメラ制御アプリ実行部300、及び管理/表示アプリ実行部(表示処理部)400を備えている。
文字入力アプリ実行部100は、ユーザによる操作に応じて文字入力処理を行う。なお、文字入力アプリ実行部100に関して、既存の文字入力アプリには、拡張機能を解放することによりプラグイン形式で機能を拡張することができるものがある。このようなアプリに対しては、プラグイン形式で拡張機能を提供してもよい。
SNSクライアントアプリ実行部200は、SNSサーバー27に文章及び/または画像等を送信する。また、SNSクライアントアプリ実行部200は、入力受付部210、画像データ取得処理部220、関連ワード選定処理部230、選定ワードメニュー処理部240、及び文章/画像送信操作部250を備えている。
入力受付部210は、文字入力アプリ実行部100からの入力文字を受け付ける。画像データ取得処理部220は、管理/表示アプリ実行部400を介して、記憶部30からユーザに選択された画像データを被選択画像データとして取得する。
関連ワード選定処理部230は、当該被選択画像データについて関連するワードを画像関連ワードとして選定する。また、関連ワード選定処理部230は、図2に示すように、画像認識エンジン231、顔認識エンジン232、位置情報取得部233、及び環境情報取得部234を備えている。
画像認識エンジン231は、記憶部30から取得された被選択画像データに含まれる被写体に関する被写体情報を前記画像データから認識する。顔認識エンジン232は、前記画像データに含まれる被写体としての人物の顔に係る顔情報を前記画像データから認識する。なお、画像認識エンジン231が画像データから被写体情報を認識する方法、及び顔認識エンジン232が画像データから顔情報を認識する方法は公知であるため、ここでは説明を省略する。
位置情報取得部233は、前記画像データが撮影された位置を示すものとして前記画像データに関連づけられた位置情報を取得する。環境情報取得部234は、前記画像データが撮影された環境を示すものとして前記画像データに関連づけられた環境情報を取得する。また、環境情報取得部234は、カメラ制御アプリ実行部300によって設定されたカメラ20の設定内容に関するデータを取得する。
選定ワードメニュー処理部240は、前記画像関連ワードをメニューとして表示部40に表示する処理を行う。文章/画像送信操作部250は、SNSサーバー27に文章及び/または画像を送信する操作を行う。
カメラ制御アプリ実行部300は、カメラ20を制御し、カメラ20の設定を行う。管理/表示アプリ実行部400は、記憶部30に記憶されている画像データを表示部40に表示し、画像データを選択する。
カメラ20は、電子機器1の外部の様子を撮影する撮像装置である。記憶部30は、カメラ20で電子機器1の外部の様子を撮影することにより生成された画像データ等を記憶する。表示部40は、例えば、ディスプレイであり、当該画像データ及び/または文字入力アプリ実行部100によって入力された文字等を表示する。
クラウドサーバー2は、情報取得サーバー25、位置情報提供サーバー26、及びSNSサーバー27を備えている。クラウドサーバー2は、例えば、データまたはソフトウェアの所在を意識することなく、ネットワークに接続された複数の装置にそれぞれの機能を持たせ、必要に応じて必要な情報を取り出すことができるクラウドサービスである。
情報取得サーバー25は、電子機器1の内部で得ることができない情報を、インターネットを介して取得するサーバーである。位置情報提供サーバー26は、位置情報取得部233によって取得された位置情報を参照し、前記位置情報についてインターネットを介して位置の名称を取得するサーバーである。SNSサーバー27は、電子機器1から受信したデータに基づいて、各種サービスを提供するサーバーである。
(電子機器1の処理)
次に、電子機器1の処理(制御方法)について、図3〜図5を用いて説明する。図3は、電子機器1が行う処理を示すフローチャートである。図4の(a)は、電子機器1が備える表示部40の表示を示す図である。図4の(b)は、表示部40が表示する画像選択画面を示す図である。図5の(a)は、電子機器1が備える表示部40に画像関連ワードが選択可能なメニューが表示されている様子を示す図である。図5の(b)は、表示部40に画像関連ワードが入力された様子を示す図である。
図3に示すように、まず、文字入力アプリ実行部100は、ユーザによる操作に応じて文字入力処理を行う(ステップS10)。具体的には、ユーザが、図4の(a)に示す入力操作部420を操作する。入力操作部420は、文字入力アプリ実行部100によって表示部40の下方に表示された領域である。
ユーザによって入力操作部420が操作されると、文字入力アプリ実行部100は、図4の(a)に示す入力表示部410に対して文字入力処理を行う。入力表示部410は、入力受付部210によって表示部40の上方に表示された領域である。文字入力アプリ実行部100が文字入力処理を行うと、入力受付部210は、文字入力アプリ実行部100からの入力文字を受け付ける。
入力受付部210は、文字入力アプリ実行部100からの入力文字を受け付けると、入力文字を表示部40に表示する(ステップS20)。入力受付部210は、表示部40に表示された入力文字(文章)のデータを文章/画像送信操作部250に供給する。一方、画像データの添付を行う場合(ステップS30にてYESの場合)、ユーザが、図4の(a)に示す画像添付ボタン430を押下する。画像添付ボタン430は、画像データ取得処理部220によって表示部40のうち入力表示部410と入力操作部420との間に表示されるボタンである。
ユーザによって画像添付ボタン430が押下されると、管理/表示アプリ実行部400は、記憶部30に記憶されている複数の画像データを取得する。なお、記憶部30に画像データが記憶されていない場合、ユーザによって画像添付ボタン430が押下された後、画像データ取得処理部220がカメラ制御アプリ実行部300にカメラ20を起動するように指示してもよい。このとき、カメラ20が起動し、ユーザによる操作によってカメラ20で撮影が行われた後、カメラ20で外部の様子を撮影することにより生成された画像データが記憶部30に記憶される。
また、ユーザによって画像添付ボタン430が押下された後、記憶部30に既に記憶されている画像データを選択する動作、及びカメラ20を起動する動作のうちいずれか一方をユーザが選択することができるようにしてもよい。
管理/表示アプリ実行部400は、図4の(b)に示すように、表示部40に複数の画像データ(画像選択画面)を表示する。このとき、例えば、複数の画像データのうち、カメラ20によって撮影されることにより生成された画像データp1をユーザが選択した場合を考える。この場合、管理/表示アプリ実行部400は、ユーザに選択された画像データp1を画像データ取得処理部220に供給し、表示部40に表示する。なお、ユーザは表示部40に表示された複数の画像データのうち2つ以上の画像データを選択することもできる。
画像データ取得処理部220は、管理/表示アプリ実行部400から供給された画像データp1を被選択画像データとして取得する。画像データ取得処理部220は、取得した画像データp1を入力表示部410に添付する(ステップS40)。また、画像データ取得処理部220は、取得した画像データp1を文章/画像送信操作部250に供給する。
画像データ取得処理部220が入力表示部410に画像データp1を添付すると、画像データ取得処理部220は、関連ワード選定処理部230に後述する画像関連ワードを選定するように指示し、関連ワード選定処理部230に画像データp1を供給する(ステップS50)。
関連ワード選定処理部230は、画像データ取得処理部220によって添付された画像データp1を参照する。このとき、図2に示す画像認識エンジン231は、画像データp1を認識し、図5の(a)に示す画像データp1に含まれる被写体s1〜s5に関する被写体情報を画像データp1から認識する。関連ワード選定処理部230は、被写体s1〜s5に関する被写体情報を画像認識エンジン231から取得する。
関連ワード選定処理部230が画像関連ワードを選定することができた場合(ステップS55にてYESの場合)について以下に説明する。関連ワード選定処理部230は、被写体s1〜s5に関する被写体情報それぞれに対して、画像関連ワードとして「鹿」、「海」、「山」、「晴れ」、及び「鳥居」を選定する。
具体的には、関連ワード選定処理部230は、被写体s1〜s5に関する被写体情報を参照することにより、被写体s1〜s3、s5の名称、及び被写体s4の天気の状態の名称を画像関連ワードとして選定する。つまり、関連ワード選定処理部230は、画像データp1に含まれる被写体s1〜s5に関する被写体情報を画像認識エンジン231から取得し、当該被写体情報に基づき画像関連ワードを選定する。
なお、関連ワード選定処理部230が被写体情報に基づき画像関連ワードを選定することができない場合、画像認識エンジン231は、認識した被写体情報を情報取得サーバー25に供給する。情報取得サーバー25は、電子機器1の内部で得ることができない情報を、インターネットを介して取得し、取得した情報を画像認識エンジン231に供給する。関連ワード選定処理部230は、情報取得サーバー25から画像認識エンジン231に供給された情報を参照することにより画像関連ワードを選定する。
図2に示す顔認識エンジン232は、画像データp1を認識し、図5の(a)に示す画像データp1に被写体としての人物の顔に係る顔情報が含まれていないと判断し、画像データp1から顔情報を認識しない。
なお、画像データ取得処理部220によって添付された画像データに当該顔情報が含まれている場合、顔認識エンジン232は、画像データを認識し、画像データに含まれる顔情報を画像データから認識する。顔認識エンジン232は、認識した顔情報を情報取得サーバー25に供給する。情報取得サーバー25は、電子機器1の内部で得ることができない情報を、インターネットを介して取得し、取得した情報を顔認識エンジン232に供給する。
関連ワード選定処理部230は、情報取得サーバー25から顔認識エンジン232に供給された情報を参照することにより、被写体としての人物の名前を画像関連ワードとして選定する。つまり、関連ワード選定処理部230は、画像データに含まれる被写体としての人物の顔に係る顔情報を顔認識エンジン232から取得し、当該顔情報に基づき画像関連ワードを選定する。
図2に示す位置情報取得部233は、図5の(a)に示す画像データp1を認識し、画像データp1が撮影された位置を示すものとして画像データp1に関連づけられた位置情報を取得する。位置情報取得部233は、取得した位置情報を位置情報提供サーバー26に供給する。
位置情報提供サーバー26は、位置情報取得部233から供給された位置情報、及び/またはカメラ20での画像データp1の撮影時にGPS(Global Positioning System)により取得された情報を参照する。位置情報取得部233は、前記位置情報及び/またはGPSにより取得された情報についてインターネットを介して位置の名称を取得する。なお、前記位置情報は、画像データp1に含まれる情報であり、カメラ20での撮影時にGPSにより取得された情報は、カメラ制御アプリ実行部300から位置情報提供サーバー26に供給される。
このとき、画像データp1について、位置情報提供サーバー26が取得した位置の名称は、「M島」及び「I神社」である。位置情報提供サーバー26は、取得した位置の名称を位置情報取得部233に供給する。関連ワード選定処理部230は、位置情報提供サーバー26から位置情報取得部233に供給された位置の名称を参照することにより、画像関連ワードとして「M島」及び「I神社」を選定する。つまり、関連ワード選定処理部230は、画像データp1が撮影された位置を示すものとして画像データp1に関連づけられた位置情報を取得し、当該位置情報に基づき画像関連ワードを選定する。
図2に示す環境情報取得部234は、画像データp1を認識し、図5の(a)に示す画像データp1が撮影された環境を示すものとして画像データp1に関連づけられた環境情報を取得する。具体的には、環境情報取得部234は、カメラ20での撮影時に画像データp1が生成されたとき、カメラ制御アプリ実行部300からカメラ20の設定内容に関するデータ(環境情報)を取得する。
このとき、例えば、カメラ20の設定として夜景を撮影するシーンが設定されている場合、関連ワード選定処理部230は、環境情報取得部234が取得したカメラ20の設定内容に関するデータを参照することにより、画像関連ワードとして「夜景」を選定する。つまり、関連ワード選定処理部230は、環境情報取得部234が取得した環境情報に基づき画像関連ワードを選定する。なお、関連ワード選定処理部230が画像関連ワードを最終的に選定することができなかった場合(ステップS55にてNOの場合)、ステップS80に移る。
関連ワード選定処理部230は、選定した画像関連ワードを選定ワードメニュー処理部240に供給する。選定ワードメニュー処理部240は、図5の(a)に示すように、選定した画像関連ワードをリスト化し、リスト化した画像関連ワードを選択可能なメニュー450として表示部40に表示する(ステップS60)。
なお、このとき、ユーザは、図5の(a)に示すリストON/OFF切り替えボタン460を押下することにより、メニュー450を非表示にすることができる。リストON/OFF切り替えボタン460を再度押下すると、メニュー450を表示させることができる。リストON/OFF切り替えボタン460は、選定ワードメニュー処理部240によって表示部40のうち入力表示部410と入力操作部420との間に表示されるボタンである。メニュー450の表示と非表示との切り替えは、リストON/OFF切り替えボタン460を設ける方法以外の方法で行われてもよい。
リスト化された画像関連ワードが選択可能なメニュー450として表示部40に表示された後、ユーザは、メニュー450から文章に利用する画像関連ワードを選択する(ステップS70)。ユーザが画像関連ワードを選択すると、選定ワードメニュー処理部240は、ユーザによって選択された画像関連ワードを示す情報を入力受付部210に供給する。
入力受付部210は、選定ワードメニュー処理部240から供給された画像関連ワードを示す情報を参照し、ユーザによって選択された画像関連ワードを入力表示部410に表示する。つまり、ユーザがメニュー450から文章に利用する画像関連ワードを選択すると、図5の(b)に示すように、ユーザによって選択された画像関連ワードが入力表示部410に入力される。入力受付部210は、表示部40に表示された入力文字(文章)及び画像のデータを文章/画像送信操作部250に供給する。
また、画像データの添付を行わない、または画像データの添付が完了した場合(ステップS30にてNOの場合)、ステップS80に移る。ステップS80において、ユーザが文字の入力を完了していない場合(ステップS80にてNOの場合)、ステップS10の処理に戻る。
ステップS10〜ステップS80を繰り返し行うことにより、ユーザは、入力操作部420からの入力、及びメニュー450からの入力を組み合わせて行うことができる。例えば、ユーザは、「今、I神社にいる。今日のM島は晴れ!鹿も気持ち良さそうにしている。」というような文章を作成することができる。この文章のうち「I神社」、「M島」、「晴れ」、及び「鹿」というワードは、メニュー450から入力されたものであり、これらのワード以外のワードは、入力操作部420から入力されたものである。
ステップ80において、ユーザが文字の入力を完了した場合(ステップS80にてYESの場合)、ユーザは表示部40に表示されている投稿ボタン440を押下する(ステップS90)。投稿ボタン440は、例えば、図5の(a)、(b)に示すように、表示部40の右上に表示されている。投稿ボタン440は、SNSサーバー27に文章及び/または画像を送信するためのものである。
ユーザによって投稿ボタン440を押下されると、文章/画像送信操作部250は、SNSサーバー27に、表示部40に表示された入力文字(文章)及び画像のデータを送信する(ステップS100)。
以上により、電子機器1では、被選択画像データについて関連するワードを画像関連ワードとして選定し、画像関連ワードを被選択画像データとともに表示部40に表示する。これにより、例えば、ユーザによって選択された画像関連ワードが入力される場合、ユーザによる文章入力を支援することができるため、ユーザが文章を入力する際の手間及び誤記を低減することができる。
また、電子機器1は、画像データp1に含まれる被写体に関する被写体情報を認識し、当該被写体情報に基づき画像関連ワードを選定する。これにより、画像データp1に含まれる被写体に関する被写体情報に基づいた画像関連ワードを被選択画像データとともに表示部40に表示することができる。
さらに、電子機器1は、画像データに含まれる被写体としての人物の顔に係る顔情報を認識し、当該顔情報に基づき画像関連ワードを選定する。これにより、画像データに含まれる被写体としての人物の顔に係る顔情報に基づいた画像関連ワードを被選択画像データとともに表示部40に表示することができる。
電子機器1は、画像データp1が撮影された環境を示すものとして画像データp1に関連づけられた環境情報を取得し、当該環境情報に基づき画像関連ワードを選定する。これにより、画像データp1が撮影された環境を示すものとして画像データp1に関連づけられた環境情報に基づいた画像関連ワードを被選択画像データとともに表示部40に表示することができる。
電子機器1は、画像データp1が撮影された位置を示すものとして画像データp1に関連づけられた位置情報を取得し、当該位置情報に基づき画像関連ワードを選定する。これにより、画像データp1が撮影された位置を示すものとして画像データp1に関連づけられた位置情報に基づいた画像関連ワードを被選択画像データとともに表示部40に表示することができる。
〔実施形態2〕
図6は、本発明の実施形態2に係る電子機器1aの構成を示すブロック図である。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
電子機器1aは、図6に示すように、電子機器1と比べて、制御部10が制御部10aに変更されている点が異なる。制御部10aは、制御部10と比べて、文字入力アプリ実行部100及びSNSクライアントアプリ実行部200がそれぞれ、文字入力アプリ実行部100a及びSNSクライアントアプリ実行部200aに変更されている点が異なる。
電子機器1aでは、入力受付部110、画像データ取得処理部120、関連ワード選定処理部130、及び選定ワードメニュー処理部140を文字入力アプリ実行部100aに設けている。入力受付部110、画像データ取得処理部120、関連ワード選定処理部130、及び選定ワードメニュー処理部140は、入力受付部210、画像データ取得処理部220、関連ワード選定処理部230、及び選定ワードメニュー処理部240と同一の処理を行う。
以上のように、入力受付部110、画像データ取得処理部120、関連ワード選定処理部130、及び選定ワードメニュー処理部140を文字入力アプリ実行部100aに設けることにより、文字入力アプリ実行部100aで画像関連ワードを選定することもできる。
〔ソフトウェアによる実現例〕
電子機器1、1aの制御ブロック(特に制御部10及び制御部10a)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
後者の場合、電子機器1、1aは、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも1つのプロセッサ(制御装置)を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも1つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばCPU(Central Processing Unit)を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ROM(Read Only Memory)等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するRAM(Random Access Memory)などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
〔まとめ〕
本発明の態様1に係る電子機器(1、1a)は、画像データを記憶する少なくとも1つの記憶部(30)と、少なくとも1つの表示部(40)と、少なくとも1つの制御部(10)とを備えた電子機器であって、前記制御部は、前記記憶部からユーザに選択された画像データを被選択画像データとして取得する画像データ取得処理と、前記被選択画像データについて関連するワードを画像関連ワードとして選定する関連ワード選定処理と、前記画像関連ワードを前記被選択画像データとともに前記表示部に表示する表示処理と、を行う。
上記構成によれば、被選択画像データについて関連するワードを画像関連ワードとして選定し、画像関連ワードを被選択画像データとともに表示部に表示する。これにより、例えば、ユーザによって選択された画像関連ワードが入力される場合、ユーザによる文章入力を支援することができるため、ユーザが文章を入力する際の手間及び誤記を低減することができる。
本発明の態様2に係る電子機器(1、1a)は、上記態様1において、前記制御部(10)は、前記被選択画像データを認識し、前記被選択画像データに含まれる被写体に関する被写体情報を取得し、当該被写体情報に基づき前記画像関連ワードを選定することが好ましい。
上記構成によれば、被選択画像データに含まれる被写体に関する被写体情報を取得し、当該被写体情報に基づき画像関連ワードを選定する。これにより、被選択画像データに含まれる被写体に関する被写体情報に基づいた画像関連ワードを被選択画像データとともに表示部に表示することができる。
本発明の態様3に係る電子機器(1、1a)は、上記態様1または2において、前記制御部(10)は、前記被選択画像データを認識し、前記被選択画像データに含まれる被写体としての人物の顔に係る顔情報を取得し、当該顔情報に基づき前記画像関連ワードを選定することが好ましい。
上記構成によれば、被選択画像データに含まれる被写体としての人物の顔に係る顔情報を取得し、当該顔情報に基づき画像関連ワードを選定する。これにより、被選択画像データに含まれる被写体としての人物の顔に係る顔情報に基づいた画像関連ワードを被選択画像データとともに表示部に表示することができる。
本発明の態様4に係る電子機器(1、1a)は、上記態様1から3のいずれかにおいて、前記制御部(10)は、前記被選択画像データを認識し、前記被選択画像データが撮影された環境を示すものとして前記被選択画像データに関連づけられた環境情報を取得し、当該環境情報に基づき前記画像関連ワードを選定することが好ましい。
上記構成によれば、被選択画像データが撮影された環境を示すものとして被選択画像データに関連づけられた環境情報に基づいた画像関連ワードを被選択画像データとともに表示部に表示することができる。
本発明の態様5に係る電子機器(1、1a)は、上記態様1から4のいずれかにおいて、前記制御部(10)は、前記被選択画像データを認識し、前記被選択画像データが撮影された位置を示すものとして前記被選択画像データに関連づけられた位置情報を取得し、当該位置情報に基づき前記画像関連ワードを選定することが好ましい。
上記構成によれば、被選択画像データが撮影された位置を示すものとして被選択画像データに関連づけられた位置情報に基づいた画像関連ワードを被選択画像データとともに表示部に表示することができる。
本発明の態様6に係る制御方法は、画像データを記憶する少なくとも1つの記憶部(30)と、少なくとも1つの表示部(40)と、少なくとも1つの制御部(10、10a)とを備えた電子機器(1、1a)の制御方法であって、前記制御部が、前記記憶部からユーザに選択された画像データを被選択画像データとして取得する画像データ取得処理と、前記被選択画像データについて関連するワードを画像関連ワードとして選定する関連ワード選定処理と、前記画像関連ワードを前記被選択画像データとともに前記表示部に表示する表示処理と、を実行する。上記構成によれば、上記態様1と同様の効果を奏する。
本発明の態様7に係る制御装置は、画像データを記憶する少なくとも1つの記憶部(30)と、少なくとも1つの表示部(40)とを備えた電子機器(1、1a)を制御する制御装置であって、前記記憶部からユーザに選択された画像データを被選択画像データとして取得する画像データ取得処理部(220)と、前記被選択画像データについて関連するワードを画像関連ワードとして選定する関連ワード選定処理部(230)と、前記画像関連ワードを前記被選択画像データとともに前記表示部に表示する表示処理部(管理/表示アプリ実行部400)と、を備えている。上記構成によれば、上記態様1と同様の効果を奏する。
本発明の各態様に係る電子機器(1、1a)は、コンピュータによって実現してもよく、この場合には、コンピュータを上記電子機器が備える各部(ソフトウェア要素)として動作させることにより上記電子機器をコンピュータにて実現させる電子機器の制御プログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
1、1a 電子機器 2 クラウドサーバー
10、10a 制御部 20 カメラ
25 情報取得サーバー 26 位置情報提供サーバー
27 SNSサーバー 30 記憶部
40 表示部 100、100a 文字入力アプリ実行部
110、210 入力受付部 120、220 画像データ取得処理部
130、230 関連ワード選定処理部
140、240 選定ワードメニュー処理部
200、200a SNSクライアントアプリ実行部
231 画像認識エンジン 232 顔認識エンジン
233 位置情報取得部 234 環境情報取得部
250 文章/画像送信操作部 300 カメラ制御アプリ実行部
400 管理/表示アプリ実行部 410 入力表示部
420 入力操作部 430 画像添付ボタン
440 投稿ボタン 450 メニュー
460 リストON/OFF切り替えボタン
p1 画像データ s1〜s5 被写体

Claims (8)

  1. 画像データを記憶する少なくとも1つの記憶部と、少なくとも1つの表示部と、少なくとも1つの制御部とを備えた電子機器であって、
    前記制御部は、
    前記記憶部からユーザに選択された画像データを被選択画像データとして取得する画像データ取得処理と、
    前記被選択画像データについて関連するワードを画像関連ワードとして選定する関連ワード選定処理と、
    前記画像関連ワードを前記被選択画像データとともに前記表示部に表示する表示処理と、を行うことを特徴とする電子機器。
  2. 前記制御部は、前記被選択画像データを認識し、前記被選択画像データに含まれる被写体に関する被写体情報を取得し、当該被写体情報に基づき前記画像関連ワードを選定することを特徴とする請求項1に記載の電子機器。
  3. 前記制御部は、前記被選択画像データを認識し、前記被選択画像データに含まれる被写体としての人物の顔に係る顔情報を取得し、当該顔情報に基づき前記画像関連ワードを選定することを特徴とする請求項1または2に記載の電子機器。
  4. 前記制御部は、前記被選択画像データを認識し、前記被選択画像データが撮影された環境を示すものとして前記被選択画像データに関連づけられた環境情報を取得し、当該環境情報に基づき前記画像関連ワードを選定することを特徴とする請求項1から3のいずれか1項に記載の電子機器。
  5. 前記制御部は、前記被選択画像データを認識し、前記被選択画像データが撮影された位置を示すものとして前記被選択画像データに関連づけられた位置情報を取得し、当該位置情報に基づき前記画像関連ワードを選定することを特徴とする請求項1から4のいずれか1項に記載の電子機器。
  6. 画像データを記憶する少なくとも1つの記憶部と、少なくとも1つの表示部と、少なくとも1つの制御部とを備えた電子機器の制御方法であって、
    前記制御部が、
    前記記憶部からユーザに選択された画像データを被選択画像データとして取得する画像データ取得処理と、
    前記被選択画像データについて関連するワードを画像関連ワードとして選定する関連ワード選定処理と、
    前記画像関連ワードを前記被選択画像データとともに前記表示部に表示する表示処理と、を実行することを特徴とする制御方法。
  7. 上記請求項1に記載の電子機器に係る制御装置における各処理をコンピュータに実行させるためのプログラム。
  8. 画像データを記憶する少なくとも1つの記憶部と、少なくとも1つの表示部とを備えた電子機器を制御する制御装置であって、
    前記記憶部からユーザに選択された画像データを被選択画像データとして取得する画像データ取得処理部と、
    前記被選択画像データについて関連するワードを画像関連ワードとして選定する関連ワード選定処理部と、
    前記画像関連ワードを前記被選択画像データとともに前記表示部に表示する表示処理部と、を備えていることを特徴とする制御装置。
JP2018096496A 2018-05-18 2018-05-18 電子機器、制御装置、制御方法、及びプログラム Pending JP2019200729A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018096496A JP2019200729A (ja) 2018-05-18 2018-05-18 電子機器、制御装置、制御方法、及びプログラム
US16/412,857 US20190354760A1 (en) 2018-05-18 2019-05-15 Electronic device, control device, and control method
CN201910408504.XA CN110502093A (zh) 2018-05-18 2019-05-16 电子设备、控制装置、控制方法、及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018096496A JP2019200729A (ja) 2018-05-18 2018-05-18 電子機器、制御装置、制御方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2019200729A true JP2019200729A (ja) 2019-11-21

Family

ID=68532896

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018096496A Pending JP2019200729A (ja) 2018-05-18 2018-05-18 電子機器、制御装置、制御方法、及びプログラム

Country Status (3)

Country Link
US (1) US20190354760A1 (ja)
JP (1) JP2019200729A (ja)
CN (1) CN110502093A (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9143573B2 (en) * 2008-03-20 2015-09-22 Facebook, Inc. Tag suggestions for images on online social networks
KR101263332B1 (ko) * 2009-09-11 2013-05-20 한국전자통신연구원 모바일 기기에서 사용자 상호작용을 이용한 자동 번역 장치 및 그 방법
US9269011B1 (en) * 2013-02-11 2016-02-23 Amazon Technologies, Inc. Graphical refinement for points of interest
US20160050387A1 (en) * 2013-03-28 2016-02-18 Nec Corporation Image recording device and image recording method
JP6114706B2 (ja) * 2014-02-28 2017-04-12 富士フイルム株式会社 検索システム及び検索システムの制御方法
US9864982B2 (en) * 2014-10-31 2018-01-09 The Toronto-Dominion Bank Image recognition-based payment requests
US10026023B2 (en) * 2016-08-11 2018-07-17 International Business Machines Corporation Sentiment based social media comment overlay on image posts

Also Published As

Publication number Publication date
US20190354760A1 (en) 2019-11-21
CN110502093A (zh) 2019-11-26

Similar Documents

Publication Publication Date Title
US11570359B2 (en) Method for providing different indicator for image based on shooting mode and electronic device thereof
US9407834B2 (en) Apparatus and method for synthesizing an image in a portable terminal equipped with a dual camera
CN117014567A (zh) 一种应用于电子设备的视频通话的显示方法及相关装置
US20050221857A1 (en) Portable telephone
KR102279674B1 (ko) 전자 장치의 멀티미디어 데이터 처리 방법 및 그 전자 장치
CN106534562B (zh) 文件删除方法及装置
JP2005267146A (ja) 画像認識機能を利用した電子メール作成方法および装置
CN114450969B (zh) 视频截屏方法、终端及计算机可读存储介质
KR20150099317A (ko) 이미지 처리 방법 및 장치
KR20170097980A (ko) 전자 장치의 컨텐트 그룹 공유 방법 및 그 전자 장치
KR100682727B1 (ko) 이동 통신 단말기의 영상 파일 관리 방법 및 그 이동 통신단말기
KR20170062038A (ko) 전자 장치 및 그의 동작 방법
JP2018045558A (ja) 制御装置、制御システム及び制御方法
CN113467663B (zh) 界面配置方法、装置、计算机设备及介质
CN113647092A (zh) 向应用提供与图像相关联的内容的电子装置和方法
CN109104564B (zh) 一种拍摄提示方法及终端设备
CN110543276B (zh) 图片的筛选方法及其终端设备
CN111587570A (zh) 信息设备、以及照相机图像共享系统
US9710494B2 (en) Display control apparatus capable of displaying list of images corresponding to contents, method of controlling the display control apparatus, and storage medium
JP2019200729A (ja) 電子機器、制御装置、制御方法、及びプログラム
KR20180014607A (ko) 이미지 합성 및 복원하는 전자 장치 및 방법
JP6277981B2 (ja) 情報コード画像表示システム、情報コード画像表示端末、情報コード画像表示プログラム
KR20120080379A (ko) 디지털 카메라의 이미지 어노테이션 처리 방법 및 장치
WO2016173136A1 (zh) 一种终端应用处理方法及其装置
JP5977697B2 (ja) 電子機器、および電子機器を制御するための方法