JP2013025725A - 情報処理装置、フレーズ出力方法及びプログラム - Google Patents

情報処理装置、フレーズ出力方法及びプログラム Download PDF

Info

Publication number
JP2013025725A
JP2013025725A JP2011162713A JP2011162713A JP2013025725A JP 2013025725 A JP2013025725 A JP 2013025725A JP 2011162713 A JP2011162713 A JP 2011162713A JP 2011162713 A JP2011162713 A JP 2011162713A JP 2013025725 A JP2013025725 A JP 2013025725A
Authority
JP
Japan
Prior art keywords
phrase
information processing
processing apparatus
unit
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011162713A
Other languages
English (en)
Other versions
JP2013025725A5 (ja
JP5845686B2 (ja
Inventor
Junichi Rekimoto
純一 暦本
Tatsushi Nashida
辰志 梨子田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011162713A priority Critical patent/JP5845686B2/ja
Priority to US13/551,908 priority patent/US9361316B2/en
Priority to CN201210251289.5A priority patent/CN102902704B/zh
Publication of JP2013025725A publication Critical patent/JP2013025725A/ja
Publication of JP2013025725A5 publication Critical patent/JP2013025725A5/ja
Application granted granted Critical
Publication of JP5845686B2 publication Critical patent/JP5845686B2/ja
Priority to US15/132,727 priority patent/US20160231890A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/638Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/274Converting codes to words; Guess-ahead of partial word inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/55Rule-based translation
    • G06F40/56Natural language generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2452Query translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/258Data format conversion from or to a database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】人物とのコミュニケーションにおいて効果的な言葉の選択を、実世界の状況の認識に基づいて動的に行うことのできる仕組みを提供する。
【解決手段】入力画像を取得する画像取得部と、人物へ提示される肯定的なフレーズを記憶しているデータベースから、前記入力画像に映る人物へ提示されるフレーズ候補を選択する選択部と、前記選択部により選択される前記フレーズ候補のうち少なくとも1つのフレーズを出力するフレーズ出力部と、を備える情報処理装置を提供する。
【選択図】図4

Description

本開示は、情報処理装置、フレーズ出力方法及びプログラムに関する。
一般的に、良好な人間関係を構築するためには相手を褒めることが効果的であると言われている。また、日常生活や仕事上でのモチベーションは、家族、友人、上司又は同僚などからの肯定的なフィードバックを得ることで高められる。しかし、肯定的な言葉であればどのような言葉であっても褒め言葉になるという訳ではない。相手を褒めることを意図していても、言葉の選択を失敗すれば、却って相手の気分を害する可能性もある。これは相手を貶めることを意図していても、言葉の選択を失敗すれば何らの効果も相手に与えられない可能性があることの裏返しでもある。
従来、ユーザにとって有益な情報を実世界の状況の認識に基づいて動的に選択し、選択した情報をユーザに提示する技術が提案されている(例えば、下記特許文献1参照)。
特開2010−67275号公報
しかしながら、人物とのコミュニケーションにおいて効果を発揮する言葉の選択を実世界の状況の認識に基づいて行うような技術は、これまでに知られていない。言葉の選択が適切であれば、例えば、人物ではなくコンピュータがユーザに誉め言葉を投げかけた場合であってもユーザに良好な感情を抱かせることは可能であると推測される。また、人物同士のコミュニケーションにおいて使用される言葉の選択をコンピュータが支援することも有益であろう。
従って、人物とのコミュニケーションにおいて効果的な言葉の選択を、実世界の状況の認識に基づいて動的に行うことのできる仕組みが提供されることが望ましい。
本開示によれば、入力画像を取得する画像取得部と、人物へ提示される肯定的なフレーズを記憶しているデータベースから、前記入力画像に映る人物へ提示されるフレーズ候補を選択する選択部と、前記選択部により選択される前記フレーズ候補のうち少なくとも1つのフレーズを出力するフレーズ出力部と、を備える情報処理装置が提供される。
また、本開示によれば、情報処理装置の制御部において、入力画像を取得することと、人物へ提示される肯定的なフレーズを記憶しているデータベースから、前記入力画像に映る人物へ提示されるフレーズ候補を選択することと、選択された前記フレーズ候補のうち少なくとも1つのフレーズを出力することと、を含むフレーズ出力方法が提供される。
また、本開示によれば、情報処理装置を制御するコンピュータを、入力画像を取得する画像取得部と、人物へ提示される肯定的なフレーズを記憶しているデータベースから、前記入力画像に映る人物へ提示されるフレーズ候補を選択する選択部と、前記選択部により選択される前記フレーズ候補のうち少なくとも1つのフレーズを出力するフレーズ出力部と、として機能させるための、プログラムが提供される。
本開示によれば、人物とのコミュニケーションにおいて効果的な言葉の選択を、実世界の状況の認識に基づいて動的に行うことのできる仕組みが提供される。
第1の実施形態に係る情報処理装置の概要について説明するための第1の説明図である。 第1の実施形態に係る情報処理装置の概要について説明するための第2の説明図である。 第2の実施形態に係る情報処理装置の概要について説明するための説明図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 第1の実施形態に係る情報処理装置の論理的機能の構成の一例を示すブロック図である。 外見モデルの第1の例に基づく特徴部分の特定について説明するための第1の説明図である。 外見モデルの第1の例に基づく特徴部分の特定について説明するための第2の説明図である。 外見モデルの第2の例に基づく特徴部分の特定について説明するための説明図である。 フレーズDBの構成の一例について説明するための説明図である。 履歴DBの構成の一例について説明するための説明図である。 第1の実施形態において表示され得るフレーズ出力画面の一例について説明するための説明図である。 第1の実施形態に係るフレーズ出力処理の流れの一例を示すフローチャートである。 第1の実施形態の一変形例に係る情報処理装置の論理的機能の構成の一例を示すブロック図である。 第2の実施形態に係る情報処理装置の論理的機能の構成の一例を示すブロック図である。 ユーザインタフェースを介する特徴部分の特定について説明するための説明図である。 ユーザインタフェースを介する出力フレーズの指定について説明するための説明図である。 ユーザインタフェースを介するフレーズの表示について説明するための説明図である。 人物ごとに異なるフレーズの出力について説明するための説明図である。 第2の実施形態に係るフレーズ出力処理の流れの一例を示すフローチャートである。 第2の実施形態の一変形例に係る情報処理装置の論理的機能の構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
1.概要
2.第1の実施形態の詳細
2−1.ハードウェア構成
2−2.機能構成
2−3.処理の流れ
2−4.第1の実施形態のまとめ
2−5.変形例の説明
3.第2の実施形態の詳細
3−1.ハードウェア構成
3−2.機能構成
3−3.処理の流れ
3−4.第2の実施形態のまとめ
3−5.変形例の説明
4.総括
<1.概要>
本節では、本明細書で開示される技術の2つの実施形態の概要について説明する。
図1A及び図1Bは、第1の実施形態に係る情報処理装置100の概要について説明するための説明図である。図1Aを参照すると、ユーザUaが有する情報処理装置100が示されている。情報処理装置100は、内側カメラである撮像部102と表示部110とを備える。ユーザUaが撮像部102のレンズを自分に向けると、撮像部102によりユーザUaを映した画像が撮像され、撮像画像が表示部102により表示される。図1Aに示した画像Im01は、情報処理装置100により撮像される画像の一例である。画像Im01には、ユーザUaの顔が映っている。情報処理装置100は、このような撮像画像を入力画像として取得し、ユーザUaの状況を認識する。そして、情報処理装置100は、認識した状況に基づいて、ユーザUaに投げかけるべき効果的なフレーズを動的に選択する。後に詳細に説明する第1の実施形態において、情報処理装置100により動的に選択されるフレーズは、ユーザUaを褒めるためのフレーズである。
図1Aでは、情報処理装置100の一例として携帯端末を示している。しかしながら、情報処理装置100は、かかる例に限定されない。情報処理装置100は、例えば、PC(Personal Computer)、PDA(Personal Digital Assistant)、スマートフォン、ゲーム端末、コンテンツプレーヤ又はデジタル家電機器などであってもよい。また、図1Bの例のように、情報処理装置100は、撮像部102と表示部110とを有する鏡付き化粧台のような装置であってもよい。
図2は、第2の実施形態に係る情報処理装置200の概要について説明するための説明図である。図2を参照すると、ユーザUa、並びに人物Ub及びUcが示されている。人物Ub及びUcは、ユーザUaのコミュニケーション相手である。ユーザUaは、情報処理装置200を有する。情報処理装置200は、外側カメラ(図示せず)を備える。ユーザUaが外側カメラのレンズを人物Ub及びUcに向けると、外側カメラにより人物Ub及びUcを映した画像が撮像される。図2に示した画像Im02は、情報処理装置200により撮像される画像の一例である。情報処理装置200は、このような撮像画像を入力画像として取得し、ユーザUaのコミュニケーション相手である人物Ub及びUcの状況を認識する。そして、情報処理装置200は、認識した状況に基づいて、人物Ub及びUcの各々に投げかけるべき効果的なフレーズを動的に選択する。後に詳細に説明する第2の実施形態において、情報処理装置200により動的に選択されるフレーズは、各人物を褒めるためのフレーズである。但し、第2の実施形態の変形例においては、各人物を褒める代わりに貶めるフレーズもまた選択され得る。
図2では、ユーザUaのコミュニケーション相手が2人存在する例を示しているが、ユーザUaのコミュニケーション相手は1人であってもよく、3人以上であってもよい。情報処理装置200もまた、上述した情報処理装置100と同様、例えば、PC、PDA、スマートフォン、ゲーム端末、コンテンツプレーヤ又はデジタル家電機器などであってよい。また、情報処理装置200は、HMD(Head Mounted Display)又は撮像機能を搭載した眼鏡などの特別な機器を用いて実現されてもよい。
<2.第1の実施形態の詳細>
次に、図1A及び図1Bに示した第1の実施形態に係る情報処理装置100について詳細に説明する。
[2−1.ハードウェア構成]
図3は、本実施形態に係る情報処理装置100のハードウェア構成の一例を示すブロック図である。図3を参照すると、情報処理装置100は、撮像部102、センサ部104、入力部106、記憶部108、表示部110、音声出力部112、通信部114、バス116及び制御部118を備える。
(1)撮像部
撮像部102は、画像を撮像するカメラモジュールである。撮像部102は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて被写体である人物を撮像し、撮像画像を生成する。第1の実施形態では、撮像部102は、内側カメラ(情報処理装置100のユーザの方向に向けられるカメラ)として構成される。従って、撮像部102により撮像される画像の被写体は、情報処理装置100のユーザである。なお、撮像部102は、必ずしも情報処理装置100の一部でなくてもよい。例えば、情報処理装置100と有線又は無線で接続される撮像装置が撮像部102として扱われてもよい。
(2)センサ部
センサ部104は、情報処理装置100の位置を検出するセンサモジュールである。例えば、センサ部104は、GPS(Global Positioning System)信号を受信して情報処理装置100の緯度、経度及び高度を測定するGPSセンサを含んでもよい。また、センサ部104は、無線アクセスポイントから受信される無線信号の強度に基づいて情報処理装置100の位置を測定する測位センサを含んでもよい。
(3)入力部
入力部106は、ユーザが情報処理装置100を操作し又は情報処理装置100へ情報を入力するために使用される入力デバイスである。入力部106は、例えば、表示部110の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。その代わりに(又はそれに加えて)、入力部106は、マウス若しくはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部106は、キーボード、キーパッド、ボタン又はスイッチなどのその他の種類の入力デバイスを含んでもよい。
(4)記憶部
記憶部108は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、情報処理装置100による処理のためのプログラム及びデータを記憶する。記憶部108により記憶されるデータは、例えば、撮像部102により生成される撮像画像データ、画像の解析の際に用いられるモデルデータ、フレーズデータ又は履歴データなどを含み得る。なお、本明細書で説明するプログラム及びデータの一部又は全部は、記憶部108により記憶されることなく、外部のデータソース(例えば、データサーバ、ネットワークストレージ又は外付けメモリなど)から取得されてもよい。
(5)表示部
表示部110は、LCD(Liquid Crystal Display)、OLED(Organic light-Emitting Diode)又はCRT(Cathode Ray Tube)などにより構成される表示モジュールである。表示部110は、例えば、情報処理装置100により選択されるフレーズをユーザに向けて表示するために使用されてよい。また、表示部110は、例えば、情報処理装置100が提供するユーザインタフェースのための画面を表示してもよい。なお、表示部110もまた、必ずしも情報処理装置100の一部でなくてもよい。例えば、情報処理装置100と有線又は無線で接続される表示装置が表示部110として扱われてもよい。
(6)音声出力部
音声出力部112は、典型的には、スピーカ及びアンプなどの回路を有する音声出力モジュールである。音声出力部112は、例えば、情報処理装置100により選択されるフレーズをユーザに向けて音声再生するために使用されてよい。
(7)通信部
通信部114は、情報処理装置100による他の装置との間の通信を仲介する通信インタフェースである。通信部114は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。
(8)バス
バス116は、撮像部102、センサ部104、入力部106、記憶部108、表示部110、音声出力部112、通信部114及び制御部118を相互に接続する。
(9)制御部
制御部118は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などのプロセッサに相当する。制御部118は、記憶部108又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する情報処理装置100の様々な機能を動作させる。
[2−2.機能構成]
図4は、図3に示した情報処理装置100の記憶部108及び制御部118により実現される論理的機能の構成の一例を示すブロック図である。図4を参照すると、情報処理装置100は、画像取得部120、個人識別部130、解析部140、モデルDB(データベース)142、フレーズ選択部150、フレーズDB152、ユーザインタフェース部160、フレーズ出力部170及び履歴DB172を含む。
(1)画像取得部
画像取得部120は、撮像部102により生成される撮像画像を入力画像として取得する。上述したように、本実施形態において、撮像部102は、情報処理装置100のユーザの方向に向けられいわゆる内側カメラのカメラモジュールである。従って、画像取得部120により取得される入力画像には、情報処理装置100のユーザが映る。当該入力画像は、静止画であってもよく、動画を構成する各フレームであってもよい。画像取得部120は、取得した入力画像を、個人識別部130、解析部140及びユーザインタフェース部160へ出力する。
(2)個人識別部
個人識別部130は、画像取得部120により取得される入力画像に映る人物を識別する。個人識別部130は、例えば、公知の画像認識技術に基づく個人識別アルゴリズムを用いて、入力画像に映る人物を識別してもよい。その代わりに、個人識別部130は、情報処理装置100にログインしているユーザが入力画像に映る人物であると識別してもよい。また、個人識別部130は、ユーザインタフェース部160を介してユーザID又はニックネームなどの識別情報をユーザに入力させることにより、入力画像に映る人物を識別してもよい。個人識別部130は、識別した個人を特定する情報を解析部140及びフレーズ選択部150へ出力する。
なお、1人のユーザのみが情報処理装置100を利用するような用途においては、個人識別部130による個人識別処理は省略されてもよい。
(3)解析部
解析部140は、出力されるフレーズの候補(以下、フレーズ候補という)のフレーズDB152からの選択の際に使用されるカテゴリを決定するために、画像取得部120から入力される入力画像を解析する。ここでのカテゴリは、フレーズDB152に蓄積されている複数のフレーズ候補を分類するカテゴリである。本実施形態において、フレーズDB152に蓄積されているフレーズ候補は、人物へ提示される肯定的なフレーズである。即ち、人物を褒める際に使用され得る様々な肯定的なフレーズが、フレーズDB152に予めカテゴリ別に蓄積される。後に詳しく説明するように、本実施形態においてフレーズ候補を分類するカテゴリは、少なくとも入力画像に映る人物の外見の特徴部分に対応するカテゴリを含む。
従って、解析部140は、入力画像を解析することにより、入力画像に映る人物の外見の特徴部分を特定する。そして、解析部140は、特定した特徴部分に対応するカテゴリを、選択されるべきフレーズ候補が属するべきカテゴリとして決定する。人物の外見の特徴部分とは、例えば、眼、鼻、口、肌、手又は足などの当該人物の体の一部分であってもよい。また、人物の外見の特徴部分とは、当該人物の表情、姿勢、髪型、服装、身につけている装身具又は化粧などであってもよい。
解析部140は、例えば、入力画像に映る人物の外見を外見モデルと比較することにより、当該人物の外見の特徴部分を特定する。図4に示したモデルDB142は、入力画像に映る人物の外見と比較される上記外見モデルを表すモデルデータを記憶する。以下、外見モデルの2つの例について説明する。
(3−1)第1の例
第1の例において、外見モデルは、個人識別部130により識別される人物の過去の外見に関するモデルである。図5Aの左上には、第1の例における外見モデルMd1が示されている。外見モデルMd1は、例えば、情報処理装置100のユーザUaについての平均的な外見を表す画像である。例えば、ユーザUaについて過去に撮像された複数の画像から、ユーザUaについての平均的な外見を表す画像が予め計算されてよい。一方、図5Aの左下には、画像取得部120から入力され得る入力画像Im11が示されている。
解析部140は、このような外見モデルMd1と入力画像Im11とを比較し、外見の各部について、外見モデルMd1により表されるユーザUaの外見からの入力画像Im11に映るユーザUaの外見の変化の程度をスコアリングする。図5Aの例では、「髪型」についてのスコアが「80」、「肌」についてのスコアが「50」、「体型」についてのスコアが「−5」、「笑顔」についてのスコアが「0」にそれぞれスコアリングされている。これらスコアの値は、例えばそれぞれ最大値が100となるように正規化された値であってよい。また、平均的な外見からの変化の程度だけでなく変化の方向にも意味のあるカテゴリ(例えば、「体型」に関する太った/痩せたなど)については、負の値がスコアリングされてもよい。解析部140は、このようにスコアリングされた各部についての値を所定の閾値と比較し、当該閾値を上回る値を有する(即ち、変化の程度の大きい)部分を特徴部分として特定する。図5Aの例では、「髪型」及び「肌」が、最新のユーザUaの外見の特徴部分として特定されている。
図5Bにも、図5Aの例と同様の第1の例における外見モデルMd1が示されている。図5Bの左下には、画像取得部120から入力され得る入力画像Im12が示されている。図5Bの例では、「髪型」についてのスコアが「0」、「肌」についてのスコアが「20」、「体型」についてのスコアが「40」、「笑顔」についてのスコアが「75」にそれぞれスコアリングされている。その結果、「体型」及び「笑顔」が、最新のユーザUaの外見の特徴部分として特定されている。
(3−2)第2の例
第2の例において、外見モデルは、複数の人物に適用される標準的な外見に関するモデルである。図6の左上には、第2の例における外見モデルMd2が示されている。外見モデルMd2は、例えば、複数の人物について予め撮像される複数の画像から計算され(又は顔及び体型の黄金比などの知見に基づいて作成され)、モデルDB142により記憶される。人物の性別又は年齢層ごとに異なる外見モデルMd2がモデルDB142により記憶されてもよい。図6の左下には、画像取得部120から入力され得る入力画像Im13が示されている。
解析部140は、このような外見モデルMd2と入力画像Im13とを比較し、外見の各部について、外見モデルMd2により表される標準的な人物の外見からの入力画像Im13に映るユーザUaの外見の差異の程度をスコアリングする。図6の例では、「肌」についてのスコアが「20」、「体型」についてのスコアが「−5」、「笑顔」についてのスコアが「10」、「眼」についてのスコアが「50」にそれぞれスコアリングされている。解析部140は、このようにスコアリングされた各部についての値を所定の閾値と比較し、当該閾値を上回る値を有する(即ち、差異の程度の大きい)部分を特徴部分として特定する。図6の例では、「眼」が、最新のユーザUaの外見の特徴部分として特定されている。
なお、上述した第1の例及び第2の例に関連し、ここでは外見モデルが画像データである例について主に説明した。しかしながら、外見モデルは、画像データではなく、例えば、外見に現れる特徴点の座標の集合であってもよい。また、外見モデルは、体の各部のサイズ、並びに明るさ及び色合いなどの様々なパラメータの集合であってもよい。また、解析部140は、第1の例及び第2の例の双方の外見モデルを入力画像に映る人物と比較してもよい。
また、解析部140は、いくつかの特徴部分を、入力画像を外見モデルと比較することなく特定してもよい。例えば、解析部140は、特開2008−311818号公報に記載されているような笑顔認識技術を用いて入力画像に映る人物の笑顔の程度をスコアリングし、所定の閾値を上回る値がスコアリングされた人物の特徴部分が「笑顔」であると特定してもよい。
また、解析部140は、入力画像に映る人物の顔を認識し、認識した顔の特徴に基づいて当該人物の性別又は年齢層などの属性を追加的に識別してもよい。このように識別される人物の属性もまた、フレーズDB152からのフレーズ候補の選択の際に使用され得る。
(4)フレーズ選択部
フレーズ選択部150は、複数の肯定的なフレーズを記憶しているフレーズDB152ら、入力画像に映る人物へ提示されるフレーズ候補を選択する。本実施形態において、フレーズDB152は、上述したように、人物の外見に関するカテゴリ別にフレーズを記憶している。そして、フレーズ選択部150は、解析部140により特定される特徴部分に対応するカテゴリに属するフレーズを、フレーズ候補として選択する。
図7は、フレーズDB152の構成の一例について説明するための説明図である。図7を参照すると、フレーズDB152は、フレーズID153、性別154a、特徴部分154b、スコア154c及びフレーズ155をデータ項目として含むデータベースである。フレーズID153は、フレーズDB152により記憶されている各フレーズを一意に識別する識別子である。フレーズのカテゴリは、性別154a、特徴部分154b及びスコア154cによって互いに識別される。性別154aは、「男性」、「女性」又は「−(指定なし)」のいずれかを示す区分である。特徴部分154bは、人物の外見上の様々な特徴部分を表す。スコア154cは、「High」又は「Mid」などの、スコアの高低に関する区分である。フレーズ155は、フレーズの内容を表す文字列である。図7に示されている各フレーズの内容は、対応する特徴部分に関連して人物を褒める場合に利用される肯定的な内容である。
例えば、フレーズ選択部150は、図5Aの例のように、「髪型」及び「肌」がユーザの外見の特徴部分として特定されると、特徴部分154bが「髪型」又は「肌」であるフレーズをフレーズDB152から抽出する。この場合に、図7に例示したフレーズDB152から抽出されるフレーズは、フレーズPh041、Ph111、Ph112及びPh113である。また、フレーズ選択部150は、解析部140により識別される上記ユーザの性別によって、フレーズDB152から抽出されるフレーズをフィルタリングしてもよい。図5Bの例のように、「体型」がユーザの外見の特徴部分として特定された場合に、当該ユーザが女性であれば、フレーズPh021がフレーズDB152から抽出され得る。また、フレーズ選択部150は、スコア154cにおいて何らかの区分が指定されているフレーズについては、解析部140により算出されたスコアの値に応じてフレーズDB152から抽出されるフレーズをフィルタリングしてもよい。図5Bの例のように、「笑顔」がユーザの外見の特徴部分として特定された場合に、「笑顔」についてのスコアが所定の閾値よりも高ければ、フレーズPh052がフレーズDB152から抽出され得る。
フレーズ選択部150は、このようにフレーズDB152から抽出されるフレーズを、入力画像に映る人物(本実施形態においてはユーザUa)に提示されるフレーズ候補として選択する。そして、フレーズ選択部150は、選択したフレーズ候補をフレーズ出力部170へ出力する。
(5)ユーザインタフェース部
ユーザインタフェース部160は、図3に示した入力部106、表示部110及び音声出力部112を用いて、情報処理装置100のユーザにユーザインタフェースを提供する。例えば、ユーザインタフェース部160は、入力画像に映る人物を識別するための識別情報をユーザに入力させるための入力画面をユーザに提供してもよい。また、ユーザインタフェース部160は、解析部140による入力画像の解析の際に用いられる外見モデルを設定するための設定画面をユーザに提供してもよい。また、ユーザインタフェース部160は、ユーザの特徴部分をユーザに指定させるための指定画面をユーザに提供してもよい。また、次に説明するフレーズ出力部170は、入力画像に映る人物に効果的なフレーズを提示するために、ユーザインタフェース部160を介して少なくとも1つのフレーズを出力する。
(6)フレーズ出力部
フレーズ出力部170は、フレーズ選択部150により選択されるフレーズ候補のうち少なくとも1つのフレーズを、ユーザインタフェース部160を介して出力する。本実施形態において、フレーズの出力は、例えば、表示部110における表示又は音声出力部112からの音声出力によって行われ得る。フレーズの出力は、当該フレーズを入力画像に重畳して表示部110のディスプレイへ出力することにより行われてもよい。その場合には、ユーザを褒めるための所謂AR(Augmented Reality:拡張現実)アプリケーションが実現され得る。また、フレーズの出力は、当該フレーズを音声出力部112から音声出力することにより行われてもよい。フレーズ出力部170は、例えば、フレーズ選択部150により複数のフレーズ候補が選択された場合には、当該複数のフレーズ候補からランダムに決定される1つ以上のフレーズを出力してもよい。また、フレーズ出力部170は、解析部140により算出されたスコアの最も高い特徴部分に対応するフレーズを優先的に出力してもよい。
また、フレーズ出力部170は、同じ人物に向けて出力したフレーズの履歴を履歴DB172に記憶させる。そして、フレーズ出力部170は、履歴DB172に記憶されているフレーズの出力の履歴に応じて異なるフレーズを出力してもよい。
図8は、履歴DB172の構成の一例について説明するための説明図である。図8を参照すると、履歴DB172は、人物ID、出力日時、フレーズID及びフレーズ内容をデータ項目として含む。人物IDは、フレーズが提示された人物を識別するための識別子である。出力日時は、フレーズが出力された日付及び時刻を表す。フレーズIDは、出力されたフレーズの識別子である。フレーズ内容は、出力されたフレーズの内容を表す文字列である。図8に例示した履歴DB172を参照すると、2011年6月30日16時12分に、ユーザUaのためにフレーズPh041及びPh111が出力されたことが把握される。従って、フレーズ出力部170は、その後のフレーズ候補がフレーズPh111、Ph112及びPh113を含む場合に、フレーズPh111ではなくフレーズPh112又はPh113を出力し得る。それにより、同じ人物に同じフレーズが繰り返し出力されることが回避され、新鮮なフレーズの出力を維持することができる。
図9は、本実施形態において表示され得るフレーズ出力画面の一例について説明するための説明図である。図9の左には、図5Aに例示した外見モデルMd1と入力画像Im11との比較の結果として得られるスコアが示されている。当該スコアから、「髪型」及び「肌」がユーザUaの外見の特徴部分として特定されたことが分かる。フレーズPh041は、フレーズDB152において「肌」に対応するカテゴリに分類されているフレーズの1つである。フレーズPh112は、フレーズDB152において「髪形」に対応するカテゴリに分類されているフレーズの1つである。フレーズ出力部170は、このように、フレーズ選択部150によりフレーズDB152から選択されるフレーズを入力画像に重畳することにより生成される出力画像Im21を、ディスプレイへ出力し得る。
[2−3.処理の流れ]
図10は、本実施形態に係る情報処理装置100によるフレーズ出力処理の流れの一例を示すフローチャートである。
図10を参照すると、まず、画像取得部120は、撮像部102により生成される撮像画像を入力画像として取得する(ステップS102)。そして、画像取得部120は、取得した入力画像を個人識別部130、解析部140及びユーザインタフェース部160へ出力する。
次に、個人識別部130は、画像取得部120により取得された入力画像に映る人物を識別する(ステップS104)。そして、個人識別部130は、識別した個人を特定する情報を解析部140及びフレーズ選択部150へ出力する。
次に、解析部140は、画像取得部120から入力される入力画像を解析し、当該解析に基づいてフレーズ候補の選択のためのカテゴリを決定する(ステップS106)。例えば、解析部140は、入力画像に映る人物の外見を個人識別部130により識別された人物の過去の外見を表す外見モデルと比較し、入力画像に映る人物の外見の特徴部分を特定してもよい。また、複数の人物に適用される標準的な外見を表す外見モデルが使用されてもよい。
次に、フレーズ選択部150は、解析部140により決定された特徴部分に対応するカテゴリに属するフレーズ候補を、フレーズDB152から選択する(ステップS108)。ここで、フレーズ選択部150は、解析部140により決定される人物の性別、又は外見に関するスコアに応じて、選択されるフレーズ候補をフィルタリングしてもよい。
次に、フレーズ出力部170は、フレーズ選択部150により何らかのフレーズ候補が選択されたか否かを判定する(ステップS110)。ここで、何らのフレーズ候補も選択されなかった場合には、処理はステップS102へ戻る。一方、何らかのフレーズ候補が選択された場合には、処理はステップS112へ進む。
ステップS112では、フレーズ出力部170は、フレーズ選択部150により選択されたフレーズ候補のうち少なくとも1つのフレーズを、ユーザインタフェース部160を介して表示し、又は音声出力する(ステップS112)。
[2−4.第1の実施形態のまとめ]
上述した第1の実施形態によれば、情報処理装置100のユーザは、カメラを自分に向けて自らを撮像することにより、自らの外見に関する肯定的なフレーズを情報処理装置100からフィードバックとして得ることができる。情報処理装置100により提示される肯定的なフレーズは、ユーザの現在の画像と外見モデルとを比較することにより決定される外見の特徴部分に関するフレーズである。即ち、ユーザの外見上の変化又は差異についてのフレーズが選択的にユーザに提示される。従って、変化に気付いて欲しいというユーザの心理的な欲求を満たすようにフレーズを選択し出力することができる。
[2−5.変形例の説明]
フレーズ出力部170は、より豊かなユーザとのインタラクションを実現し、又はインタラクションに娯楽性を付与するために、本項で説明する変形例に従ってフレーズを出力してもよい。
図11は、本実施形態の変形例に係る情報処理装置100の論理的機能の構成の一例を示すブロック図である。図11を参照すると、情報処理装置100は、画像取得部120、個人識別部130、解析部140、モデルDB142、フレーズ選択部150、フレーズDB152、ユーザインタフェース部160、フレーズ出力部170、履歴DB172、タイミング制御部180及び位置検出部190を含む。
(1)タイミング制御部
タイミング制御部180は、フレーズ出力部170によるフレーズの出力のタイミングを制御する。タイミング制御部180は、例えば、フレーズ選択部150によりフレーズ候補が選択されると、即座にフレーズ出力部170に少なくとも1つのフレーズを出力させてもよい。その代わりに、タイミング制御部180は、入力画像に映る人物の特定の表情、姿勢又はジェスチャが認識された場合に、フレーズ出力部170にフレーズを出力させてもよい。
例えば、解析部140は、入力画像に映る人物の表情(例えば、笑顔若しくはウインクなど)、姿勢又はジェスチャ(例えば、手を振るジェスチャなど)をスコアリングする。タイミング制御部180は、かかるスコアを解析部140から受け取り、特定の表情、姿勢又はジェスチャが認識されたタイミング(例えば、スコアが所定の閾値を上回ったタイミング)で、フレーズ出力部170に肯定的なフレーズを出力させてもよい。それにより、ユーザが肯定的なフレーズを引き出すために多様な表情又はジェスチャを行うようになるため、相乗効果として効果的なフレーズの選択も容易となる。また、ゲームのような面白さも追加され得る。
(2)位置検出部
位置検出部190は、図3に示したセンサ部104を用いて、情報処理装置100の位置を検出する。そして、フレーズ出力部170は、位置検出部190により検出される情報処理装置100の位置に応じて異なるフレーズを出力する。
位置に応じて異なるフレーズとは、例えば、情報処理装置100の位置する地域に特有の方言によって表現されるフレーズであってもよい。その場合、フレーズDB152において、各方言に対応する内容のフレーズが地域データ(例えば、地域を区分する境界の緯度及び経度のデータなど)と関連付けて予め記憶される。そして、フレーズ出力部170は、フレーズ候補のうち、位置検出部190により検出される位置と関連付けられているフレーズを選択的に出力する。その代わりに、フレーズ出力部170は、標準語で表されたフレーズに含まれる所定の形態素を方言を表す他の形態素に変換することにより、方言によって表現されるフレーズを生成してもよい。それにより、ユーザとのインタラクションをより豊かにすることができる。
<3.第2の実施形態の詳細>
次に、図2に示した第2の実施形態に係る情報処理装置200について詳細に説明する。
[3−1.ハードウェア構成]
情報処理装置200のハードウェア構成は、図3に示した情報処理装置100のハードウェア構成と同様であってよい。但し、情報処理装置200の撮像部はいわゆる外側カメラであって、そのレンズは情報処理装置200のユーザのコミュニケーション相手である人物に向けられる。また、情報処理装置200は、図3の通信部114と同様の通信部を備え、他の情報処理装置と通信することができる。後に説明する1つの手法において、情報処理装置200からのフレーズの出力は、かかる通信部を介して行われ得る。他の情報処理装置とは、例えば、情報処理装置200のユーザのコミュニケーション相手が有する装置である。また、他の手法において、情報処理装置200は、指向性を有する音声を出力可能な指向性スピーカを音声出力部として備える。情報処理装置200からのフレーズの出力は、かかる音声出力部を介して行われてもよい。
[3−2.機能構成]
図12は、情報処理装置200の記憶部及び制御部により実現される論理的機能の構成の一例を示すブロック図である。図12を参照すると、情報処理装置200は、画像取得部220、個人識別部230、解析部240、モデルDB142、フレーズ選択部250、フレーズDB152、ユーザインタフェース部260、フレーズ出力部270及び履歴DB172を含む。
(1)画像取得部
画像取得部220は、情報処理装置200のユーザのコミュニケーション相手を撮像した撮像画像を入力画像として取得する。そして、画像取得部120は、取得した入力画像を、個人識別部230、解析部240及びユーザインタフェース部260へ出力する。画像取得部220により取得される入力画像は、静止画であってもよく、動画を構成する各フレームであってもよい。
(2)個人識別部
個人識別部230は、画像取得部220により取得される入力画像に映る人物を識別する。個人識別部230は、例えば、公知の画像認識技術に基づく個人識別アルゴリズムを用いて、入力画像に映る人物を識別してもよい。個人識別部230は、複数の人物が入力画像に映っている場合には、当該複数の人物の各々を識別してもよい。個人識別部230は、識別した個人を特定する情報を解析部240及びフレーズ選択部250へ出力する。
(3)解析部
解析部240は、フレーズDB152からのフレーズ候補の選択の際に使用されるカテゴリを決定するために、画像取得部220から入力される入力画像を解析する。第1の実施形態に係る解析部140と同様、解析部240は、入力画像を解析することにより入力画像に映る人物の外見の特徴部分を特定し、特定した特徴部分に対応するカテゴリを、選択されるべきフレーズ候補が属するカテゴリとして決定してよい。その際、入力画像に映る人物の外見と比較される外見モデルは、個人識別部230により識別される人物の過去の外見に関するモデルであってもよく、又は標準的な外見に関するモデルであってもよい。
また、解析部240は、入力画像の解析に基づいて入力画像に映る人物の外見の特徴部分を特定する代わりに、当該人物の外見のいずれかの部分をユーザに指定させることにより特徴部分を特定してもよい。ユーザインタフェースを介する特徴部分の指定について、後にさらに説明する。
(4)フレーズ選択部
フレーズ選択部250は、複数の肯定的なフレーズを記憶しているフレーズDB152から、入力画像に映る人物へ提示されるフレーズ候補を選択する。本実施形態においても、フレーズDB152は、上述したように、人物の外見に関するカテゴリ別にフレーズを記憶している。フレーズ選択部250は、第1の実施形態に係るフレーズ選択部150と同様、各人物の外見の特徴部分に対応するカテゴリに属するフレーズをフレーズ候補として選択する。各人物の外見の特徴部分は、入力画像の解析に基づいて特定され、又はユーザにより指定され得る。そして、フレーズ選択部250は、選択したフレーズ候補をフレーズ出力部270へ出力する。なお、フレーズ選択部250は、複数の人物が入力画像に映っている場合には、個人識別部230により識別される人物ごとに異なるフレーズ候補のリストを生成し、これらリストをフレーズ出力部270へ出力する。
(5)ユーザインタフェース部
ユーザインタフェース部260は、情報処理装置200のユーザにユーザインタフェースを提供する。例えば、ユーザインタフェース部260は、入力画像に映る人物を識別するための識別情報をユーザに入力させるための入力画面をユーザに提供してもよい。また、ユーザインタフェース部260は、解析部240による入力画像の解析の際に用いられる外見モデルを設定するための設定画面をユーザに提供してもよい。
また、ユーザインタフェース部260は、入力画像に映る人物の特徴部分をユーザに指定させるための特徴部分指定画面をユーザに提供してもよい。図13は、一例として、情報処理装置200のユーザが入力画像に映る人物の特徴部分を指定している様子を示している。図13を参照すると、情報処理装置200に映る人物Ubの髪の部分を、情報処理装置200のユーザがタッチしている。その結果、「髪型」が特徴部分として指定されている。図13では、「髪型」を特徴部分として指定することの確認を求めるダイアログD1が画面上に表示されている。このように、特徴部分をユーザが指定することを可能とすることで、コミュニケーション相手の褒めるべき部分に気付いていても適切な言葉を想起できないユーザを、情報処理装置200が効果的に支援することができる。
また、ユーザインタフェース部260は、フレーズ出力部270により出力されるべきフレーズをユーザに指定させるためのユーザインタフェースをユーザに提供してもよい。当該ユーザインタフェースは、典型的には、フレーズ選択部250により選択されるフレーズ候補から所望のフレーズを指定させる出力フレーズ指定画面である。図14は、出力フレーズ指定画面の一例を示している。図14を参照すると、入力画像に映る人物Ubについてフレーズ選択部250により選択された3つのフレーズ候補Ph111、Ph112及びP113が、ダイアログD2によって表示されている。これら3つのフレーズ候補はいずれも、「髪型」について人物Ubを褒めるためのフレーズである。また、同じ画面上には、人物Ubのニックネーム、性別及び特徴部分を示すダイアログD3も表示されている。ダイアログD2は、情報処理装置200のユーザに、出力を望むいずれかのフレーズをタッチすることを促している。そして、ユーザがいずれかのフレーズをタッチすると、当該タッチされたフレーズがフレーズ出力部270により出力され得る。このような出力フレーズ指定画面が提供されることで、情報処理装置200は、効果的なフレーズの選択においてユーザを支援しながら、最終的に出力されるフレーズの決定をユーザに委ねることができる。
(6)フレーズ出力部
フレーズ出力部270は、フレーズ選択部250により選択されるフレーズ候補のうち少なくとも1つのフレーズを出力する。本実施形態において、フレーズの出力は、例えば、ユーザインタフェース部260を介する表示、音声出力又は他の情報処理装置との通信によって行われてよい。
図15は、本実施形態においてユーザインタフェース部260により提供され得るフレーズ表示画面の一例を示している。図15を参照すると、入力画像に映る人物Ubについてフレーズ選択部250により選択された3つのフレーズ候補Ph111、Ph112及びP113が、ダイアログD4によって表示されている。これら3つのフレーズ候補はいずれも、「髪型」について人物Ubを褒めるためのフレーズである。情報処理装置200のユーザは、かかるフレーズ表示画面を参照し、人物Ubとのコミュニケーションにとって最適と思われるいずれかのフレーズを自ら使用する(例えば、発声し又はチャット等に入力するなど)ことができる。即ち、この場合、情報処理装置200は、人物を褒めるために効果的なフレーズの選択肢を画面出力することにより、ユーザのコミュニケーションを支援する。
また、フレーズ出力部270は、フレーズ選択部250により選択されるフレーズ候補のうち少なくとも1つのフレーズを音声出力してもよい。その際、フレーズ出力部270は、情報処理装置200が指向性スピーカを有する場合には、画像の解析によって認識される各人物の位置への指向性を有する音声を出力してもよい。それにより、複数の人物が入力画像に映っている場合に、当該複数の人物の各々によって混同されないように、各人物に対応する効果的なフレーズを出力することができる。
また、フレーズ出力部270は、少なくとも1つのフレーズを通信部を介して他の情報処理装置へ出力してもよい。他の情報処理装置とは、上述したように、情報処理装置200のユーザのコミュニケーション相手が有する装置であってよい。例えば、フレーズ出力部270は、メールクライアント又はIM(Instant Messenger)クライアントとして動作し、少なくとも1つのフレーズを記述した電子メール又はインスタントメッセージをコミュニケーション相手が有する装置へ送信してもよい。その場合、個人識別部230により識別される各人物に関連付けられるメールアカウント又はIMアカウントが、電子メール又はインスタントメッセージの宛て先として使用され得る。
また、フレーズ出力部270は、入力画像に複数の人物が映っている場合には、当該複数の人物について同じフレーズ候補が選択されたとしても、人物ごとに異なるフレーズを出力してもよい。図16は、人物ごとに異なるフレーズの出力について説明するための説明図である。図16を参照すると、情報処理装置200のユーザUa、並びにユーザUaのコミュニケーション相手である人物Ub及びUcが示されている。ここで、人物Ub及びUcの特徴部分が共に「髪型」であったものとする。その場合、情報処理装置200は、例えば人物Ubに向けてはフレーズPh111を出力し、人物Ucに向けてはフレーズPh112を出力する。図16の例では、フレーズPh111は電子メールによって出力され、フレーズPh112は音声出力されている。このように、人物ごとに異なるフレーズを出力することで、同じフレーズの重複使用によってコミュニケーションに悪影響を与えることを回避することができる。なお、出力すべきフレーズの決定に際して、フレーズ出力部270は、解析部240により算出されるスコアの高いフレーズと人物との組合せを優先して採用してもよい。
[3−3.処理の流れ]
図17は、本実施形態に係る情報処理装置200によるフレーズ出力処理の流れの一例を示すフローチャートである。
図17を参照すると、まず、画像取得部220は、撮像部202により生成される撮像画像を入力画像として取得する(ステップS202)。そして、画像取得部220は、取得した入力画像を個人識別部230、解析部240及びユーザインタフェース部260へ出力する。
次に、個人識別部230は、画像取得部220により取得された入力画像に映る人物を識別する(ステップS204)。そして、個人識別部230は、識別した個人を特定する情報を解析部240及びフレーズ選択部250へ出力する。
次に、解析部240は、画像取得部220から入力される入力画像の解析に基づき、入力画像に映る各人物についてフレーズ候補の選択のためのカテゴリを決定する(ステップS206)。
次に、フレーズ選択部250は、各人物について、解析部240により決定されたカテゴリに属するフレーズ候補をフレーズDB152から選択する(ステップS208)。
次に、フレーズ出力部270は、フレーズ選択部250により何らかのフレーズ候補が選択されたか否かを判定する(ステップS210)。ここで、何らのフレーズ候補も選択されなかった場合には、処理はステップS202へ戻る。一方、何らかのフレーズ候補が選択された場合には、処理はステップS212へ進む。
ステップS212では、フレーズ出力部270は、各人物についていずれのフレーズを出力するかを決定する(ステップS212)。例えば、フレーズ出力部270は、人物ごとに異なるフレーズが出力されるように、各人物について出力すべきフレーズを決定してもよい。また、フレーズ出力部270は、履歴DB172を参照し、同じ人物に同じフレーズが繰り返し出力されること回避してもよい。また、フレーズ出力部270は、図15に例示したようなフレーズ表示画面が提供される場合には、フレーズ選択部250により選択された全てのフレーズ候補を当該画面上に出力することを決定してもよい。
そして、フレーズ出力部270は、決定したフレーズを画面上に表示し、スピーカを介して音声出力し、又は通信部を介して送信する(ステップS214)。
[3−4.第2の実施形態のまとめ]
上述した第2の実施形態によれば、情報処理装置200のユーザは、コミュニケーション相手を撮像することにより、コミュニケーション相手の外見に関する肯定的なフレーズを情報処理装置200から出力させることができる。従って、人物同士のコミュニケーションにおいて重要とされる適切なフレーズの選択が、情報処理装置200によって支援される。また、本実施形態において出力されるフレーズは、コミュニケーション相手の画像と外見モデルとを比較することにより決定される外見の特徴部分に関するフレーズである。一般的に人物の特徴部分を的確に見分けることは容易ではないが、本実施形態では情報処理装置200によってコミュニケーション相手の特徴部分が特定され得るため、情報処理装置200のユーザにとって特徴部分を見分けることに要する負担が軽減される。
[3−5.変形例の説明]
本実施形態においても、より豊かな人物同士のコミュニケーションを実現し、又はコミュニケーションに娯楽性を付与するための様々な変形例が可能である。
図18は、本実施形態の一変形例に係る情報処理装置200の論理的機能の構成の一例を示すブロック図である。図18を参照すると、情報処理装置200は、画像取得部220、個人識別部230、解析部240、モデルDB142、フレーズ選択部250、フレーズDB352、ユーザインタフェース部260、フレーズ出力部270、履歴DB172及び位置検出部290を含む。
(1)位置検出部
位置検出部290は、図3に示したセンサ部104と同様のセンサを用いて、情報処理装置200の位置を検出する。そして、フレーズ出力部270は、位置検出部290により検出される情報処理装置200の位置に応じて異なるフレーズを出力する。
位置に応じて異なるフレーズとは、上述したような方言を表現するフレーズであってもよい。また、位置に応じて異なるフレーズとは、フォーマルな表現のフレーズ及びカジュアルな表現のフレーズであってもよい。例えば、フレーズDB352においてフォーマルな表現のフレーズ及びカジュアルな表現のフレーズが予め記憶される。そして、フレーズ出力部270は、検出された位置が(例えば、予め保持される地図データとの照合の結果として)オフィスなどの公的な場所であると判定されると、フレーズ候補のうちフォーマルな表現のフレーズを選択的に出力する。一方、フレーズ出力部270は、検出された位置が公的な場所ではないと判定されると、フレーズ候補のうちカジュアルなフレーズを選択的に出力する。それにより、ユーザの状況に合わせてより適切な内容のフレーズを出力することができる。
(2)否定的フレーズ群
図18に示したように、フレーズDB352は、肯定的フレーズ群354と否定的フレーズ群356とを記憶している。肯定的フレーズ群354は、図7に例示したような肯定的なフレーズの集合である。一方、否定的フレーズ群356は、図7に例示したフレーズDB152と同様のデータ構成を有する一方で、否定的な内容を表現するフレーズの集合である。フレーズ選択部250は、例えば肯定的なフレーズの出力がユーザにより指示されると(即ち、「褒めモード」が指示されると)、肯定的フレーズ群354から入力画像に映る人物へ提示されるフレーズ候補を選択する。一方、フレーズ選択部250は、否定的なフレーズの出力がユーザにより指示されると(即ち、「貶めモード」が指示されると)、否定的フレーズ群356から入力画像に映る人物へ提示されるフレーズ候補を選択する。フレーズ出力部270は、否定的なフレーズの候補がフレーズ選択部250により選択されると、上述したいずれかの手法で、当該フレーズ候補のうち少なくとも1つの否定的なフレーズを出力する。一般的に、コミュニケーション相手を貶めることを意図していても、そのための言葉の選択は容易ではない。しかし、本変形例では、このように否定的なフレーズの選択もまた情報処理装置200により支援され得るため、コミュニケーション相手を効果的に貶めることができる。このような仕組みは、例えばゲーム性をもってユーザ同士が貶しめ合うようなアプリケーションにおいて利用されてよい。
<4.総括>
ここまで、図1〜図18を用いて、2つの実施形態及びそれらの変形例について詳細に説明した。上述した実施形態によれば、入力画像に映る人物へ提示される肯定的なフレーズがフレーズ候補としてデータベースから選択され、選択されたフレーズ候補のうち少なくとも1つのフレーズが出力される。従って、人物とのコミュニケーションにおいて効果的なフレーズの選択を、実世界の状況の認識に基づいて動的に行うことができる。このように動的に選択されるフレーズがユーザに提示される場合には、当該ユーザの日常生活や仕事上でのモチベーションを高めることができる。また、動的に選択されるフレーズがユーザと他の人物とのコミュニケーションに活用される場合には、そのコミュニケーションにおけるフレーズの選択を支援してユーザの負担を軽減すると共に、コミュニケーションを円滑に進行させることができる。
なお、本明細書において説明した各装置による一連の処理は、典型的には、ソフトウェアを用いて実現される。一連の処理を実現するソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれプロセッサにより実行される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
入力画像を取得する画像取得部と、
人物へ提示される肯定的なフレーズを記憶しているデータベースから、前記入力画像に映る人物へ提示されるフレーズ候補を選択する選択部と、
前記選択部により選択される前記フレーズ候補のうち少なくとも1つのフレーズを出力するフレーズ出力部と、
を備える情報処理装置。
(2)
前記データベースは、カテゴリ別にフレーズを記憶しており、
前記情報処理装置は、前記入力画像を解析することにより前記フレーズ候補が属するべきカテゴリを決定する解析部、をさらに備え、
前記選択部は、前記解析部により決定される前記カテゴリに属するフレーズを前記フレーズ候補として選択する、
前記(1)に記載の情報処理装置。
(3)
前記カテゴリは、人物の外見に関するカテゴリであり、
前記解析部は、前記入力画像に映る人物の外見の特徴部分に対応するカテゴリを、前記フレーズ候補が属するべきカテゴリとして決定する、
前記(2)に記載の情報処理装置。
(4)
前記解析部は、前記入力画像に映る人物の外見を外見モデルと比較することにより、当該人物の外見の前記特徴部分を特定する、前記(3)に記載の情報処理装置。
(5)
前記外見モデルは、前記入力画像に映る人物の過去の外見に関するモデルである、前記(4)に記載の情報処理装置。
(6)
前記外見モデルは、複数の人物に適用される標準的な外見に関するモデルである、前記(4)に記載の情報処理装置。
(7)
前記解析部は、前記入力画像に映る人物の外見のいずれかの部分をユーザに指定させることにより、当該人物の外見の前記特徴部分を特定する、前記(3)に記載の情報処理装置。
(8)
前記フレーズ出力部は、前記少なくとも1つのフレーズを前記入力画像に重畳してディスプレイへ出力する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記フレーズ出力部は、前記少なくとも1つのフレーズを音声出力する、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(10)
前記フレーズ出力部は、前記入力画像に映る人物への指向性を有する前記少なくとも1つのフレーズの音声を指向性スピーカから出力する、前記(9)に記載の情報処理装置。
(11)
前記情報処理装置は、他の情報処理装置と通信する通信部、をさらに備え、
前記フレーズ出力部は、前記少なくとも1つのフレーズを前記通信部を介して前記他の情報処理装置へ出力する、
前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(12)
前記情報処理装置は、前記選択部により選択される前記フレーズ候補を表示するユーザインタフェースであって、前記フレーズ出力部により出力されるフレーズをユーザに指定させるための当該ユーザインタフェースを提供するユーザインタフェース部、をさらに備える、前記(9)〜(11)のいずれか1項に記載の情報処理装置。
(13)
前記情報処理装置は、前記フレーズ出力部によるフレーズの出力のタイミングを制御するタイミング制御部、をさらに備える、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(14)
前記タイミング制御部は、前記入力画像に映る人物の特定の表情、姿勢又はジェスチャが認識された場合に、前記フレーズ出力部にフレーズを出力させる、前記(13)に記載の情報処理装置。
(15)
前記フレーズ出力部は、前記フレーズ出力部によるフレーズの出力の履歴に応じて異なるフレーズを出力する、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)
前記フレーズ出力部は、前記情報処理装置の位置に応じて異なるフレーズを出力する、前記(1)〜(15)のいずれか1項に記載の情報処理装置。
(17)
前記フレーズ出力部は、前記入力画像に複数の人物が映っている場合には、当該複数の人物の各々について異なるフレーズを出力する、前記(1)〜(16)のいずれか1項に記載の情報処理装置。
(18)
前記データベースは、否定的なフレーズをさらに記憶しており、
前記フレーズ出力部は、否定的なフレーズの出力がユーザにより指示された場合には、前記選択部により選択される少なくとも1つの否定的なフレーズを出力する、
前記(1)〜17に記載の情報処理装置。
(19)
情報処理装置の制御部において、
入力画像を取得することと、
人物へ提示される肯定的なフレーズを記憶しているデータベースから、前記入力画像に映る人物へ提示されるフレーズ候補を選択することと、
選択された前記フレーズ候補のうち少なくとも1つのフレーズを出力することと、
を含むフレーズ出力方法。
(20)
情報処理装置を制御するコンピュータを、
入力画像を取得する画像取得部と、
人物へ提示される肯定的なフレーズを記憶しているデータベースから、前記入力画像に映る人物へ提示されるフレーズ候補を選択する選択部と、
前記選択部により選択される前記フレーズ候補のうち少なくとも1つのフレーズを出力するフレーズ出力部と、
として機能させるための、プログラム。
100,200 情報処理装置
102 撮像部
104 センサ部
106 入力部
108 記憶部
110 表示部
112 音声出力部
114 通信部
118 制御部
120,220 画像取得部
130,230 識別部
140,240 解析部
142,242 モデルDB
150,250 フレーズ選択部
152,352 フレーズDB
160,260 ユーザインタフェース部
170,270 フレーズ出力部
172,272 履歴DB
180 タイミング制御部
190,290 位置検出部

Claims (20)

  1. 入力画像を取得する画像取得部と、
    人物へ提示される肯定的なフレーズを記憶しているデータベースから、前記入力画像に映る人物へ提示されるフレーズ候補を選択する選択部と、
    前記選択部により選択される前記フレーズ候補のうち少なくとも1つのフレーズを出力するフレーズ出力部と、
    を備える情報処理装置。
  2. 前記データベースは、カテゴリ別にフレーズを記憶しており、
    前記情報処理装置は、前記入力画像を解析することにより前記フレーズ候補が属するべきカテゴリを決定する解析部、をさらに備え、
    前記選択部は、前記解析部により決定される前記カテゴリに属するフレーズを前記フレーズ候補として選択する、
    請求項1に記載の情報処理装置。
  3. 前記カテゴリは、人物の外見に関するカテゴリであり、
    前記解析部は、前記入力画像に映る人物の外見の特徴部分に対応するカテゴリを、前記フレーズ候補が属するべきカテゴリとして決定する、
    請求項2に記載の情報処理装置。
  4. 前記解析部は、前記入力画像に映る人物の外見を外見モデルと比較することにより、当該人物の外見の前記特徴部分を特定する、請求項3に記載の情報処理装置。
  5. 前記外見モデルは、前記入力画像に映る人物の過去の外見に関するモデルである、請求項4に記載の情報処理装置。
  6. 前記外見モデルは、複数の人物に適用される標準的な外見に関するモデルである、請求項4に記載の情報処理装置。
  7. 前記解析部は、前記入力画像に映る人物の外見のいずれかの部分をユーザに指定させることにより、当該人物の外見の前記特徴部分を特定する、請求項3に記載の情報処理装置。
  8. 前記フレーズ出力部は、前記少なくとも1つのフレーズを前記入力画像に重畳してディスプレイへ出力する、請求項1〜7のいずれか1項に記載の情報処理装置。
  9. 前記フレーズ出力部は、前記少なくとも1つのフレーズを音声出力する、請求項1に記載の情報処理装置。
  10. 前記フレーズ出力部は、前記入力画像に映る人物への指向性を有する前記少なくとも1つのフレーズの音声を指向性スピーカから出力する、請求項9に記載の情報処理装置。
  11. 前記情報処理装置は、他の情報処理装置と通信する通信部、をさらに備え、
    前記フレーズ出力部は、前記少なくとも1つのフレーズを前記通信部を介して前記他の情報処理装置へ出力する、
    請求項1に記載の情報処理装置。
  12. 前記情報処理装置は、前記選択部により選択される前記フレーズ候補を表示するユーザインタフェースであって、前記フレーズ出力部により出力されるフレーズをユーザに指定させるための当該ユーザインタフェースを提供するユーザインタフェース部、をさらに備える、請求項9に記載の情報処理装置。
  13. 前記情報処理装置は、前記フレーズ出力部によるフレーズの出力のタイミングを制御するタイミング制御部、をさらに備える、請求項1に記載の情報処理装置。
  14. 前記タイミング制御部は、前記入力画像に映る人物の特定の表情、姿勢又はジェスチャが認識された場合に、前記フレーズ出力部にフレーズを出力させる、請求項13に記載の情報処理装置。
  15. 前記フレーズ出力部は、前記フレーズ出力部によるフレーズの出力の履歴に応じて異なるフレーズを出力する、請求項1に記載の情報処理装置。
  16. 前記フレーズ出力部は、前記情報処理装置の位置に応じて異なるフレーズを出力する、請求項1に記載の情報処理装置。
  17. 前記フレーズ出力部は、前記入力画像に複数の人物が映っている場合には、当該複数の人物の各々について異なるフレーズを出力する、請求項1に記載の情報処理装置。
  18. 前記データベースは、否定的なフレーズをさらに記憶しており、
    前記フレーズ出力部は、否定的なフレーズの出力がユーザにより指示された場合には、前記選択部により選択される少なくとも1つの否定的なフレーズを出力する、
    請求項1に記載の情報処理装置。
  19. 情報処理装置の制御部において、
    入力画像を取得することと、
    人物へ提示される肯定的なフレーズを記憶しているデータベースから、前記入力画像に映る人物へ提示されるフレーズ候補を選択することと、
    選択された前記フレーズ候補のうち少なくとも1つのフレーズを出力することと、
    を含むフレーズ出力方法。
  20. 情報処理装置を制御するコンピュータを、
    入力画像を取得する画像取得部と、
    人物へ提示される肯定的なフレーズを記憶しているデータベースから、前記入力画像に映る人物へ提示されるフレーズ候補を選択する選択部と、
    前記選択部により選択される前記フレーズ候補のうち少なくとも1つのフレーズを出力するフレーズ出力部と、
    として機能させるための、プログラム。

JP2011162713A 2011-07-26 2011-07-26 情報処理装置、フレーズ出力方法及びプログラム Active JP5845686B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2011162713A JP5845686B2 (ja) 2011-07-26 2011-07-26 情報処理装置、フレーズ出力方法及びプログラム
US13/551,908 US9361316B2 (en) 2011-07-26 2012-07-18 Information processing apparatus and phrase output method for determining phrases based on an image
CN201210251289.5A CN102902704B (zh) 2011-07-26 2012-07-19 信息处理设备、短语输出方法
US15/132,727 US20160231890A1 (en) 2011-07-26 2016-04-19 Information processing apparatus and phase output method for determining phrases based on an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011162713A JP5845686B2 (ja) 2011-07-26 2011-07-26 情報処理装置、フレーズ出力方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2013025725A true JP2013025725A (ja) 2013-02-04
JP2013025725A5 JP2013025725A5 (ja) 2014-08-28
JP5845686B2 JP5845686B2 (ja) 2016-01-20

Family

ID=47574939

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011162713A Active JP5845686B2 (ja) 2011-07-26 2011-07-26 情報処理装置、フレーズ出力方法及びプログラム

Country Status (3)

Country Link
US (2) US9361316B2 (ja)
JP (1) JP5845686B2 (ja)
CN (1) CN102902704B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017126136A1 (ja) * 2016-01-22 2017-07-27 三菱電機株式会社 写真プリントシステム
JP2018013997A (ja) * 2016-07-21 2018-01-25 国立大学法人電気通信大学 コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
JP2019124987A (ja) * 2018-01-12 2019-07-25 株式会社リコー 情報処理システム、プログラム、情報処理装置及び情報出力方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10371744B2 (en) 2012-04-11 2019-08-06 Advantest Corporation Method and apparatus for an efficient framework for testcell development
CN104067606A (zh) * 2012-11-16 2014-09-24 松下电器(美国)知识产权公司 照相机、照相机系统及自诊断方法
KR102322034B1 (ko) * 2014-09-26 2021-11-04 삼성전자주식회사 전환 거울을 구비한 장치의 이미지 디스플레이 방법 및 그 장치
CN108920639B (zh) * 2018-07-02 2022-01-18 北京百度网讯科技有限公司 基于语音交互的上下文获取方法及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10118037A (ja) * 1996-10-21 1998-05-12 Mitsubishi Electric Corp 健康状態判断装置,健康状態判断システム及び健康状態判断方法
JP2006155545A (ja) * 2004-11-30 2006-06-15 Hiroshi Kida 画像評価装置及びカメラ付き携帯端末
JP2006285528A (ja) * 2005-03-31 2006-10-19 Seiko Epson Corp 画像データに関する気象コメントの生成
JP2009213751A (ja) * 2008-03-12 2009-09-24 Sony Ericsson Mobilecommunications Japan Inc 化粧評価プログラム、化粧評価方法および化粧評価装置
JP2010206239A (ja) * 2009-02-27 2010-09-16 Nikon Corp 画像処理装置、撮像装置及びプログラム
JP2011013384A (ja) * 2009-06-30 2011-01-20 Toshiba Corp 画像処理装置および画像処理方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5111410A (en) * 1989-06-23 1992-05-05 Kabushiki Kaisha Oh-Yoh Keisoku Kenkyusho Motion analyzing/advising system
JP4631987B2 (ja) 1998-10-19 2011-02-16 ソニー株式会社 情報処理端末、情報処理システム及び情報処理方法
JP2000194726A (ja) 1998-10-19 2000-07-14 Sony Corp 情報処理装置及び方法、情報処理システム並びに提供媒体
AUPP764398A0 (en) * 1998-12-11 1999-01-14 Canon Kabushiki Kaisha Method and apparatus for computing the similarity between images
US6571003B1 (en) * 1999-06-14 2003-05-27 The Procter & Gamble Company Skin imaging and analysis systems and methods
US6542295B2 (en) * 2000-01-26 2003-04-01 Donald R. M. Boys Trinocular field glasses with digital photograph capability and integrated focus function
US7346543B1 (en) * 2000-02-24 2008-03-18 Edmark Tomima L Virtual showroom method
US7328119B1 (en) * 2000-03-07 2008-02-05 Pryor Timothy R Diet and exercise planning and motivation including apparel purchases based on future appearance
JP3749072B2 (ja) * 2000-03-24 2006-02-22 ブリヂストンスポーツ株式会社 ゴルフクラブ選択方法及び選択システム
JP2002207802A (ja) * 2000-12-19 2002-07-26 Shima Seiki Mfg Ltd アパレル製品販売支援方法および装置ならびに試着室
US20020143729A1 (en) * 2001-03-29 2002-10-03 Gideon Fostick Portable assistant
US7154510B2 (en) * 2002-11-14 2006-12-26 Eastman Kodak Company System and method for modifying a portrait image in response to a stimulus
US20040174434A1 (en) * 2002-12-18 2004-09-09 Walker Jay S. Systems and methods for suggesting meta-information to a camera user
JP4241484B2 (ja) * 2004-04-14 2009-03-18 日本電気株式会社 携帯端末装置、着信応答メッセージ送信方法およびサーバ装置
US20060085274A1 (en) * 2004-10-14 2006-04-20 The Procter & Gamble Company Methods and apparatus for selecting a color for use by a personal care product recommendation system
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
EP1983413A4 (en) * 2006-02-10 2014-09-17 Fujitsu Ltd INFORMATION DISPLAY DEVICE, INFORMATION DISPLAY METHOD, AND PROGRAM
US9318108B2 (en) * 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7856118B2 (en) * 2007-07-20 2010-12-21 The Procter & Gamble Company Methods for recommending a personal care product and tools therefor
US7883430B2 (en) * 2008-07-22 2011-02-08 Nike, Inc. Releasable and interchangeable connections for golf club heads and shafts
CA2734143C (en) * 2008-08-15 2021-08-31 Brown University Method and apparatus for estimating body shape
CN105336044B (zh) * 2008-10-02 2018-04-10 埃科亚特姆公司 针对设备的二手市场和自动售货系统
US8422781B2 (en) * 2008-12-03 2013-04-16 Industrial Technology Research Institute Methods and systems for creating a hierarchical appearance model
JP5527721B2 (ja) * 2009-01-28 2014-06-25 任天堂株式会社 プログラムおよび情報処理装置
US8843359B2 (en) * 2009-02-27 2014-09-23 Andrew Nelthropp Lauder Language translation employing a combination of machine and human translations
US8094012B1 (en) * 2009-05-15 2012-01-10 The United States Of America As Represented By The Secretary Of The Navy Active composite RFID tag for object localization and instruction
US20100331041A1 (en) * 2009-06-26 2010-12-30 Fuji Xerox Co., Ltd. System and method for language-independent manipulations of digital copies of documents through a camera phone
CA2799943A1 (en) * 2010-05-20 2011-11-24 Ljl, Inc. Event based interactive network for recommending, comparing and evaluating appearance styles
US20110320560A1 (en) * 2010-06-29 2011-12-29 Microsoft Corporation Content authoring and propagation at various fidelities
KR101007944B1 (ko) * 2010-08-24 2011-01-14 윤상범 네트워크를 이용한 가상현실 무도 수련시스템 및 그 방법
US20120137254A1 (en) * 2010-11-29 2012-05-31 Dynavox Systems Llc Context-aware augmented communication
US20120266084A1 (en) * 2011-04-18 2012-10-18 Ting-Yee Liao Image display device providing individualized feedback

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10118037A (ja) * 1996-10-21 1998-05-12 Mitsubishi Electric Corp 健康状態判断装置,健康状態判断システム及び健康状態判断方法
JP2006155545A (ja) * 2004-11-30 2006-06-15 Hiroshi Kida 画像評価装置及びカメラ付き携帯端末
JP2006285528A (ja) * 2005-03-31 2006-10-19 Seiko Epson Corp 画像データに関する気象コメントの生成
JP2009213751A (ja) * 2008-03-12 2009-09-24 Sony Ericsson Mobilecommunications Japan Inc 化粧評価プログラム、化粧評価方法および化粧評価装置
JP2010206239A (ja) * 2009-02-27 2010-09-16 Nikon Corp 画像処理装置、撮像装置及びプログラム
JP2011013384A (ja) * 2009-06-30 2011-01-20 Toshiba Corp 画像処理装置および画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017126136A1 (ja) * 2016-01-22 2017-07-27 三菱電機株式会社 写真プリントシステム
JPWO2017126136A1 (ja) * 2016-01-22 2018-07-05 三菱電機株式会社 写真プリントシステム
JP2018013997A (ja) * 2016-07-21 2018-01-25 国立大学法人電気通信大学 コミュニケーション支援装置、コミュニケーション支援方法およびコミュニケーション支援プログラム
JP2019124987A (ja) * 2018-01-12 2019-07-25 株式会社リコー 情報処理システム、プログラム、情報処理装置及び情報出力方法
JP7062960B2 (ja) 2018-01-12 2022-05-09 株式会社リコー 情報処理システム、プログラム、情報処理装置及び情報出力方法

Also Published As

Publication number Publication date
CN102902704B (zh) 2017-06-16
CN102902704A (zh) 2013-01-30
US20160231890A1 (en) 2016-08-11
US9361316B2 (en) 2016-06-07
US20130027535A1 (en) 2013-01-31
JP5845686B2 (ja) 2016-01-20

Similar Documents

Publication Publication Date Title
JP5845686B2 (ja) 情報処理装置、フレーズ出力方法及びプログラム
US11763580B2 (en) Information processing apparatus, information processing method, and program
JP2024028390A (ja) 顔に対応する3次元アバターを用いて顔の動きが反映された3dアバターを含むイメージを生成する電子装置
JP2021057057A (ja) 精神障害の療法のためのモバイルおよびウェアラブルビデオ捕捉およびフィードバックプラットフォーム
CN107825429B (zh) 对话装置和方法
JP2019531538A (ja) ワードフロー注釈
KR102148151B1 (ko) 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅
US10877555B2 (en) Information processing device and information processing method for controlling user immersion degree in a virtual reality environment
Vu et al. Emotion recognition based on human gesture and speech information using RT middleware
JP2018032164A (ja) 面接システム
KR20200059112A (ko) 로봇 상호작용 시스템 및 그를 위한 프로그램
US11544968B2 (en) Information processing system, information processingmethod, and recording medium
US20220059080A1 (en) Realistic artificial intelligence-based voice assistant system using relationship setting
WO2017175447A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2018126209A (ja) 制御装置、制御方法及び制御プログラム
WO2020175969A1 (ko) 감정 인식 장치 및 감정 인식 방법
JP2018186326A (ja) ロボット装置及びプログラム
US20200234187A1 (en) Information processing apparatus, information processing method, and program
JP2021051693A (ja) 発話システム、発話推薦装置、発話推薦プログラムおよび発話推薦方法
JP2020130528A (ja) 感情推定装置、感情推定方法、プログラム、及び感情推定システム
JP2019086858A (ja) 顧客応対システム及び顧客応対方法
JPWO2018198447A1 (ja) 情報処理装置および情報処理方法
US11270682B2 (en) Information processing device and information processing method for presentation of word-of-mouth information
WO2019026396A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102034839B1 (ko) 영상 통화 서비스를 제공하는 단말 및 서버

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140711

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151109

R151 Written notification of patent or utility model registration

Ref document number: 5845686

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250