JP2017182261A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Abstract

【課題】人物の分類を好適に特定し、特定した分類に応じた処理を実行する情報処理装置及びプログラムを提供する。【解決手段】人物の分類ごとに特徴を記憶する記憶手段と、抽出手段と、特定手段と、処理手段を有する。抽出手段はロボットが、映像データから人物の第１の特徴を抽出しＳ１、音声データから人物の第２の特徴を抽出しＳ２、匂いデータから人物の第３の特徴を抽出しＳ３、特定手段が抽出した人物の第１の特徴、第２の特徴及び第３の特徴に基づいて、人物の分類を特定しＳ４、処理手段が特定した分類に応じた所定の処理Ｓ５を実行する。【選択図】図１１

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、人物の属性（分類）に応じた処理を行う情報処理装置等に関する。

従来から、人物に対して、情報案内、対話、宣伝等の処理を自動で行うシステムが存在する。これらのシステムは、人物の属性（分類）に関わらず画一的な処理を行うものが多く、人物に対して効果的な情報提供が必ずしも実現されていない。これに対して、人物の属性（分類）に応じた処理を自動で行うシステムも存在する。

特許文献１には、人物の年齢および性別を認識して音声や動きによる演出効果を行うことで、効果的な情報提示を行う、情報処理装置が開示されている。また特許文献２には、個体の画像データに基づき判別される個体情報を参照することにより、出力する情報を制御する出力制御装置が開示されている。これら先行技術によれば、各人物の情報を反映した効果的な自動対応を実現している。

特開２０１２−１８５３０３号公報 特開２０１５−０２１８１３号公報

しかしながら、特許文献１では、画像のみから人物の年齢及び性別を判別するものである。また、特許文献２も、撮影部で撮像された画像データのみに基づき、属性を判別するものである。このように、特許文献１、２の方法は、画像のみの単一種別のデータに基づいて人物の属性（分類）を判別するため、人物の属性（分類）を判別するための判断指標が少なく、人物の属性（分類）を的確に特定できない場合があった。また、画像のみから判別可能な人物の属性（分類）だけに判別対象が限定されていた。

本発明は、このような観点からなされたものであり、その目的とすることは、人物の分類を好適に特定し、特定した分類に応じた処理を実行することが可能な、情報処理装置等を提供することである。

前述した課題を解決するための第１の発明は、人物の分類ごとに特徴を記憶する記憶手段と、人物の特徴を抽出する抽出手段と、抽出した前記特徴に基づいて前記人物の分類を特定する特定手段と、特定した前記分類に応じた処理を行う処理手段と、を備えることを特徴とする情報処理装置である。
第１の発明によって、人物の分類（嗜好、性別、年代、言語、国籍等の人物の属性）を好適に特定し、特定した分類に応じた処理を実行することが可能な、情報処理装置が提供される。

また第１の発明において、前記抽出手段は、複数の異なる種別のデータを用いて特徴を抽出することが望ましい。これにより、複数の異なる種別のデータを用いて人物の分類を好適に特定することができる。

また第１の発明において、前記人物を含む映像データを取得する映像取得手段、を更に備え、前記抽出手段は、少なくとも、前記映像データから前記人物の特徴を抽出し、前記特定手段は、少なくとも、前記特徴に基づいて前記人物の分類を特定することが望ましい。これにより、少なくとも、映像データから抽出される人物の特徴に基づいて、人物の分類を好適に特定することができる。

また、前記抽出手段は、前記人物の動作に関する特徴を抽出するように構成してもよい。これにより、映像データから抽出される人物の動作の特徴に基づいて、人物の分類を好適に特定することができる。

また、人物に対して情報を提示する情報提示手段、を更に備え、前記抽出手段は、前記情報に対する、前記人物の反応に関する特徴を抽出するように構成してもよい。これにより、情報を提示した際の人物の反応の特徴に基づいて、人物の分類を好適に特定することができる。

また第１の発明において、前記人物の音声データを取得する音声取得手段、を更に備え、前記抽出手段は、少なくとも、前記音声データから前記人物の特徴を抽出し、前記特定手段は、少なくとも、前記特徴に基づいて前記人物の前記分類を特定することが望ましい。これにより、少なくとも、音声データから抽出される人物の特徴に基づいて、人物の分類を好適に特定することができる。

また、前記抽出手段は、声の強さ、声の高さ、周波数特性、声質、発話テンポ、倍音特性、抑揚、反応音の特徴、発話言語、発話内容の少なくともいずれかを抽出するように構成してもよい。これにより、音声データから人物の特徴が好適に抽出される。

また第１の発明において、前記人物の匂いデータを取得する匂い取得手段、を更に備え、前記抽出手段は、少なくとも、前記匂いデータから前記人物の特徴を抽出し、前記特定手段は、少なくとも、前記特徴に基づいて前記分類を特定することが望ましい。これにより、少なくとも、匂いデータから抽出される人物の特徴に基づいて、人物の分類を好適に特定することができる。

また第１の発明において、抽出した全ての特徴について、各特徴がどの分類に属するかを集計し、最も集計数が多い分類を人物の分類として特定することが望ましい。これにより、抽出された特徴に基づいて人物の分類を好適に特定することができる。

第３の発明は、請求項１から請求項９のいずれかに記載の情報処理装置として機能させることを特徴とするプログラムである。
第３の発明によってコンピュータを第１の発明に係る情報処理装置として機能させることが可能となる。

本発明により、人物の分類を好適に特定し、特定した分類に応じた処理を実行することが可能な、情報処理装置等が提供される。

情報処理システム１のシステム構成の一例を示す図 ロボット２の内部構成図 コンピュータ３の内部構成図 ロボット２、情報処理システム１の機能構成図 第１の特徴３０Ａを例示する図 第２の特徴３０Ｂを例示する図 第３の特徴３０Ｃを例示する図 抽出した人物の特徴（人物特徴４０）を示す図 分類テーブル５０を示す図 処理データベース６０を示す図 ロボット２の動作を示すフローチャート

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
図１は、情報処理システム１のシステム構成の一例を示す図である。情報処理システム１は、本発明に係る情報処理装置の一実施例であるロボット２、コンピュータ３、カメラ４、マイク５、匂いセンサ６及びディスプレイ７を備えて構成される。ロボット２、カメラ４、マイク５、匂いセンサ６及びディスプレイ７はコンピュータ３に通信接続され、コンピュータ３により各装置の動作が連携するよう制御される。ロボット２、カメラ４、マイク５、匂いセンサ６及びディスプレイ７とコンピュータ３との通信接続の形態は、有線、無線を問わない。

カメラ４は、周囲の映像データを取得する。カメラ４は、例えば、単独のカメラ、ステレオカメラ、距離センサ、或いはこれらを組み合わせた複合的なセンサである。なお、カメラ４に替えてロボット２に内蔵されるカメラ２１０を用いて映像データを取得することもできる。この場合はカメラ４を省略してよい。

マイク５は、周囲の音声データを取得する。マイク５は、例えば、単一のマイクロホン、或いは複数のマイクロホンから構成されるマイクロホンアレイである。マイク５についてもロボット２に内蔵されているマイク２１１を用いて音声データを取得することもできる。この場合はマイク５を省略してよい。

匂いセンサ６は、周囲の匂いデータを取得する。匂いセンサ６は、例えば、水晶振動子式、半導体式の単一のセンサからなるもの、或いは複数のセンサからなるセンサアレイである。匂いセンサ６についてもロボット２に内蔵されている匂いセンサ２１２を用いて匂いデータを取得することができる。この場合は匂いセンサ６を省略してよい。

本実施形態において、ロボット２は、複数の異なる種別のデータ、すなわち、上記したカメラ４（或いはカメラ２１０）から取得される映像データ、マイク５（或いはマイク２１１）から取得される音声データ、匂いセンサ６（或いは匂いセンサ２１２）から取得される匂いデータ、を用いて人物の特徴を抽出し、抽出した特徴に基づいて人物の分類（嗜好、性別、年代、言語、国籍等の人物の属性）を特定する。そして、特定した分類に応じた処理（対話、情報案内、宣伝などの処理）を行う。

ディスプレイ７は、コンピュータ３によって制御され、映像等を表示する。ロボット２に搭載されている表示部２０４を用いて表示制御を行う場合や、ロボット２が音声のみで対話、情報案内、宣伝などの処理を実行する場合はディスプレイ７を省略してもよい。

コンピュータ３は、カメラ４による映像データの取得、マイク５による音声データの取得、匂いセンサ６による匂いデータの取得、ディスプレイ７の表示制御を行う他、ロボット２の動作を制御する。

ロボット２（情報処理装置）は、例えば対話型のロボットである。図２に示すように、ロボット２は、制御部２０１、記憶部２０２、入力部２０３、表示部２０４、メディア入出力部２０５、通信Ｉ／Ｆ２０６、可動部駆動機構２０７、周辺機器Ｉ／Ｆ部２０８、音声処理部２０９、カメラ２１０、マイク２１１、匂いセンサ２１２、スピーカ２１３、各種センサ２１４がバス２２０を介して接続されて構成される。

制御部２０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成される。ＣＰＵは、記憶部２０２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２２０を介して接続された各部を駆動制御する。

制御部２０１のＣＰＵは、ロボット２による全処理を実行する。
ＲＯＭは、ロボット２のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部２０１が各種処理を行うために使用するワークエリアを備える。

記憶部２０２は、制御部２０１が実行するプログラムや、プログラム実行に必要なデータ、オペレーティングシステム等が格納されている。これらのプログラムコードは、制御部２０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。

また記憶部２０２は、人物の分類を特定する際に参照される分類テーブル５０（図９）、分類に応じた処理を実行する際に参照される処理データベース６０（図１０）等を有する。
また、ロボット２の制御シーケンスを記載した制御シーケンステーブルが格納されるアクションＤＢ（不図示）を有する。制御シーケンステーブルには、ロボット２が行う全てのアクションとロボット２の可動部制御シーケンスとを紐づけたデータが格納される。可動部制御シーケンスとは、各アクションを実現する際の制御対象となる各可動部の駆動箇所と値等（例えば頭部チルト角２０度、右腕チルト角４０度等）のリストである。

入力部２０３は、例えばタッチパネル等の入力装置や各種操作ボタン等を含み、入力されたデータを制御部２０１へ出力する。
表示部２０４は、例えば液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路で構成され、制御部２０１の制御により入力された表示情報をディスプレイ装置上に表示させる。なお、入力部２０３のタッチパネルは表示部２０４のディスプレイと一体的に構成される。

メディア入出力部２０５は、例えば、磁気ディスク、光ディスク、半導体メモリ等の記録媒体（メディア）等のドライブ装置であり、データの入出力を行う。

通信Ｉ／Ｆ２０６は、ネットワーク８との通信を媒介するインタフェースである。ネットワーク８は、ＬＡＮ（Local Area Network）や、より広域に通信接続されたＷＡＮ（Wide Area Network）、またはインターネット等の公衆の通信回線、基地局等を含む。ネットワーク８との通信接続は有線、無線を問わない。ロボット２はネットワーク８を介してＷｅｂサーバにアクセスし、各種のプログラムやデータを送受信可能である。

可動部駆動機構２０７は、ロボット２の頭部、首、肩、腕、腰、脚等に設けられた可動部を駆動する機構及び駆動装置を含む。可動部駆動機構２０７の動作は制御部２０１により制御される。制御部２０１は記憶部２０２のアクションＤＢから可動部制御シーケンスを読み出し、各可動部駆動機構２０７に対して制御信号を送り、各駆動部を動作させる。

周辺機器Ｉ／Ｆ（インタフェース）部２０８は、周辺機器を接続させるためのポートであり、周辺機器とのデータの送受信を媒介する。周辺機器との接続形態は有線、無線を問わない。ロボット２は周辺機器Ｉ／Ｆ部２０８を介してコンピュータ３等と通信接続可能となる。

音声処理部２０９は、音声合成部、言語判別部、音声認識部等を含む。音声合成部は、制御部２０１からの指令に基づき、文字情報（テキストデータ）に対応する合成音声データを生成し、スピーカ２１３から合成音声を出力する。合成音声は、予め記憶部２０２の発話データベースに格納されている文字情報と音声データとの対応関係に基づいて生成される。

言語判別部は、入力された人物の音声データに対して、例えば、各言語による音素の種類、単語の音素配列パターン、韻律パターン、語彙などの違いを統計的にモデル化した言語判別モデルを用いて音声言語判別処理を実行することで、人物の発話言語を判別する。
音声認識部は、言語判別された音声データに対して、言語毎に用意された音声認識用の統計モデル（音響モデルおよび言語モデル）を用いて音声認識処理を実行することで、人物の発話内容を認識する。

カメラ２１０は、ロボット２に内蔵される、例えばＣＣＤ（Charge-Coupled Device）カメラ等の単独のカメラ、ステレオカメラ、距離センサ、或いはこれらを組み合わせた複合的なセンサであり、周囲の映像データを取得する。取得した映像データは制御部２０１に送られる。

マイク２１１は、ロボット２に内蔵される、例えば、単一のマイクロホン、或いは複数のマイクロホンから構成されるマイクロホンアレイであり、周囲の音声データを取得する。取得した音声データは制御部２０１に送られる。

匂いセンサ２１２は、ロボット２に内蔵される、例えば、水晶振動子式、半導体式の単一のセンサからなるもの、或いは複数のセンサからなるセンサアレイであり、周囲の匂いデータを取得する。取得した匂いデータは制御部２０１に送られる。

スピーカ２１３は、音声処理部２０９の音声合成部により生成された合成音声を出力する。

各種センサ２１４は、３Ｄセンサ、タッチセンサ、ジャイロセンサ、ソナーセンサ、レーザセンサ、バンパーセンサ、赤外線センサ等のセンサを含む。各センサは検出した信号を制御部２０１に入力する。
バス２２０は、制御信号、データ信号等の授受を媒介する経路である。

コンピュータ３は、情報処理システム１全体の動作を制御する制御装置であり、カメラ４による映像データの取得、マイク５による音声データの取得、匂いセンサ６による匂いデータの取得、ディスプレイ７の表示制御を行う他、ロボット２の動作を制御する。

図３に示すように、コンピュータ３は、制御部３０１、記憶部３０２、メディア入出力部３０３、周辺機器Ｉ／Ｆ部３０４、入力部３０６、表示部３０７、通信Ｉ／Ｆ３０８がバス３０９を介して接続されて構成される。

制御部３０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成される。ＣＰＵは、記憶部３０２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス３０９を介して接続された各部を駆動制御する。

制御部３０１のＣＰＵは、ロボット２が実行する処理（図１１）において、カメラ４による撮影制御やマイク５の音声取得制御や匂いセンサ６による匂い取得制御やディスプレイ７の表示制御を行う。

ＲＯＭは、コンピュータ３のブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部３０１が各種処理を行うために使用するワークエリアを備える。

記憶部３０２は、制御部３０１が実行するプログラムや、プログラム実行に必要なデータ、オペレーティングシステム等が格納されている。これらのプログラムコードは、制御部３０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて実行される。

メディア入出力部３０３は、例えば、磁気ディスク、光ディスク、半導体メモリ等の記録媒体（メディア）等のドライブ装置であり、データの入出力を行う。

周辺機器Ｉ／Ｆ（インタフェース）部３０４は、周辺機器を接続させるためのポートであり、周辺機器Ｉ／Ｆ部３０４を介して周辺機器とのデータの送受信を行う。周辺機器との接続形態は有線、無線を問わない。周辺機器Ｉ／Ｆ部３０４を介してコンピュータ３に、ロボット２、カメラ４、マイク５、匂いセンサ６、及びディスプレイ７等を通信接続できる。

入力部３０６は、例えばキーボード、マウス、タッチパネル等の入力装置であり、入力されたデータを制御部３０１へ出力する。

表示部３０７は、例えば液晶パネル等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路で構成され、制御部３０１の制御により入力された表示情報をディスプレイ装置上に表示させる。なお、入力部３０６のタッチパネルは表示部３０７のディスプレイと一体的に構成される。また、表示部３０７は外付けのディスプレイ７としてもよい。制御部３０１は表示部３０７またはディスプレイ７に対して表示情報を送り、表示させる。

通信Ｉ／Ｆ３０８は、ネットワーク８との通信を媒介するインタフェースである。コンピュータ３はネットワーク８上のＷｅｂサーバから各種のプログラムやデータを送受信可能である。

バス３０９は、制御信号、データ信号等の授受を媒介する経路である。

次に、図４を参照してロボット２（情報処理システム１）の機能構成について説明する。

ロボット２（情報処理システム１）は、人物特定部２０、映像取得部２１、音声取得部２２、匂い取得部２３、特徴抽出部２４、分類特定部２５、処理部２６、アクション部２９の各機能を備える。各機能の処理はプログラムによって実行される。このプログラムはロボット２の記憶部２０２またはコンピュータ３の記憶部３０２に予め記憶されものとしてもよいし、ネットワーク８を介してダウンロードしインストール可能なものとしてもよい。

人物特定部２０は、ロボット２が対話、情報案内、宣伝などの処理を行う対象人物を特定する。対象人物は、ロボット２に興味を示した人物やロボット２との対話を望む人物であることが好ましく、例えば、ロボット２に話しかけてきた人物や、ロボット２に触れてきた人物である。

ロボット２に話しかけてきた人物は、例えば、ロボット２に内蔵されるマイク２１１または外付けのマイク５により推定される人物の発話音声の到来方向と、ロボット２に内蔵されるカメラ２１０または外付けのカメラ４により取得される映像データ中における人物の顔方向と、の一致を検知することで特定される。
ロボット２に触れてきた人物は、例えば、ロボット２に内蔵されるカメラ２１０または外付けのカメラ４により取得される映像データからロボット２に近接する人物を検知し、且つ、ロボット２が備えるタッチセンサにより人物の接触動作を検知することで特定される。

なお対象人物は、ロボット２に話しかけてきた人物や、ロボット２に触れてきた人物以外にも、単にロボット２に接近してきた人物や単に映像データ中に映っている人物でもよい。
また、映像データ中に複数の人物が含まれている場合には、対象人物を複数の人物を含む１つの集団として特定してもよい。この場合、映像データ中の複数の人物間の位置や動きの関係性に基づいて、どの人物とどの人物が同一の集団に属するかを判別することで、対象人物（１つの集団）を特定する。

映像取得部２１は、ロボット２に内蔵されるカメラ２１０または外付けのカメラ４により人物特定部２０により特定された人物を含む映像データを取得する。

音声取得部２２は、ロボット２に内蔵されるマイク２１１または外付けのマイク５により人物特定部２０により特定された人物の音声データを取得する。なお、マイク２１１またはマイク５が指向性を制御可能なマイクロホンアレイの場合には、人物の顔方向にマイク２１１またはマイク５の指向性を向けて、人物の音声データを取得することが望ましい。

匂い取得部２３は、ロボット２に内蔵される匂いセンサ２１２または外付けの匂いセンサ６により人物特定部２０により特定された人物の匂いデータを取得する。なお、匂いセンサ２１２または匂いセンサ６が指向性を制御可能なセンサアレイの場合には、人物の方向に匂いセンサ２１２または匂いセンサ６の指向性を向けて、人物の匂いデータを取得することが望ましい。

特徴抽出部２４は、複数の異なる種別のデータを用いて、人物特定部２０により特定した人物の特徴を抽出する。具体的には、映像取得部２１により取得された映像データ、音声取得部２２により取得された音声データ、匂い取得部２３により取得された匂いデータ、の各データを用いて、データ毎に人物の特徴を抽出する。
ここで、映像データに基づいて抽出される人物の特徴を「第１の特徴」、音声データに基づいて抽出される人物の特徴を「第２の特徴」、匂いデータに基づいて抽出される人物の特徴を「第３の特徴」と呼ぶ。以下、第１の特徴、第２の特徴、第３の特徴について具体例を示す。

（第１の特徴）
第１の特徴は、映像データから抽出される人物の特徴であり、図５に示すように、例えば「動作特徴」（動作１、動作２、…）、「外見特徴」（外見１、外見２、…）、「反応特徴」（反応１、反応２、…）である。

「動作特徴」とは、人物の動作に関する特徴であり、例えば、映像データに対して動作解析を適用することで得られる、人物の歩き方（歩行速度、歩幅、腕の振り、姿勢など）の特徴である。なお人物が集団の場合には、集団に属する各人物の歩き方の平均的な特徴や各人物間の位置関係（横隊１列／横隊２列／縦隊１列、…など）の特徴である。

「外見特徴」とは、人物の外見に関する特徴であり、例えば、映像データに対して顔画像解析を適用することで得られる、人物の性別、年齢（年代）、眼の色、髪の色などの特徴である。顔画像から人物の性別、年齢（年代）などを認識する方法は公知の手法（特開２０１２−０５３８１３等）を用いればよい。
また、表情や感情を外見特徴として抽出してもよい。表情は、喜び、驚き、怒り、悲しみ、無表情等のいくつかのパターンに分類され、これら表情のパターンは、口角の上り具合、頬、目、眉等の位置関係等から読み取り可能である。
感情は、読み取った表情から推定可能であり、例えば、特開平１０−２５５０４３、特開２０１４−２０６９０３等に開示されている方法を用いればよい。
また、映像データに対して公知の服装識別解析を適用することで得られる、人物の服装種類（スーツ、ワンピース、民族衣装、…）を外見特徴として抽出してもよい。
なお人物が集団の場合には、特徴抽出部２４は、集団に属する各人物の平均的な外見特徴を抽出する。

「反応特徴」とは、ロボット２が人物へ行う情報の提示に対する、人物の反応に関する特徴である。情報の提示とは、例えば、天気情報、ニュースなどの情報を表示部２０４やディスプレイ７に表示して提示する他、人物に対して行う挨拶などを含む。例えば、所定の挨拶文（「おはようございます」「こんにちは」「ご機嫌いかがですか？」…）に対応する合成音声を音声処理部２０９により生成して、スピーカ２１３から音声出力（読み上げ）させる。或いは、所定の挨拶動作（「手を振る」「お辞儀をする」…）に対応するアクションの可動部制御シーケンスをアクションＤＢから読み出し、可動部駆動機構２０７に対して制御信号を送り、各駆動部を動作させる。
そして、特徴抽出部２４は、情報の提示を行った後に映像取得部２１により取得される映像データに対して動作解析、表情解析等を実行することで、情報の提示に対する人物の反応（「笑顔になる」「深刻な顔になる」「近づいてくる」「手を振り返す」「反応なし」など）を特徴として抽出する。
なお人物が集団の場合には、特徴抽出部２４は、集団に属する各人物の平均的な反応特徴を抽出する。

（第２の特徴）
第２の特徴は、音声データから抽出される人物の特徴であり、例えば、図６に示すように、「声の強さ」、「声の高さ」、「周波数特性」、「声質」（明るい声／暗い声／太い声／痩せた声、など）、「発話テンポ」（ゆっくり話す／せわしなく話す、など）、「倍音特性」（音の柔らかさに関する特性）、「抑揚」（イントネーション）、「反応音特徴」（「うーん」「んー」「えー」などのような話し相手の発言に対して何らかの反応を示す発話音の特徴）である。これらは、音声の非言語的情報であり、人物の個人的特徴や身体的特徴に起因した音声の特徴、人物の意図や感情などが表われる音声の特徴である。

また、「発話言語」「発話内容」のような音声の言語的情報を特徴として抽出してもよい。例えば、「発話言語」は、ロボット２の音声処理部２０９によって人物の音声データに対して、各言語による音素の種類、単語の音素配列パターン、韻律パターン、語彙などの違いを統計的にモデル化した言語判別モデルを用いて分析することで抽出される。また「発話内容」は、ロボット２の音声処理部２０９によって、マイク２１１から入力された音声データについて音声認識処理を適用することで抽出される。

（第３の特徴）
第３の特徴は、匂いデータから抽出される人物の特徴であり、図７に示すように、例えば「匂いの種類」（種類１、種類２、…）、「匂いの強さ」（強さ１、強さ２、…）である。
匂いの種類は、予め匂いの種類を既知とした匂いデータを多数収集して学習した、匂いの種類を判別する匂い判別モデルを用いて分析することで、特定される。匂いの強さは、匂いセンサ６（或いは匂いセンサ２１２）により取得される匂いデータ（入力値）の絶対値等から算出できる。

分類特定部２５は、特徴抽出部２４により抽出される上記した特徴（第１の特徴、第２の特徴、第３の特徴）に基づいて、人物の分類５１を特定する。
分類５１とは、人物を任意の属性（嗜好、性別、年代、言語、国籍等）でグループ分けしたものであり、図９の分類テーブル５０に示すように、各分類５１（分類１、分類２、…）は、第１の特徴、第２の特徴、第３の特徴の各特徴によって規定される。各分類５１（分類１、分類２、…）をどのような特徴によって規定するかは、予め分類５１（分類１、分類２、…）を既知とした多数の人物から各特徴（第１の特徴、第２の特徴、第３の特徴）を抽出し学習することで統計的に決定される。これにより、各分類５１（分類１、分類２、…）に属する人物が、どのような特徴（第１の特徴、第２の特徴、第３の特徴）を有する傾向があるかを統計的に把握することができる。

例えば、図９の例では、「分類１」に属する人物は、統計的に、「第１の特徴」として、「動作３」「外見１０」「反応６」…の特徴を有し、「第２の特徴」として、「（声の）強さ２」「（声の）高さ９」「周波数特性１」…の特徴を有し、「第３の特徴」として、「（匂いの）種類５」「（匂いの）強さ４」…の特徴を有する傾向が多いことが把握できる。
また「分類２」に属する人物は、統計的に、「第１の特徴」として、「動作５」「外見２」「反応１」…の特徴を有し、「第２の特徴」として、「（声の）強さ４」「（声の）高さ７」「周波数特性３」…の特徴を有し、「第３の特徴」として、「（匂いの）種類３」「（匂いの）強さ１」…の特徴を有する傾向が多いことが把握できる。
また「分類３」に属する人物は、統計的に、「第１の特徴」として、「動作２」「外見７」「反応３」…の特徴を有し、「第２の特徴」として、「（声の）強さ６」「（声の）高さ１」「周波数特性４」…の特徴を有し、「第３の特徴」として、「（匂いの）種類２」「（匂いの）強さ８」…の特徴を有する傾向が多いことが把握できる。

分類特定部２５は、分類テーブル５０を参照して、特徴抽出部２４により抽出された特徴に基づいて人物の分類を特定する。例えば、特徴抽出部２４により抽出された全ての特徴について、各特徴がどの分類５１（分類１、分類２、…）に属するかを集計し、最も集計数が多い分類５１を人物の分類として特定する。

処理部２６は、分類特定部２５により特定された分類５１の処理データ６１に基づいて、処理を行う。「処理」とは、ロボット２が人物の相手になって受け答えをする処理（対話など）や、ロボット２が人物に対して一方的に情報を提供する処理（宣伝など）を含む。
図１０は処理データ６１を保持する処理データベース６０の内容を示す図である。図に示すように、処理データベース６０は、分類５１（分類１、分類２、…）毎に処理データ６１（処理データ１、処理データ２、…）を保持する。

処理データ６１は、例えば、映像データ、音声データ、テキストデータ、動作データ、或いはこれらデータの任意の組み合わせである。
処理データ６１が映像データの場合、ロボット２の表示部２０４やディスプレイ７に映像を表示させる。処理データ６１が音声データの場合、ロボット２のスピーカ２１３から音声出力させる。処理データがテキストデータの場合、音声処理部２０９が、テキストデータの合成音声を生成し、スピーカ２１３から音声出力させる（或いは、ロボット２の表示部２０４やディスプレイ７にテキストデータを表示させる）。処理データ６１が動作データの場合、動作データに含まれる各アクションに対応した可動部制御シーケンスをアクションＤＢから読み出し、可動部駆動機構２０７に対して制御信号を送り、各駆動部を動作させる。

処理データ６１は、システム設計者等により事前に任意に設定される。例えば各分類５１（分類１、分類２、…）が、分類１＝「英語」、分類２＝「フランス語」のように「言語」によりグループ分けされていれば、処理データ６１として、言語毎の対話データ（音声データ）を設定することができる。また、各分類５１（分類１、分類２、…）が、分類１＝「１０代」、分類２＝「２０代」のように「年代」によりグループ分けされていれば、処理データ６１として、各年代向けの情報（各年代で最近流行している商品情報等）を設定することができる。

次に、図１１を参照してロボット２が実行する処理の流れの一例を説明する。
ロボット２は、まず、対話、情報案内、宣伝などの処理を行う対象人物を特定する（ステップＳ０）。

続いて、ロボット２は、複数の異なる種別のデータを用いて、ステップＳ１において特定した人物の特徴を抽出する。
まず、ロボット２は、映像データを取得し、人物の第１の特徴を抽出する（ステップＳ１）。例えば、前記したように、映像データから人物の「動作特徴」「外見特徴」「反応特徴」等（図５参照）を抽出する。
なお「反応特徴」を抽出する場合には、ステップＳ１の前に、人物へ所定の情報提示を行い、ステップＳ１において、この情報提示に対する人物の反応を特徴として抽出する。

続いて、ロボット２は、音声データを取得し、人物の第２の特徴を抽出する（ステップＳ２）。例えば、前記したように、音声データから人物の「声の強さ」「声の高さ」「周波数特性」「声質」「発話テンポ」「倍音特性」「抑揚」「反応音」「発話言語」「発話内容」等（図６参照）を抽出する。

さらに、ロボット２は、匂いデータを取得し、人物の第３の特徴を抽出する（ステップＳ３）。例えば、前記したように、匂いデータから人物の「匂いの種類」「匂いの強さ」等（図７参照）を抽出する。

続いて、ロボット２は、分類テーブル５０を参照して、ステップＳ１〜Ｓ３において抽出された人物の特徴（第１の特徴、第２の特徴、第３の特徴）に基づいて、人物の分類５１を特定する（ステップＳ４）。例えば、ステップＳ１〜Ｓ３において抽出された全ての特徴について、各特徴がどの分類５１（分類１、分類２、…）に属するかを集計し、最も集計数が多い分類５１を人物の分類として特定する。

例えば、図８に示すように、「第１の特徴」として「動作３」「外見２」「反応６」が抽出され、「第２の特徴」として「（声の）強さ２」「（声の）高さ７」「周波数特性１」が抽出され、第３の特徴として「（匂いの）種類５」「（匂いの）強さ８」が抽出されたとする。
この場合、図９の分類テーブル５０を参照すると、抽出された特徴のうち、「動作３」「反応６」「（声の）強さ２」「周波数特性１」「（匂いの）種類５」の５つの特徴が「分類１」に属し、「外見２」「（声の）高さ７」の２つの特徴が「分類２」に属し、「（匂い）の強さ８」の１つの特徴が「分類３」に属する。すなわち、「分類１」に最も多くの特徴が属するため、ロボット２は、「分類１」を人物の分類として特定する。

そして、ロボット２は、処理データベース６０を参照して、ステップＳ４において特定された分類５１の処理データ６１を取得し、この処理データ６１に基づいて、所定の処理を実行する（ステップＳ５）。例えば、特定した分類５１が「分類１」の場合、ロボット２は、「分類１」に対応する「処理データ１」（図１０参照）に基づいて、処理を実行する。

以上、添付図面を参照して、本発明に係る好適な実施形態について説明したが、本発明は係る例に限定されない。

例えば、本発明に係る情報処理装置を、ロボットの形態で説明したが、適用形態はロボットに限定されず、自動販売機、デジタルサイネージ等に適用することも可能である。

また、図４ではロボット２内の制御部２０１及び記憶部２０２に、情報処理システム１が備える各種機能及び各種データ（人物特定部２０、映像取得部２１、音声取得部２２、匂い取得部２３、特徴抽出部２４、分類特定部２５、処理部２６、分類テーブル５０、処理データベース６０等）が設けられるものとしているが、ロボット２とは別に設けられるコンピュータ３にこれらの各部やデータを設けるものとしてもよい。

また、図１１のステップＳ１〜Ｓ３において、映像データ、音声データ、匂いデータの全種別のデータから人物の特徴を抽出できるとは限らない。例えば、人物が発話しないような場合には、音声データから人物の特徴を抽出できない。この場合には、映像データと匂いデータから抽出された人物の特徴に基づいて、人物の分類を特定すればよい。また、人物がロボット２から離れた場所に居るような場合には、匂いデータから人物の特徴を抽出できない。この場合には、映像データと音声データから抽出される人物の特徴に基づいて、人物の分類を特定すればよい。

また、図１１の処理において、ロボット２が特定した人物の分類５１に誤りがあった場合、分類テーブル５０を再学習させてもよい。具体的には、図１１のステップＳ４の後に、ロボット２が人物に対して特定した分類５１の正誤を確認する処理を加える。例えば分類５１（分類１、分類２、…）が「国籍」でグループ分けされている場合であって、特定された人物の分類５１が「フランス」だとする。この場合、ロボット２は人物に対して「あなたはどこの国の方ですか？」など特定した分類５１の正誤を確認する質問を行う。これに対し、人物が特定された分類５１（「フランス」）とは異なる分類５１を回答した場合（例えば「“イタリア”から来ました」などの回答をした場合）、ロボット２は特定した人物の分類５１（「フランス」）が誤りと判断し、正しい分類５１（「イタリア」）とステップＳ１〜Ｓ３で抽出した特徴（第１の特徴、第２の特徴、第３の特徴）を正しい学習データとして、分類テーブル５０を再学習させる。

その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１……………………情報処理システム
２……………………ロボット
３……………………コンピュータ
４……………………カメラ
５……………………マイク
６……………………匂いセンサ
７……………………ディスプレイ
２０…………………人物特定部
２１…………………映像取得部
２２…………………音声取得部
２３…………………匂い取得部
２４…………………特徴抽出部
２５…………………分類特定部
２６…………………処理部
４０…………………人物特徴
５０…………………分類テーブル
６０…………………処理データベース

Claims (10)

1. 人物の分類ごとに特徴を記憶する記憶手段と、
   人物の特徴を抽出する抽出手段と、
   抽出した前記特徴に基づいて前記人物の分類を特定する特定手段と、
   特定した前記分類に応じた処理を行う処理手段と、
   を備えることを特徴とする情報処理装置。
2. 前記抽出手段は、複数の異なる種別のデータを用いて特徴を抽出する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記人物を含む映像データを取得する映像取得手段、を更に備え、
   前記抽出手段は、少なくとも、前記映像データから前記人物の特徴を抽出し、
   前記特定手段は、少なくとも、前記特徴に基づいて前記人物の分類を特定する
   ことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記抽出手段は、前記人物の動作に関する特徴を抽出する
   ことを特徴とする請求項３に記載の情報処理装置。
5. 人物に対して情報を提示する情報提示手段、を更に備え、
   前記抽出手段は、前記情報に対する、前記人物の反応に関する特徴を抽出する
   ことを特徴とする請求項１から請求項４のいずれかに記載の情報処理装置。
6. 前記人物の音声データを取得する音声取得手段、を更に備え、
   前記抽出手段は、少なくとも、前記音声データから前記人物の特徴を抽出し、
   前記特定手段は、少なくとも、前記特徴に基づいて前記人物の前記分類を特定する
   ことを特徴とする請求項１から請求項５のいずれかに記載の情報処理装置。
7. 前記抽出手段は、声の強さ、声の高さ、周波数特性、声質、発話テンポ、倍音特性、抑揚、反応音の特徴、発話言語、発話内容の少なくともいずれかを抽出する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記人物の匂いデータを取得する匂い取得手段、を更に備え、
   前記抽出手段は、少なくとも、前記匂いデータから前記人物の特徴を抽出し、
   前記特定手段は、少なくとも、前記特徴に基づいて前記分類を特定する
   ことを特徴とする請求項１から請求項７のいずれかに記載の情報処理装置。
9. 前記特定手段は、抽出した全ての特徴について、各特徴がどの分類に属するかを集計し、最も集計数が多い分類を人物の分類として特定する
   ことを特徴とする請求項１から請求項８のいずれかに記載の情報処理装置。
10. 請求項１から請求項９のいずれかに記載の情報処理装置として機能させることを特徴とするプログラム。
    
    

Images