JP2005198210A - データ処理装置 - Google Patents

Abstract

【課題】移動体内で画像や音声データ等のデータ通信を行い、移動体内の状態を容易に把握できるデータ処理装置を提供する。
【解決手段】移動体中の所定位置の座席毎に、少なくとも画像データおよび音声データのいずれかのデータを入力する入力手段としての操作入力装置３００、撮影装置４００、および音声録音装置７００と、少なくとも画像データおよび音声データのいずれかのデータを出力する出力手段としての映像出力装置５００、音声出力装置８００とを設け、演算処理部１００（制御部）が、入力手段から入力されたデータおよび予め登録された登録データに基づいて識別処理を行い、識別処理の結果および少なくとも移動体中の入力手段の位置を示す移動体中位置情報ｔとを関連付けて移動体中位置識別情報ＤＡｔを生成し、生成した移動体中位置識別情報ＤＡｔを出力手段に出力させる。
【選択図】図１

Description

本発明は、例えば自動車、バス、電車、飛行機、船舶等の移動体に搭載され、画像データや音声データ等のデータ通信を行うデータ処理装置に関する。

例えば自動車内で、カメラ、マイク、モニタ、およびスピーカ等を用いて会話を行うことができる車載テレビ電話装置が知られている（例えば、特許文献１参照）。
特開２００３−５４３２３号公報

例えば自動車、バス、電車、飛行機、船舶等の移動体に複数のユーザが乗車や搭乗を行い、複数のユーザそれぞれが座席に着座した状態で他のユーザと画像や音声により会話を楽しみたいという要望がある。また、その際、ユーザが移動体内の他のユーザの座席位置を知りたい場合や、移動体の責任者等が各座席の状態を知りたいという要望がある。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、移動体内で画像や音声データ等のデータ通信を行い、移動体内の状態を容易に把握できるデータ処理装置を提供することにある。

前記目的を達成するために、本発明のデータ処理装置は、移動体に搭載されるデータ処理装置であって、少なくとも画像データおよび音声データのいずれかのデータを入力する入力手段と、少なくとも画像データおよび音声データのいずれかのデータを出力する出力手段と、前記入力手段から入力されたデータおよび予め登録された登録データに基づいて識別処理を行い、前記識別処理の結果および少なくとも前記移動体中の入力手段の位置を示す移動体中位置情報とを関連付けて移動体中位置識別情報を生成し、前記生成した移動体中位置識別情報を前記出力手段に出力させる制御手段とを有する。

好適には、前記入力手段は、前記移動体の少なくとも速度および加速度のいずれかを示す移動体情報を取得する移動体情報取得手段を有し、前記制御手段は、前記移動体情報取得手段が取得した移動体情報に基づいて、前記移動体が移動時に前記識別処理の結果および少なくとも前記移動体中の入力手段の位置を示す移動体中位置情報とを関連付けて前記移動体中位置識別情報を生成する。

本発明のデータ処理装置によれば、制御手段は、移動体情報取得手段の移動体情報に基づいて移動体が移動中に、入力手段から入力されたデータおよび予め登録された登録データに基づいて識別処理を行い、識別処理の結果および少なくとも移動体中の入力手段の位置を示す移動体中位置情報とを関連付けて移動体中位置識別情報を生成し、生成した移動体中位置識別情報を出力手段に出力させる。

本発明によれば、移動体内で画像や音声データ等のデータ通信を行い、移動体内の状態を容易に把握できるデータ処理装置を提供することができる。

本発明の一実施形態に係る、移動体に搭載されたデータ処理装置を図面を参照しながら説明する。
本実施形態に係るデータ処理装置が搭載される移動体として、例えば自動車、バス、電車、飛行機、船舶等の複数のユーザが移動体中の所定位置に設けられた座席に着座可能で、各座席毎に入力手段および出力手段が設けられている移動体を例示する。

図１は、本発明に係るデータ処理装置の一実施形態のハードウェアの構成図である。
本実施形態に係るデータ処理装置１は、演算処理部１００、２次記憶装置（外部記憶装置）２００、操作入力装置３００、撮影装置（人物撮影装置）４００、映像出力装置５００、端末間通信装置６００、音声録音装置７００、音声出力装置８００、および移動体情報取得装置（移動体情報装置）９００を主構成要素として有する。

操作入力装置３００、撮影装置４００、音声録音装置７００、および移動体情報取得装置９００は、本発明に係る、少なくとも画像データおよび音声データのいずれかのデータを入力する入力手段に相当する。
映像出力装置５００および音声出力装置８００は、本発明に係る、少なくとも画像データおよび音声データのいずれかのデータを出力する出力手段に相当する。

詳細には、移動体情報取得装置９００は本発明に係る移動体情報取得手段に相当し、撮影装置４００は本発明に係る撮影手段に相当し、音声録音装置７００は、本発明に係る音声データ生成手段に相当し、端末間通信装置６００は本発明に係る通信手段に相当する。
また、演算処理部１００は本発明に係る制御手段に相当する。

演算処理部１００は、データ処理装置１の各構成要素を制御する。
演算処理部１００は、ハードウェア的には例えば図１に示すように、ＣＰＵ（Central Processing Unit ）１０１、ＲＡＭ（Random Access Memory）１０２、ＲＯＭ（Read Only Memory）１０３、不揮発性メモリ１０４、およびインタフェース部１０５を有する。

ＣＰＵ１０１は、例えばＲＯＭ１０３等に記憶されたプログラムを、ＲＡＭ１０２をワークエリアとして実行することによりデータ処理、およびシステムの制御を行う。
不揮発性メモリ１０４は、例えば書き換え可能かつ、データ処理装置１の電源供給が途絶えた場合であっても、データを保持可能なメモリである。不揮発性メモリ１０４は、例えば電池により保持データをバックアップするＳＲＡＭやフラッシュメモリにより構成される。

インタフェース部１０５は、ＣＰＵ１０１の制御により周辺装置、例えば２次記憶装置（外部記憶装置）２００、操作入力装置３００、撮影装置４００、映像出力装置５００、端末間通信装置６００、音声録音装置７００、音声出力装置８００、および移動体情報装置９００等とデータ通信を行うインタフェースである。

２次記憶装置（外部記憶装置）２００は、例えば、移動体中のユーザの着座表（移動体中位置識別情報ＤＡｔ）に関するデータや、ユーザの識別情報（登録データ）ＤＡ、地図データや、観光地や各種施設に関する情報を示すＰＯＩ（Point of Interest ）情報、検索情報、音楽／映像コンテンツデータ等のデータを保持する記憶装置であり、演算処理部１００の制御によりデータの読み出しや書き込みを行う。
２次記憶装置２００は、例えば具体的にはＣＤ−ＲＯＭ（Compact Disc−Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disc-ROM）、ＤＶＤ−ＲＡＭ等の光ディスク装置やハードディスクドライブ等の磁気記録装置等である。

操作入力装置３００は、例えばユーザの操作に応じた信号を演算処理部１００に出力する。本実施形態では操作入力装置３００は、例えばいわゆるタッチパネル装置であり、ユーザによる操作に応じた信号を演算処理部１００に出力する。また、操作入力装置３００に、例えば操作スイッチやリモコン等を設けてもよい。
撮影装置（人物撮影装置）４００は、演算処理部１００の制御により、被写界深度を設定可能で撮影結果を基に画像データを生成し、例えばユーザを撮影して画像データを生成し、演算処理部１００に出力する。また、移動体が移動時には被写界深度が所定値より小さくなるように設定される。

図２は、図１に示したデータ処理装置の撮影装置の制御を説明するための図である。
撮影装置４００は、例えば図２に示すように、光学系４０１、光学系駆動部４０２、アイリス４０３、アイリス駆動部４０４、撮像素子４０５、センサ部４０６、および発光部４０７を主構成要素として有する。
アイリス４０３およびアイリス駆動部４０４は本発明に係る絞りを調節する絞り調節手段に相当する。センサ部４０６は本発明に係る光検出手段に相当する。発光部４０７は本発明に係る発光手段に相当する。

光学系４０１は、例えば単数および複数の光学レンズにより構成され、ユーザからの光を撮像素子４０５上に結像する。
光学系駆動部４０２は、例えば演算処理部１００からの光学系４０１のレンズ位置を制御させる制御信号ＣＴＬ４０２に基づいて、光学系４０１を制御する。

アイリス４０３は、光学系４０１を介して撮像素子４０５に入射する光量を調整する機能、つまり絞り機能を有し、詳細にはアイリス駆動部４０４により駆動される。
アイリス駆動部４０４は、演算処理部１００からのアイリス４０３の絞りを調整させる制御信号ＣＴＬ４０４に基づいて、アイリス４０３を駆動制御する。
例えば、演算処理部１００は、移動体情報取得装置９００が取得した移動体情報に基づいて、少なくとも移動体が移動時には被写界深度が所定値より小さくなるように設定させる制御信号ＣＴＬ４０４を出力する。

撮像素子４０５は、例えば、光を電気信号に変換する撮像素子であり、撮像結果を信号Ｓ４００として演算処理部１００に出力する。
具体的には、撮像素子４０５は、電荷結合素子（ＣＣＤ：Charge Coupled Device ）や、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor ）等のイメージセンサである。

センサ部４０６は、例えば移動体による撮影装置４００の振動を検出する振動センサや、移動体中の光量を検出して暗状態や明状態を特定する光センサ等であり、検出結果に応じた信号Ｓ４０６を演算処理部１００に出力する。
発光部４０７は、例えばフラッシュや電灯等の発光装置であり、演算処理部１００が信号Ｓ４０６に基づいて出力した制御信号ＣＴＬ４０７に応じた発光を行う。例えば暗状態が検出された場合に発光するように制御される。

上記構成の撮影装置４００において、例えば演算処理部１００は、移動体の移動状態およびセンサ部４０６の検出結果に基づいて光学系４０１やアイリス４０３を制御する。
具体的には、例えば演算処理部１００は、振動センサによる検出結果と、撮像素子４０５からの信号Ｓ４００に基づいて、その振動を除去するように光学系４０１を制御駆動させる制御信号ＣＴＬ４０２を光学系駆動部４０２に出力する。光学系駆動部４０２は、制御信号ＣＴＬ４０２に基づいて、その振動を除去するように光学系４０１を制御駆動する。

また、上述したように演算処理部１００は、移動体情報取得装置９００が取得した移動体情報に基づいて、移動体の移動状態に基づいて撮影装置４００被写界深度を制御する。具体的には、例えば演算処理部１００は、移動体が移動時には、被写界深度が所定値よりも小さく（浅く）なるように、アイリス４０３を制御させる制御信号ＣＴＬ４０４を、アイリス駆動部４０４に出力する。

被写界深度は、例えば図２に示すように、ピントを被写体（ユーザ）ｈに正確に合わせた場合に、所定の誤差範囲内でピントの合っている距離範囲のことであり、絞り値、被写体までの距離、および焦点距離等により変化する。例えば絞り値が小さくなればなるほど、被写界深度が浅くなる。
具体的には、図２に示すように、アイリス４０３により絞りがａｐ１の状態では被写界深度がｄｐ１であり、絞りがａｐ２の状態、つまりａｐ１よりも絞り値が小さいａｐ２の場合には、被写界深度はｄｐ１よりも小さいｄｐ２となる。つまり被写界深度が浅くなる。
演算処理部１００は、例えば移動体の所定位置の座席に着座したユーザ（被写体）ｈのみにピントを合わせたい場合には、被写界深度が浅くなるように、制御信号ＣＴＬ４０４をアイリス駆動部４０４に出力して、アイリス４０３を駆動制御させる。

また、演算処理部１００は、上述した振動センサによる振動の検出結果に基づいて被写界深度を制御してもよい。例えば演算処理部１００は、振動センサが、所定値よりも大きい振動を検出した場合には、被写界深度がｄｐ１となるように制御し、振動が少ない場合には、被写界深度をｄｐ１よりも小さいｄｐ２となるように制御する。

また、演算処理部１００は、光センサによる検出結果に基づいて、例えば暗状態が検出されると、絞り値を小さくさせる制御信号ＣＴＬ４０４をアイリス駆動部４０４に出力し、明状態が検出されると絞り値を大きくさせる制御信号ＣＴＬ４０４をアイリス駆動部４０４に出力して、アイリス駆動部４０４にアイリス４０３を駆動制御させる。

映像出力装置５００は、演算処理部１００による制御により、例えば撮影装置４００で撮影された画像データや、地図情報、映像コンテンツや、他のユーザを撮影した画像データ等を表示する。例えば映像出力装置５００は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や、有機ＥＬ（Electroluminescence ）等の表示装置である。

図３は、図１に示したデータ処理装置の全体図の一具体例を示す図である。
例えば移動体中の各座席には、例えば図３に示すように、筐体部１０が設けられている。
筐体部１０の正面上部の中央部には撮影装置４００の光学系４０１等が設けられ、その左部には、センサ部４０６が設けられ、撮影装置４００の右部には発光部４０７が設けられている。

筐体部１０の正面下部の中央部には音声録音装置７００が設けられ、その左部には、音声出力装置８００、例えばスピーカが設けられている。筐体部１０の中央部には、映像出力装置５００が設けられている。また、本実施形態では、映像出力装置５００の前面には操作入力装置３００としてタッチパネルが設けられている。

映像出力装置５００は、例えば図３に示すように、第１領域５１１、第２領域５１２、および第３領域５１３の画像表示領域を有する。
映像出力装置５００は、例えば演算処理部１００の制御により、第１領域５１１には、撮影装置４００が生成した画像データや、他の撮影装置で撮影された画像データを表示する。また、第２領域５１２には、移動体に関する情報、例えば地図情報や移動体の速度等の情報や、移動体中位置識別情報ＤＡｔ（着座表）等の情報を表示する。また、第３域５１３には、例えば操作パネルを示す画像を表示する。

端末間通信装置６００は、例えば、他のデータ処理装置とデータ通信を行う通信装置であり、例えば無線方式や有線方式により他のデータ処理装置とデータ通信を行う。
また、端末間通信装置６００は、例えば移動体中の所定位置、例えば座席毎にデータ処理装置を設けた場合には、各データ処理装置とデータ通信を行う。
また、端末間通信装置６００は、例えば他の移動体中のデータ処理装置ともデータ通信を行う。
音声録音装置７００は、例えば音波を電気信号に変換する装置であり、所定方向に感度が最大となる、具体的には、感度が移動体中の所定位置の話者の方向に感度が最大となる指向性を有し、所定方向からの音声を基に音声データを生成する。具体的には音声録音装置７００は指向性の高いマイクロフォン等で構成される。

図４は、図１に示したデータ処理装置の音声録音装置７００の指向性を説明するための図である。
本実施形態に係る音声録音装置７００としてのマイクロフォンは、例えば図３，４に示すように、筐体部１０の正面下部の中央部に設けられており、マイクロフォンの位置Ｂから所定方向、例えばユーザｈの方向（０°）が最大感度となり、それ以外の方向では感度が低下するように指向性が設定されている。例えば図４に示す指向特性図の単位は、度（角度）とｄＢ（感度）である。
こうすることにより、移動体中の限られたスペース内で複数のユーザが同時に話したとしても、音声録音装置７００は、最大の感度方向から発せられるユーザの音声のみを採音して、音声データを生成することで、話者以外の余計なノイズ等が低減した音声データを生成することができる。

音声出力装置８００は、例えば演算処理部１００の制御により、音声データに応じた発音を行う。詳細には音声出力装置８００は、増幅装置およびスピーカ等により構成される。

移動体情報取得装置（移動体情報装置）９００は、移動体に関する情報、例えば移動体の少なくとも速度および加速度のいずれかを示す移動体情報を取得し、取得した結果を示すデータを演算処理部１００に出力する。
詳細には移動体情報取得装置９００は、移動体の速度を検出する速度センサ、移動体の加速度を検出する加速度センサや、移動体の位置情報を検出するＧＰＳ（Global Positioning System ）装置、移動体の各速度を検出する角速度センサ、温度センサ、地磁気センサ等を有し、検出結果を示す信号を演算処理部１００に出力する。

例えば図３に示すように、操作入力装置３００、撮影装置４００、映像出力装置５００、端末間通信装置６００、音声録音装置７００、および音声出力装置８００等それぞれは、移動体中の所定の位置、例えば座席それぞれの位置に設置され、その移動体中の位置を示す移動体中位置情報ｔ、具体的には座席位置情報が設定されている。

演算処理部１００は、入力手段から入力されたデータおよび予め登録された登録データに基づいて識別処理を行い、識別処理の結果および少なくとも移動体中の入力手段の位置を示す移動体中位置情報ｔとを関連付けて移動体中位置識別情報ＤＡｔを生成し、生成した移動体中位置識別情報ＤＡｔを出力手段に出力させる。

また、演算処理部１００は、移動体情報取得装置９００が取得した移動体情報に基づいて、移動体が移動時に識別処理の結果および少なくとも移動体中の入力手段の位置を示す移動体中位置情報ｔとを関連付けて移動体中位置識別情報ＤＡｔを生成する。

また、演算処理部１００は、入力手段から入力されたデータおよび予め登録された登録データに基づいて識別処理を行い、識別処理の結果ならびに移動体中の入力手段および出力手段の位置を示す移動体中位置情報ｔとを関連付けて移動体中位置識別情報ＤＡｔを生成し、生成した移動体中位置識別情報ＤＡｔに基づいて、移動体中の第１の位置の入力手段から入力されたデータを第１の位置と異なる第２の位置の出力手段に出力する。

演算処理部１００は、入力手段から入力された音声データ、登録データＤＡ、および移動体中位置識別情報ＤＡｔに基づいて音声データに対応する移動体中の位置に設けられた出力手段を特定し、特定した出力手段に、入力手段から入力された音声データおよび画像データのいずれかを出力させる。

また、演算処理部１００は、端末間通信装置６００を介して入力されたデータを出力手段に出力させ、入力手段から入力されたデータを端末間通信装置６００を介して通信させる。
以下、演算処理部１００の機能を図面を参照しながら詳細に説明する。

図５は、図１に示したデータ処理装置のソフトウェア的な機能ブロック図である。
演算処理部１００は、例えばＣＰＵが１０１がプログラムＰＲＧを実行することにより、図５に示すように、操作入力処理部１１１、音声入力処理部１１２、映像入力処理部１１３、音声再生処理部１１４、画面描画処理部１１５、情報通信処理部１１６、および制御部１１７の機能を実現する。
記憶部２０１は、少なくともＲＡＭ１０２、ＲＯＭ１０３、不揮発性メモリ１０４、および２次記憶装置２００のいずれかの記憶装置、およびその複数の記憶装置が組み合わされた記憶装置に相当する。

操作入力処理部１１１は、少なくとも操作入力装置４００から入力された信号に基づいて、例えばユーザによる操作を解析し、所定のデータを生成して所望の構成要素に出力する。

音声入力処理部１１２は、音声録音装置７００から入力された信号に基づいて、例えばユーザによる音声に応じた音声データを基に増幅処理や音声認識処理を行い、処理結果を音声再生処理部１１４および制御部１１７等に出力する。
映像入力処理部１１３は、例えば撮影装置４００から入力された画像データに応じた処理、例えばブレ除去処理やノイズ除去処理、および画像認識処理等を行い処理結果を画面描画処理部１１５および制御部１１７等に出力する。

音声再生処理部１１４は、音声録音装置７００から音声信号が入力されると、その音声信号に応じた処理、例えば音声信号の増幅処理やノイズ除去処理、音声認識処理等を行い、処理結果を音声再生処理部１１４および制御部１１７等に出力する。
画面描画処理部１１５は、例えば映像入力処理部１１３や制御部１１７から入力された画像データに応じた画像表示を、映像出力装置５００に表示させる。
情報通信処理部１１６は、撮影装置４００により撮影された画像や、音声録音装置７００により生成された音声データを、端末間通信装置６００を介して他のデータ処理装置とデータ通信を行う。また、情報通信処理部１１６は、他のデータ通信装置から入力された画像データや音声データを制御部１１７に入力し、制御部１１７はその画像データを画面描画処理部１１５を介して映像出力装置５００に表示させ、また制御部１１７はその音声データを音声再生処理部１１４を介して音声出力装置８００に発音させる。

制御部１１７は、例えば音声入力処理部１１２、操作入力処理部１１１、音声入力処理部１１２、映像入力処理部１１３、情報通信処理部１１６、および移動体情報取得装置９００、２次記憶装置２００等の構成要素の少なくとも一つから入力された信号に基づいて本発明に係る処理を行い、処理結果を例えば音声再生処理部１１４、画面描画処理部１１５、２次記憶装置（外部記憶装置）２００、情報通信処理部１１６に出力する。

例えば、制御部１１７は、音声入力処理部１１２からの信号を基に音声認識処理等を行い映像入力処理部１１３から入力された信号に基づいて画像認識処理を行う。この音声認識処理や画像認識処理は音声入力処理部１１２や映像入力処理部１１３で行ってもよいし、情報通信処理部１１６および端末間通信装置６００を介して、外部のデータ処理装置と分散処理により行ってもよい。

また、制御部１１７は、操作入力装置３００、撮影装置４００、映像出力装置５００、端末間通信装置６００、音声録音装置７００、および音声出力装置８００等それぞれに設定された移動体中の所定の位置、例えば座席それぞれの位置に設置され、その移動体中の位置に関する移動体中位置情報ｔ、および音声認識処理や画像認識処理結果等の識別処理の結果に基づいて、移動体中の入力手段および出力手段の位置と、ユーザを示す識別情報とを関連付けた移動体中位置識別情報ＤＡｔを生成する。
移動体中位置識別情報ＤＡｔは、識別処理の結果、ユーザの移動体中の位置を示すデータである。

また、制御部１１７は、あるユーザが特定のユーザと会話を行いたい旨を示す指示が入力手段から入力された場合には、それぞれのユーザを示す識別情報、および移動体中位置識別情報ＤＡｔに基づいて、移動体中のユーザそれぞれに対応付けられた操作入力装置３００、撮影装置４００、映像出力装置５００、端末間通信装置６００、音声録音装置７００、音声出力装置８００等を特定し、特定した装置間でデータ通信、例えば画像や音声データ等のデータ通信を行わせる。

上記構成の具体的な作用は、例えば操作入力装置３００から利用者（ユーザ）の操作に応じた信号が操作入力処理部１１１に入力されると、操作入力処理部１１１は、その信号に応じた処理を行う。例えば音声録音装置７００から利用者（ユーザ）の発音に応じた信号が音声入力処理部１１２に入力されると、音声入力処理部１１２は、その信号に応じた処理、例えば音声信号の増幅処理やノイズ除去処理、音声認識処理等を行い、処理結果を音声再生処理部１１４および制御部１１７等に出力する。音声再生処理部１１４は音声入力処理部１１２から入力された信号に応じた処理、例えば増幅処理等を行い音声出力装置８００に発音させる。

例えば人物撮影装置４００から画像データが映像入力処理部１１３に入力されると、映像入力処理部１１３はその画像データに応じた処理、例えばブレ除去処理やノイズ除去処理、および画像認識処理等を行い処理結果を、画面描画処理部１１５および制御部１１７等に出力する。画面描画処理部１１５は、画像入力処理部から入力された信号に応じた画像を映像出力装置５００に表示させる。

また、例えば人物撮影装置４００により利用者（ユーザ）の顔が撮影された画像データが映像入力処理部１１３に入力されると、映像入力処理部１１３および制御部１１７は、例えば２次記憶装置２００に記憶された登録データと照合を行い、ユーザの識別処理を行う。制御部１１７は、識別処理の結果、適合する登録データがない場合には、その画像データに基づいて、撮影されたユーザを新規のユーザとして登録処理処理を行う。

情報通信処理部１１６は、撮影装置４００により撮影された画像や、音声録音装置７００により生成された音声データを、端末間通信装置６００を介して他のデータ処理装置とデータ通信を行う。また、情報通信処理部１１６は、他のデータ通信装置から入力された画像データや音声データを制御部１１７に入力し、制御部１１７はその画像データを画面描画処理部１１５を介して映像出力装置５００に表示させ、また制御部１１７はその音声データを音声再生処理部１１４を介して音声出力装置８００に発音させる。

図６は、図１に示したデータ処理装置の登録データの一具体例を示す図である。
登録データ（識別データ）ＤＡは、ユーザそれぞれを識別するために必要な識別データデータ、例えば図６に示すように、ユーザの顔を多方向から撮影された画像データＤＡＦ、氏名データＤＡＮ、個人データＤＡＤ、および音声データ等を有する。
例えば画像データＤＡＦは、識別精度を高めるために、多方向それぞれから撮影した画像データ、具体的には、正面画像データＤＡＦ１、右側面画像データＤＡＦ２、および左側面画像データＤＡＦ３を有する。
氏名データＤＡＮは、ユーザの氏名を示すデータである。この氏名データＤＡＮは、例えば制御部１１７が、特定のユーザの氏名を示す音声データを音声認識処理して、特定のユーザの移動体中の位置を特定する際に用いられる。

個人データＤＡＤは、ユーザに関するデータであり、例えば生年月日データＤＡＤ１、住所データＤＡＤ２、運転免許データＤＡＤ３、乗車回数データＤＡＤ４等を有する。
生年月日データＤＡＤ１はユーザの生年月日を示すデータである。住所データＤＡＤ２はユーザの住所を示すデータである。運転免許データＤＡＤ３は、例えば運転免許の取得や保有等を示すデータである。乗車回数データＤＡＤ４はユーザが移動体に乗車した回数を示すデータである。

図７は、図１に示したデータ処理装置を移動体中に設けた一具体例を示す図である。
データ処理装置１は、例えば図７に示すように、移動体１０００中の所定の位置、例えば各座席ｔ１１〜ｔ２５に１つずつ設置されている。
本実施形態では、例えば図３に示すような入力手段および出力手段を有する筐体部１０が移動体１０００中の所定位置、例えば座席毎に設置され、この筐体部１０それぞれには演算処理部１００が設けられている。
各筐体部１０に設けられた演算処理部１００、２次記憶装置（外部記憶装置）２００、操作入力装置３００、撮影装置（人物撮影装置）４００、映像出力装置５００、端末間通信装置６００、音声録音装置７００、音声出力装置８００、および移動体情報取得装置（移動体情報装置）９００等は、端末間通信装置６００により、それぞれのデータ通信装置と通信路１００１を介してデータ通信を行う。

データ処理装置１は、この形態に限られるものではない。例えば一つの演算処理部１００が、各座席に設けられた筐体部１０それぞれに設けれた、操作入力装置３００、撮影装置（人物撮影装置）４００、映像出力装置５００、音声録音装置７００、音声出力装置８００等を統括して制御してもよい。

図８は、図１に示したデータ処理装置の移動体中位置識別情報ＤＡｔを説明するための図である。
上述したように、制御部１１７は、操作入力装置３００、撮影装置４００、映像出力装置５００、端末間通信装置６００、音声録音装置７００、および音声出力装置８００等それぞれに設定された移動体中の所定の位置、例えば座席それぞれの位置に設置され、その移動体中の位置に関する移動体中位置情報ｔ、および音声認識処理や画像認識処理の結果、その移動体中の位置にいるユーザの識別情報ＤＡに基づいて、移動体中位置情報ｔと、ユーザを示す識別情報ＤＡとを関連付けた移動体中位置識別情報ＤＡｔを生成する。

具体的には、例えば図８に示すように、移動体中位置情報ｔ１１〜ｔ２５それぞれと、識別情報ＤＡとを関連付けた移動体中位置識別情報ＤＡｔ（着座表）を生成する。
例えば、演算処理部１００は、移動体中位置識別情報ＤＡｔを逐次更新し、映像出力装置５００に表示させる。
また、演算処理部１００は、映像出力装置５００に移動体中位置識別情報ＤＡｔを表示させる場合には、その映像出力装置５００に対応する座席のユーザを示す識別情報ＤＡを、ハイライト表示等の強調表示を行う。

図９は、図１に示したデータ処理装置の動作、特に移動体中位置識別情報ＤＡｔを生成する動作を説明するためのフローチャートである。
図９を参照しながら、データ処理装置の動作を、演算処理部１００の動作を中心に説明する。
ステップＳＴ１０１において、例えばユーザが座席に着座した場合、その座席に設置された筐体部１０に設けられた撮影装置４００が、そのユーザを撮影して画像データを生成して演算処理部１００に出力する。
演算処理部１００の映像入力処理部１１３および制御部１１７は、その画像データの画像認識処理を行う。具体的には、例えば画像認識処理は、パターンマッチング処理や、特徴抽出処理等により画像認識処理を行う。

ステップＳＴ１０２において、演算処理部１００は、記憶部２０１に記憶する登録データＤＡと、画像認識処理の結果に基づいて、着座したユーザが登録されているか否かを判別する。具体的には演算処理部１００は、記憶部２０１に登録されている顔のリストから検索し、適合するものがあるか否かを判別する。
ステップＳＴ１０２において、着座したユーザが登録されている場合、具体的には記憶部２０１に登録されている顔のリストに適合するものがあると判別したば場合には、演算処理部１００の制御部１１７は、その画像データを生成した撮影装置４００の移動体中の位置を示す移動体中位置情報ｔと、画像認識処理の結果、その移動体中の位置にいるユーザの識別情報ＤＡに基づいて、移動体中位置情報ｔと、ユーザを示す識別情報ＤＡとを関連付けた移動体中位置識別情報ＤＡｔ（着座表）を更新する。
具体的には、制御部１１７は、ユーザ（人物）に関する情報ＤＡ、例えば氏名データＤＡＮ等と、移動体中位置情報ｔとを関連付けて移動体中位置識別情報ＤＡｔを更新する。

一方、ステップＳＴ１０２において、着座したユーザが登録されていない場合、具体的には記憶部２０１に登録されている顔のリストに適合するものがない場合には、そのユーザに関する識別情報ＤＡを新規に作成する。
具体的には、例えば制御部１１７は、個人情報を入力させる画面を映像出力装置５００に表示させ（ＳＴ１０４）、例えば撮影装置４００、音声録音装置７００、および入力装置３００から入力されたデータに基づいて、図６に示すように、新たなユーザを識別するための識別情報ＤＡを新規に生成し（ＳＴ１０５）、ステップＳＴ１０３の処理に進む。

図１０は、図１に示したデータ処理装置の動作、特に他のユーザと通信を行う際の動作を説明するためのフローチャートである。
ステップＳＴ３０１において、例えば、音声録音装置７００から音声データが入力されると、音声入力処理部１１２および制御部１１７は、複数の音声録音装置７００から音声データが入力されたか否かを判別する。

ステップＳＴ２０１において、一つの音声録音装置７００から音声データが入力されたと判別した場合には、例えば、制御部１１７は、音声を発した人物（ユーザ）に対応する撮影装置４００が生成した画像データを取得し（ＳＴ２０２）、他の座席に設置された映像出力装置５００に、その画像データを表示させ、また他の座席に設置された音声出力装置８００に音声にその音声データを発音させる（ＳＴ２０３）。

一方、ステップＳＴ２０１において、複数の音声録音装置７００から音声データが入力されたと判別した場合には、例えば、制御部１１７は、音声を発した人物（ユーザ）に対応する撮影装置４００が生成した複数の画像データを取得し（ＳＴ２０４）、他の座席に設置された、映像出力装置５００に、画面を分割して、各人物を示す画像データを表示させ、また他の座席に設置された音声出力装置８００に、複数の音声データをミキシングした音声データを発音させる（ＳＴ２０５）。

図１１は、図１に示したデータ処理装置の動作、特に特定のユーザと通信を行う場合の動作を説明するためのフローチャートである。
例えば移動体中位置情報ｔ１３に対応する座席に着座している佐々木が、移動体中位置情報ｔ３に対応する座席に着座している山本とデータ通信、会話を行う場合の動作を説明する。

ステップＳＴ３０１において、例えば佐々木が会話を行いたいユーザの名前「山本」を発音すると、演算処理部１００の音声入力処理部１１２および制御部１１７は、音声録音装置７００から入力された音声データに基づいて音声認識処理を行い、音声データが「山本」を示すデータであると認識する。
ステップＳＴ３０２において、演算処理部１００の制御部１１７は、記憶部２０１に記憶された移動体中位置識別情報（着座表）ＤＡｔと、その認識された人名に基づいて、移動体中位置識別情報（着座表）ＤＡｔに、その認識された人名が登録されているか否かを判別する。
ステップＳＴ３０２において、制御部１１７は、移動体中位置識別情報（着座表）ＤＡｔに、その認識された人名が登録されていると判別した場合には、該当ユーザ（人物）の識別情報ＤＡおよび移動体中位置識別情報（着座表）ＤＡｔに基づいて、該当ユーザ（人物）に対応する映像出力装置５００および音声出力装置８００を特定し、佐々木の前に設置された撮影装置４００により撮影された画像データ特定した映像出力装置５００に表示させ、佐々木の前に設置された音声録音装置７００により生成された音声データを特定した音声出力装置８００に発音させる。
また、逆に山本の前に設置された撮影装置４００により撮影された画像データと、音声録音装置７００により生成された音声データとを、佐々木の前に設置された撮影装置４００に表示させ、音声録音装置７００により発音させる。

つまり、制御部１１７は、音声録音装置から入力された音データと識別情報ＤＡに基づいてユーザを特定し、特定したユーザの識別情報ＤＡと移動体中位置識別情報ＤＡｔに基づいて、ユーザが着座する移動体中位置情報ｔを特定し、特定された移動体中位置情報ｔに対応する音声出力装置８００を特定し、音声録音装置７００から入力された音データを特定した音声出力装置８００から出力する。
また、制御部１１７は、移動体中位置識別情報ＤＡｔに基づいて、特定された移動体中位置情報ｔに対応する筐体部１０に設置された音声録音装置７００および撮影装置４００と、音声出力装置８００および映像出力装置５００間でデータ通信を行わせる（ＳＴ３０３）。

ステップＳＴ３０２において、演算処理部１００の制御部１１７は、記憶部２０１に記憶された移動体中位置識別情報（着座表）ＤＡｔと、その認識された人名に基づいて、移動体中位置識別情報（着座表）ＤＡｔに、その認識された人名が登録されていないと判別した場合には、登録されていない旨を示す表示、例えば「該当人物はありません」と映像出力部５００に出力させ、ステップＳＴ３０１の処理に戻る。

以上、説明したように、移動体中の所定位置の座席毎に、少なくとも画像データおよび音声データのいずれかのデータを入力する入力手段と、少なくとも画像データおよび音声データのいずれかのデータを出力する出力手段とを設け、制御部１１７が、入力手段から入力されたデータおよび予め登録された登録データに基づいて識別処理を行い、識別処理の結果および少なくとも移動体中の入力手段の位置を示す移動体中位置情報ｔとを関連付けて移動体中位置識別情報ＤＡｔを生成し、生成した移動体中位置識別情報ＤＡｔを出力手段に出力させるので、移動体内で画像データや音声データ等のデータ通信を行い、移動体内の状態を容易に把握することができる。

つまり、移動体中の各座席に、入力手段として操作入力装置３００、撮影装置４００、および音声録音装置７００を設け、出力手段として映像出力装置５００および音声出力装置８００を設け、制御部１１７が、入力手段から入力されたデータおよび予め登録された登録データに基づいて識別処理を行い、識別処理の結果および少なくとも移動体中の入力手段の位置を示す移動体中位置情報ｔとを関連付けて移動体中位置識別情報ＤＡｔを生成し、生成した移動体中位置識別情報ＤＡｔを出力手段に出力させるので、移動体内で画像データや音声データ等のデータ通信を行い、移動体内の状態を容易に把握することができる。

また、制御部１１７は、生成した移動体中位置識別情報（着座表）ＤＡｔ、ならびに、所定の座席に設置された音声録音装置７００と撮影装置４００から入力された音声データおよび画像データに基づいて、他の座席に設置された音声出力装置８００と、映像出力装置５００と音声データおよび画像データを出力させるので、複数のユーザで、画像データと音声データのデータ通信を行うことができる。

また、制御部１１７は、生成した移動体中位置識別情報（着座表）ＤＡｔ、ならびに、所定の座席に設置された音声録音装置７００と撮影装置４００から入力された音声データおよび画像データ、および移動体中の位置を特定させる位置特定情報に基づいて、その位置特定情報により特定された座席に設置された音声出力装置８００と映像出力装置５００に音声データおよび画像データを出力させるので、特定のユーザと会話を行うことができる。

指向性の高いマイクロフォンを設けたので、自動車等の移動体中において、前後の座席に着座するユーザ同士が会話を行う場合であっても、移動体（自動車）によるノイズを除去して、明確な音声データを生成することができる。
バスなどの大型車両では、遠く離れた移動体中の位置に着座したユーザと会話を行うことが容易に可能である。
つまり、着座したユーザの方向に感度が高く、それ以外の方向には感度が低下する指向性の音声録音装置７００を設けたので、ユーザが発音した音声のみに応じた音声データを生成することができる。

本実施形態に係るデータ処理装置では、移動体の走行状態に応じて撮影装置４００の被写界深度を制御し、例えば少なくとも移動体が移動時には、被写界震度を小さく（浅く）設定するので、ユーザのみを明確に撮影することができる。

また、光センサを設けたので、夜間の場合には撮影装置４００のアイリス４０３の絞りを開き、また発光部により発光してユーザを照らすために、昼間と同等の環境中で画像データを生成することができる。

また、本実施形態に係るデータ処理装置をバス等の大型車両に設けた場合には、映像出力装置５００に表示された移動体中位置識別情報ＤＡｔ（着座表）を見ることにより、乗務員が車内に全員着座したかどうかを容易に確認することができる。

また、制御部１１７は、移動体中位置識別情報ＤＡｔ（着座表）を逐次更新することにより、例えば移動体が移動中に、ユーザ同士で席を交換した場合であっても、常に車内のユーザの着座に関する状況を把握することができる。

また、制御部１１７は、特定の席の状況を監視するために、特定の座席、例えば運転席に設置された撮影装置４００から入力された画像データを他の座席に設置された映像出力装置５００に表示させ、制御部１１７がその画像データの内の目に相当する領域を画像認識処理することにより目が閉じられたことを検知すると、アラーム等を音声出力装置８００に発音させて警告を行ってもよい。

また、例えば後部座席に子供を着座させ、その座席に設置された撮影装置４００から入力された画像データを、運転席に設置された映像出力装置５００に表示させておくことで、運転手は後部座席の子供を監視することができる。

他の移動体に設置されたデータ処理装置とデータ通信を行う端末間通信装置６００を設けたので、ユーザは座席に着席した状態で、他の移動体内のデータ処理装置を介して、他の移動体中のユーザとデータ通信を行うことができる。

なお、本発明は本実施形態に限られるものではなく、任意好適な改変が可能である。
上述したように、移動体として、例えば自動車、バス、電車、飛行機、船舶を例示したがこの形態に限られるものではない。また、ユーザが座席に着座する形態でなくともよい。また、移動体中の所定位置の座席毎に入力手段および出力手段を設けたが、この形態に限られるものではない。

また、各座席毎に筐体部１０は上述した形態に限られるものではない。入力手段および出力手段が分離できる形態であってもよい。
また、上述したように、例えば一つの演算処理部１００が、移動体中の所定位置の座席毎に設けられた入力手段および出力手段を統括して制御してもよい。こうすることで本発明に係る処理を一つの演算処理部１００で処理することができる。

本発明に係るデータ処理装置の一実施形態のハードウェアの構成図である。 図１に示したデータ処理装置の撮影装置の制御を説明するための図である。 図１に示したデータ処理装置の全体図の一具体例を示す図である。 図１に示したデータ処理装置の音声録音装置の指向性を説明するための図である。 図１に示したデータ処理装置のソフトウェア的な機能ブロック図である。 図１に示したデータ処理装置の登録データの一具体例を示す図である。 図１に示したデータ処理装置を移動体中に設けた一具体例を示す図である。 図１に示したデータ処理装置の移動体中位置識別情報を説明するための図である。 図１に示したデータ処理装置の動作、特に移動体中位置識別情報を生成する動作を説明するためのフローチャートである。 図１に示したデータ処理装置の動作、特に他のユーザと通信を行う際の動作を説明するためのフローチャートである。 図１に示したデータ処理装置の動作、特に特定のユーザと通信を行う場合の動作を説明するためのフローチャートである。

符号の説明

１…データ処理装置、１０…筐体部、１００…演算処理部、１０１…ＣＰＵ（Central Processing Unit ）、１０２…ＲＡＭ（Random Access Memory）、１０３…ＲＯＭ（Read Only Memory）、１０４…不揮発性メモリ、１０５…インタフェース部、１１１…操作入力処理部、１１２…音声入力処理部、１１３…映像入力処理部、１１４…音声再生処理部、１１５…画面描画処理部、１１６…情報通信処理部、１１７…制御部、２００…２次記憶装置（外部記憶装置）、２０１…記憶部、３００…操作入力装置、４００…撮影装置（人物撮影装置）、４０１…光学系、４０２…光学系駆動部、４０３…アイリス、４０４…アイリス駆動部、４０５…撮像素子、４０６…センサ部、４０７…発光部、５００…映像出力装置、６００…端末間通信装置、７００…音声録音装置、８００…音声出力装置、９００…移動体情報取得装置（移動体情報装置）。

Claims (10)

1. 移動体に搭載されるデータ処理装置であって、
   少なくとも画像データおよび音声データのいずれかのデータを入力する入力手段と、
   少なくとも画像データおよび音声データのいずれかのデータを出力する出力手段と、
   前記入力手段から入力されたデータおよび予め登録された登録データに基づいて識別処理を行い、前記識別処理の結果および少なくとも前記移動体中の入力手段の位置を示す移動体中位置情報とを関連付けて移動体中位置識別情報を生成し、前記生成した移動体中位置識別情報を前記出力手段に出力させる制御手段と
   を有するデータ処理装置。
2. 前記入力手段は、前記移動体の少なくとも速度および加速度のいずれかを示す移動体情報を取得する移動体情報取得手段を含み、
   前記制御手段は、前記移動体情報取得手段が取得した移動体情報に基づいて、前記移動体が移動時に前記識別処理の結果および少なくとも前記移動体中の入力手段の位置を示す移動体中位置情報とを関連付けて前記移動体中位置識別情報を生成する
   請求項１に記載のデータ処理装置。
3. 前記入力手段は、被写界深度を設定可能で、撮影結果を基に前記画像データを生成する撮影手段を含む
   請求項１に記載のデータ処理装置。
4. 前記入力手段は、前記移動体の少なくとも速度および加速度のいずれかを示す移動体情報を取得する移動体情報取得手段を含み、
   前記制御手段は、前記移動体情報取得手段が取得した移動体情報に基づいて、少なくとも前記移動体が移動時に前記撮影手段の被写界深度が所定値より小さくなるように設定する
   請求項３に記載のデータ処理装置。
5. 前記入力手段は、前記移動体中の光量を検出する検出する光検出手段と、
   前記撮影手段の絞りを調節する絞り調節手段を含み、
   前記制御手段は、前記光検出手段の検出結果に基づいて前記絞り調節手段に前記絞りを調整させる
   請求項３に記載のデータ処理装置。
6. 前記入力手段は、前記移動体中の光量を検出する光検出手段と、
   制御に応じて発光する発光手段とを含み、
   前記制御手段は、前記光検出手段の検出結果に基づいて前記発光手段の発光を制御する
   請求項３に記載のデータ処理装置。
7. 前記入力手段は、所定方向に感度が最大となる指向性を有し、前記所定方向からの音声を基に前記音声データを生成する音声データ生成手段を含む
   請求項１に記載のデータ処理装置。
8. 前記入力手段および前記出力手段それぞれは、前記移動体中の第１および第２の位置に設けられ、
   前記制御手段は、前記入力手段から入力されたデータおよび予め登録された登録データに基づいて識別処理を行い、前記識別処理の結果ならびに前記移動体中の入力手段および出力手段の位置を示す移動体中位置情報とを関連付けて移動体中位置識別情報を生成し、前記生成した移動体中位置識別情報に基づいて、前記移動体中の第１の位置の入力手段から入力されたデータを前記第１の位置と異なる第２の位置の前記出力手段に出力する
   請求項１に記載のデータ処理装置。
9. 前記制御手段は、前記入力手段から入力された音声データ、前記登録データ、および前記移動体中位置識別情報に基づいて前記音声データに対応する前記移動体中の位置に設けられた出力手段を特定し、前記特定した出力手段に、前記入力手段から入力された音声データおよび画像データのいずれかを出力させる
   請求項１に記載のデータ処理装置。
10. 他の移動体中のデータ処理装置とデータ通信を行う通信手段を有し、
    前記制御手段は、前記通信手段を介して入力されたデータを前記出力手段に出力させ、前記入力手段から入力されたデータを通信手段を介して通信させる
    請求項１に記載のデータ処理装置。
    

Images