JP2010011343A - 画像取得装置、画像取得方法、及び移動体 - Google Patents

Abstract

【課題】人の体験に応じた画像を適切かつ簡便に取得することができる画像取得装置、画像取得方法、及び移動体を提供する。
【解決手段】本発明にかかる画像取得装置は、人の体験に応じた画像を取得する画像取得装置であって、人の顔を撮像可能な位置に予め設置された顔用カメラ４１と、人が見ている方向の画像を取得するライフログ用カメラ４２と、ライフログ用カメラ４２の姿勢を変えて、ライフログ用カメラ４２での撮影範囲を変化させるカメラ向き変更機構４３と、顔用カメラ４１での撮像結果に基づいて、前記駆動機構を制御する制御部５０と、を備えるものである。
【選択図】図１

Description

本発明は、画像取得装置、画像取得方法、及び移動体に関し、特に詳しくは人の体験に応じた画像を取得するための画像取得装置、画像取得方法、及び移動体に関する。

人の視線方向を検出して、視線方向を制御に用いる技術が開発されている（特許文献１、２、３）。例えば、特許文献１では、自動車の運転者の視線方向を検出して、運転支援を行なっている。特許文献２では、視線方向を検出するゴーグルを装着して、その検出結果に基づいて、カメラの姿勢を制御している。しかしながら、特許文献２では、使用者がゴーグルを装着する必要があり、煩わしさを感じてしまう。特許文献３では、視線位置の情報によって、カメラの動作モードを切り替えている。

ところで、近年、人の体験を記憶、利用する体験メディアを構築する技術が開発されている（非特許文献１）。例えば、人の体験をデジタル化するため、体験に応じた画像を取得している。このようにすることによって、体験を通じた知識を共有化することができる。

このような体験の記録（ログ）は、ライフログと呼ばれている（非特許文献２）。ライフログとは、体験の記録、共有をコンセプトに、映像情報に音声情報、位置情報、生体情報などを関連付けて、体験をデジタル化し、記録・共有することを目指す新しいメディアである。非特許文献２では、例えば、ウェアラブルシステム、車載カメラを用いて、ライフログが取得されている。

しかしながら、特許文献４のようなウェアラブルカメラを用いる場合、使用者がカメラなどを装着する必要となる。このため、使用者が煩わしさを感じて、ストレスとなってしまう。また、特許文献４では、ゴーグルを装着する必要があるため、眼鏡をかけた人には不向きである。特許文献５のような車載カメラを用いる場合、人の視線の向きが分からないため、適切な体験画像を取得することができない。

特開２００２−３５２２２８号公報 特開平８−３２８６０号公報 特開平９−５４２３９号公報 特開２００４−３５６９７０号公報 特開２００６−２３７７１４号公報 角康之、河村竜幸、"体験メディアの構築に向けて：体験の記録・利用の技術動向"、２００６年６月９日、Ｔｈｅ ２０ｔｈ Ａｎｎｕａｌ Ｃｏｎｄｅｒｅｎｃｅ ｏｆ ＪＳＡＩ，２００６、［ＯＮＬＩＮＥ］、平成２０年４月１５日検索、インターネット〈URL:http://www.jaist.ac.jp/jsai2006/program/pdf/100151.pdf〉 相澤清晴"ライフログの取得と処理 −ウエアラブル，ユビキタス，車−"、２００５年６月１７日 Ｔｈｅ １９ｔｈ Ａｎｎｕａｌ Ｃｏｎｄｅｒｅｎｃｅ ｏｆ ＪＳＡＩ，２００５、［ＯＮＬＩＮＥ］、平成２０年４月１５日検索、インターネット〈URL:hthttp://www-kasm.nii.ac.jp/jsai2005/schedule/pdf/000141.pdf〉

上記のように、人の体験に応じた画像を適切かつ簡便に取得することができないという問題点がある。

本発明は、人の体験に応じた画像を適切かつ簡便に取得することができる画像取得装置、画像取得方法、及び移動体を提供することを目的とする。

本発明の第１の態様にかかる画像取得装置は、人の体験に応じた画像を取得する画像取得装置であって、前記人の顔を撮像可能な位置に予め設置された顔用カメラと、前記人が見ている方向の画像を取得する体験用カメラと、前記体験用カメラの姿勢を変えて、前記体験用カメラの撮影範囲を変化させる駆動機構と、前記顔用カメラでの撮像結果に基づいて、前記駆動機構を制御する制御部と、を備えるものである。これにより、装着する手間を省くことができる。よって、人の体験に応じた画像を適切かつ簡便に取得することができる。

本発明の第２の態様にかかる画像取得装置は、上記の画像取得装置であって、前記制御部が、前記顔用カメラでの撮像結果に基づいて、前記体験用カメラの撮影条件を制御することを特徴とするものである。これにより、適切な撮影条件で体験画像を取得することができる。

本発明の第３の態様にかかる画像取得装置は、上記の画像取得装置であって、前記制御部が、前記顔用カメラで撮像した顔の位置に基づいて前記人が特定の対象を注視しているか否かを判定し、その判定結果に応じて前記体験用カメラをズームイン、又はズームアウトさせて、画像を取得するものである。これにより、人の見ている対象が拡大、又は縮小されて取得されるため、体験画像をより適切に取得することができる。

本発明の第４の態様にかかる画像取得装置は、上記の画像取得装置であって、前記注視判定部の判定結果に応じて前記体験用カメラの撮影間隔を制御するものである。これにより、適切な撮影間隔で体験画像を取得することができる。

本発明の第５の態様にかかる画像取得装置は、上記の画像取得装置であって、前記体験用カメラが前記駆動機構を介して移動体本体に設置され、前記顔用カメラで移動体に搭乗した搭乗者の顔を撮像するものである。これにより、移動しながらの体験画像の取得が可能になる。

本発明の第６の態様にかかる移動体は、上記の画像取得装置を有する移動体であって、前記顔用カメラが前記移動体本体に設置されているものである。これにより、移動中の体験画像を容易に取得することができる。

本発明の第７の態様にかかる移動体は、上記の移動体であって、前記移動体の動きに応じて、前記体験用カメラの撮影範囲、又は撮影条件を制御することを特徴とするものである。これにより、臨場感の高い体験画像を取得することができる。

本発明の第８の態様にかかる移動体は、上記の移動体であって、前記体験用カメラで取得した画像に、前記移動体の位置を対応付けて記憶することを特徴とするものである。これにより、体験画像の取得位置を特定することができる。
本発明の第９の態様にかかる移動体は、上記の移動体であって、前記体験用カメラが前記移動体に搭乗する搭乗者の顔位置近くに設置されていることが好ましい。これにより、注視しているか否かの判定を正確に行なうことができる。

本発明の第１０の態様にかかる画像取得方法は、人の体験に応じた画像を取得する画像取得方法であって、前記人の顔を撮像可能な位置に予め設置された顔用カメラによって顔の画像を取得するステップと、前記顔用カメラでの撮像結果に基づいて体験用カメラの姿勢を変化させて、前記体験用カメラで画像を取得するステップと、を備えるものである。これにより、装着する手間を省くことができる。よって、人の体験に応じた体験画像を適切かつ簡便に取得することができる。

本発明の第１１の態様にかかる画像取得方法は、上記の画像取得方法であって、前記顔用カメラでの撮像結果に基づいて、前記体験用カメラの撮影条件を制御することを特徴とするものである。これにより、適切な撮影条件で体験画像を取得することができる。

本発明の第１２の態様にかかる画像取得方法は、上記の画像取得方法であって、前記顔用カメラで撮像した顔の位置に基づいて前記人が特定の対象を注視しているか否かを判定するステップをさらに有し、前記判定するステップでの判定結果に応じて前記体験用カメラをズームイン、又はズームアウトさせて、画像を取得するものである。これにより、人の見ている対象が拡大、又は縮小されて取得されるため、体験画像をより適切に取得することができる。

本発明の第１３の態様にかかる画像取得方法は、上記の画像取得方法であって、前記判定するステップでの判定結果に応じて前記体験用カメラの撮影間隔を制御するものである。これにより、適切な撮影間隔で体験画像を取得することができる。

本発明の第１４の態様にかかる画像取得方法は、上記の画像取得方法であって、前記顔用カメラが移動体本体に設置され、前記体験用カメラが前記駆動機構を介して前記移動体本体に設置されているものである。これにより、移動中の体験画像を容易に取得することができる。

本発明の第１５の態様にかかる画像取得方法は、上記の画像取得方法であって、前記移動体の動きに応じて、前記体験用カメラの撮影範囲、又は撮影条件を変えて画像を取得するものである。これにより、臨場感の高い体験画像を取得することができる。

本発明の第１６の態様にかかる画像取得方法は、上記の画像取得方法であって、前記体験用カメラで取得した画像に、前記移動体の位置を対応付けて記憶することを特徴とするものである。これにより、体験画像の取得位置を特定することができる。

本発明によれば、人の体験に応じた画像を適切かつ簡便に取得することができる画像取得装置、画像取得方法、及び移動体を提供することができる。

本実施の形態にかかる移動体について、図１、及び図２を用いて説明する。図１は、移動領域である床部上を、搭乗者を載置した状態で、該搭乗者の操作により移動制御可能な倒立振子型移動体（以下、単に移動体という）１を模式的に示す図であり、図２は、図１に示す移動体１を側方から見た様子を示す図である。図２では、左側が移動体１の前方になっている。

図１に示すように、移動体１は、搭乗者６０を載置する搭乗席１１と第１駆動輪３１と第２駆動輪３２と制御ボックス２０とを備え、これらが移動体本体１０を構成する。後述するように、移動体本体１０には、ライフログ用の画像を取得するための画像取得装置が取り付けられている。移動体１０の画像取得装置を除いた構成を移動体本体１０とする。搭乗席１１は座席の形状を有している。そして、この搭乗席１１の上に、搭乗者６０が座る。

第１駆動輪３１、及び第２駆動輪３２は、同軸上に配置された１対の対向する回転体である。第１駆動輪３１、及び第２駆動輪３２は制御ボックス２０に対して回転可能に保持されている。第１駆動輪３１、及び第２駆動輪３２は制御ボックス２０内に設けられている駆動モータ２１によって、回転する。駆動モータ２１はサーボモータなどである。第１駆動輪３１、及び第２駆動輪３２が回転することによって、第１駆動輪３１、及び第２駆動輪３２が回転する。これにより、移動体１が前進、又は後退する。また、制御ボックス２０には、第１駆動輪３１、及び第２駆動輪３２に対してそれぞれ、駆動モータ２１が設けられている。第１駆動輪３１、及び第２駆動輪３２は独立に回転する。第１駆動輪３１、及び第２駆動輪３２を独立して制御することで、左折、右折、その場旋回などを行うことができる。

例えば、搭乗者６０が図示しない操作レバーなどの操作手段を操作することによって、移動体１が移動する。例えば、駆動モータ２１に設けられているエンコーダによって、第１駆動輪３１、及び第２駆動輪３２の回転速度を検出する。そして、第１駆動輪３１、及び第２駆動輪３２の回転速度が搭乗者６０の操作に応じた指令値になるように、フィードバック制御する。また、ジャイロセンサ等からのセンサ信号に応じて、移動体本体１０が倒立するようにフィードバック制御している。こうすることで、搭乗者６０の操作にしたがって、倒立を維持したまま、移動体１が移動する。

制御ボックス２０の中には駆動モータ２１、及び制御部５０が配設されている。また、制御ボックス２０には、駆動モータ２１などの電源を供給するバッテリ（図示せず）などが設けられている。制御ボックス２０は、搭乗席１１の直下に配置されている。そして、制御ボックス２０に取り付けられている支持部材等を介して搭乗席１１が支持される。

制御部５０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、通信用のインターフェースなどを有する演算処理装置であり、駆動モータ２１の動作を制御するための処理を行う。また、制御部５０は、着脱可能なＨＤＤ、光ディスク、光磁気ディスク等を有し、各種プログラムや制御パラメータなどを記憶し、そのプログラムやデータを必要に応じてメモリ（不図示）等に供給する。また、制御部５０には、ライフログを取得するためのプログラムが格納されている。

さらに、移動体本体１０には、顔用カメラ４１とライフログ用カメラ４２とが設置されている。顔用カメラ４１とライフログ用カメラ４２は、例えば、ＣＣＤカメラなどのデジタルカメラである。そして、顔用カメラ４１とライフログ用カメラ４２で取得された画像は、制御部５０に設けられた記憶装置に保存される。ライフログ用カメラ４２は、人の体験に応じた体験画像を取得する体験用カメラである。ライフログ用カメラ４２で取得された風景画像などが時系列にしたがって格納されていく。

顔用カメラ４１は、搭乗席１１上の中央側方に設けられている。顔用カメラ４１は搭乗者６０の顔を撮像可能な位置に設置されている。例えば、顔用カメラ４１は、搭乗者の頭部よりも前方に設置され、後方斜め上を向いている。顔用カメラ４１の撮影領域内には、搭乗者６０の顔が含まれている。すなわち、移動体本体１０に固定され、搭乗者６０の顔の画像を取得する。また、顔を撮像可能な位置に顔用カメラ４１を設置するために、支柱などを介して、移動体本体１０に設置してもよい。このように、顔用カメラ１１は、搭乗者６０の顔を撮像可能な位置で、移動体本体１０に固定されている。顔用カメラ１１は、搭乗者の顔の動きを検知するため、搭乗者６０の顔を撮像する。顔用カメラ４１は連続静止画を取得する。

ライフログ用カメラ４２は、搭乗者６０の体験に応じた景色を撮像するためのカメラである。ライフログ用カメラ４２は、前方を向いており、搭乗者６０の視線方向の景色を撮像する。ライフログ用カメラ４２は、例えば、搭乗席１１の上部に取り付けられている。従って、ライフログ用カメラ４２は、搭乗者の顔位置の近くに設置される。ライフログ用カメラ４２は静止画を取得する。すなわち、制御部５０には、デフォルトの撮影条件が設定されている。このデフォルトの撮影条件で、搭乗者６０が見ている景色をライフログ用カメラ４２が連続撮影する。

図２に示すように、ライフログ用カメラ４２はカメラ向き変更機構４３を介して移動体本体１０に設置されている。カメラ向き変更機構４３は、搭乗席１１又はその周辺に固定されている。カメラ向き変更機構４３は、ライフログ用カメラ４２の向きを変化させる。このカメラ向き変更機構４３の構成について図３を用いて説明する。図３は、カメラ向き変更機構４３の構成を模式的に示す図である。

図３に示すように、カメラ向き変更機構４３は、ロール関節４４、ピッチ関節４５、ヨー関節４６を有する３軸のアーム機構である。カメラ向き変更機構４３の一端が移動体本体１０に取り付けられ、他端が顔用カメラ４１に取り付けられている。ロール関節４４はロール軸回りに回転する回転関節である。同様にピッチ関節４５はピッチ軸回りに回転する回転関節であり、ヨー関節４６はヨー軸回りに回転する回転関節である。カメラ向き変更機構４３、ロール関節４４、及びピッチ関節４５には、それぞれ関節モータ等が設けられている。

ロール関節４４がライフログ用カメラ４２側に取り付けられ、ヨー関節４６が移動体本体１０側に取り付けられている。そして、ピッチ関節４５がロール関節４４とヨー関節４６の間に設けられている。各関節に設けられた関節モータがリンクなどを介して連結されている。各関節が駆動すると、ライフログ用カメラ４２の姿勢が変化して、撮像範囲が移動する。

このように、ライフログ用カメラ４２はカメラ向き変更機構４３を介して移動体本体１０に固定されている。従って、ライフログ用カメラ４２が駆動するとライフログ用カメラ４２の向きが変わる。すなわち、移動体本体１０に対するライフログ用カメラ４２の位置、及び向きが変化する。従って、ライフログ用カメラ４２の撮影範囲が移動し、異なる位置での景色を撮像することができる。

制御部５０は、カメラ向き変更機構４３の動作を制御する。すなわち、制御部５０が、ライフログ用カメラ４２の撮影範囲を設定する。例えば、各関節モータに設けられているエンコーダの読み値が制御部５０に入力される。そして、制御部５０は、読み値と目標位置に応じた指令値を関節モータに送り、各関節を位置制御する。このように、関節モータは、各関節モータに設けられているエンコーダの読み値と目標値に応じてフィードバック制御される。これにより、関節角度が変化して、ライフログ用カメラ４２の姿勢が変わる。さらに、制御部５０は、ライフログ用カメラ４２を制御している、例えば、ライフログ用カメラ４２の撮影間隔と焦点距離を制御している。

制御部５０は、顔用カメラ４１での撮像結果に基づいて、カメラ向き変更機構４３を駆動している。また、制御部５０は、顔用カメラ４１での検出結果に応じて、ライフログ用カメラ４２を制御している。すなわち、制御部５０は、顔用カメラ４１での検出結果に応じて、ライフログ用カメラ４２の撮影条件を調整している。

この制御部５０での制御について、図４を用いて説明する。図４は、制御部５０を含む制御系の構成を示すブロックである。図４において、点線よりも上側がハードウェアに対応し、下側がソフトウェアによる処理に対応している。すなわち、制御部５０が制御プログラムを実行することで、ソフトウェアによる各処理が実行される。そして、各機器が動作する。制御部５０には、顔の動き検出手段５１、人注視判定手段５２、カメラ角度制御部５３、撮影間隔制御部５４、焦点距離制御部５５が設けられている。

顔用カメラ４１で取得された画像が、制御部５０に入力される。すなわち、搭乗者６０の顔の画像が、制御部５０に入力される。顔の動き検出手段５１は、顔の画像に対して画像処理を行って、搭乗者の顔の動きを検出する。ここでは、図５に示すように、顔６１の位置（ｘ、ｙ、ｚ）と顔方向ベクトルｎを検出している。顔の動き検出手段５１は、例えば、特開２００７−２６０７３号公報などに記載されている既存技術を使って、顔６１の位置（ｘ、ｙ、ｚ）と顔方向ベクトルｎを求める。この場合、顔用カメラ４１は、１対のカメラを有するステレオカメラとなる。顔用カメラ４１により一定時間間隔で撮像された顔画像に対して、顔の位置（ｘ、ｙ、ｚ）及び顔方向ベクトルｎを算出する。なお、ここでは、ＸＹＺの直交座標系で顔位置、及びベクトルを示している。

さらに、顔の動き検出手段５１は、算出した顔位置（ｘ、ｙ、ｚ）と顔方向ベクトルｎを保持する。これにより、今回計算時の顔位置（ｘ、ｙ、ｚ）と顔方向ベクトルｎだけでなく、前回計算時の顔位置（ｘ’、ｙ’、ｚ’）と顔方向ベクトルｎ’が保持される。そして、前回の計算時の顔位置（ｘ’、ｙ’、ｚ’）と今回の顔位置（ｘ、ｙ、ｚ）の差分を取り、顔位置の移動ベクトルｖを算出する。すなわち、成分毎に、顔位置（ｘ、ｙ、ｚ）から顔位置（ｘ’、ｙ’、ｚ’）を引くことで、移動ベクトルｖが算出される。このように顔の動き検出手段５１は、顔位置（ｘ、ｙ、ｚ）、顔方向ベクトルｎ、及びを顔位置の移動ベクトルｖを一定の時間間隔で算出する。

人注視判定手段５２は、以下の２つの処理を行う。１つ目の処理は、カメラ向き変更機構４３の３軸の角度を決める処理である。人注視判定手段５２は、顔の動き検出手段５１で算出された顔方向ベクトルｎから顔のロール角、ピッチ角、ヨー角を計算する。そして、顔の動き検出手段５１は、顔のロール角、ピッチ角、ヨー角に基づいて各関節角度を求める。具体的には、顔のロール角、ピッチ角、ヨー角にローパスフィルタを適用して、ノイズを除去した後、３つの関節角度を算出する。そして、決定した関節角度が各関節の可動範囲内にあるかチェックをする。可動範囲外にある場合は、関節角度を可動範囲内の角度に修正する。これにより、関節角度が決定し、各関節の目標値に応じた指令値が産出される。

そして、カメラ角度制御部５３がカメラ向き変更機構４３に駆動信号を出力して、ライフログ用カメラ４２の角度を制御する。すなわち、カメラ角度制御部５３は、各関節を駆動するための駆動信号をカメラ向き変更機構４３の各関節モータに出力する。従って、カメラ向き変更機構４３の各関節が駆動して、上記の処理で求めた関節角度になる。これにより、ライフログ用カメラ４２の姿勢が変化する。搭乗者６０が見ている方向にライフログ用カメラ４２が向く。搭乗者６０が見ている方向の景色等を撮像することができる。すなわち、ライフログ用カメラ４２の向きが搭乗者６０の顔の向きと一致する。ライフログ用カメラ４２の撮影範囲に、搭乗者が見ている景色が含まれるようになる。よって、搭乗者６０の視線方向の景色を撮像することができる。顔用カメラ４１での撮像結果に基づいてライフログ用カメラ４２の姿勢を変える。こうすることで、顔の動きと連動して、ライフログ用カメラ４２の向きを制御することができ、ライフログに適切な画像を取得することが可能になる。

人注視判定手段５２における２つ目の処理は、顔の移動ベクトルｖから搭乗者６０の注視行動を判別して、撮影間隔、焦点距離などの撮影条件を決定する処理である。まず、搭乗者６０がある物を注視するケースについて説明する。

人がある点を注視する場合、注視している点に向かって顔が所定の速さ以上で移動していくと考えられる。従って、顔方向ベクトルｎは変わらず、顔位置が顔方向ベクトルｎの方向に大きく移動する。よって、人がある点を注視する場合は、（１）前回計算時の顔方向ベクトルｎ’と今回計算の顔方向ベクトルｎと移動ベクトルの方向がほぼ同じ方向になっており、かつ（２）移動ベクトルｖの大きさがしきい値以上になっている。

（１）と（２）の条件を満たすか否かを判定する。条件（１）の判定では、まず、今回計算の顔方向ベクトルｎ、前回計算の顔方向ベクトルｎ’、移動ベクトルｖの単位ベクトルをそれぞれ求める。なお、顔方向ベクトルｎ自体を単位ベクトルとして算出してもよい。そして、２つの単位ベクトルの内積を算出し、内積の値と正のしきい値を比較する。内積がしきい値よりも大きい場合、２つのベクトルがほぼ同じ方向になっていると判定する。内積がしきい値よりも小さい場合、２つのベクトルが異なる方向になっていると判定する。この場合、（１）の条件を満たしていないと判定する。今回計算の顔方向ベクトルｎと前回計算時の顔方向ベクトルｎ’の内積をしきい値と比較し、今回計算の顔方向ベクトルｎと移動ベクトルｖの内積をしきい値と比較する。そして、２つの内積がそれぞれ、しきい値を越える場合、条件（１）を満たすと判定する。このように、内積としきい値との比較結果によって、条件（１）に対する判定を行なう。３つのベクトルの方向の違いによって、（１）の条件を判定することができる。

条件（２）の判定では、移動ベクトルｖの大きさとしきい値とを比較する。すなわち、移動ベクトルｖの絶対値がしきい値を越える場合、顔が所定の速度以上で移動している。従って、顔が所定の速さ以上で注視点に向かって移動していることになり、条件（２）を満足すると判定する。一方、移動ベクトルｖの絶対値がしきい値よりも小さい場合、顔が所定の速度以上で移動していない。よって、条件（２）を満足していないと判定する。このように、移動ベクトルｖの絶対値としきい値とを比較することで、条件（２）が判定される。

そして、条件（１）、（２）を両方満たす場合、人がある点を注視していることになる。反対に、条件（１）、（２）の一方でも満たさない場合、注視していないことになる。注視している場合、ライフログ用カメラ４２の撮影条件を通常の撮影条件から注視時の撮影条件に変化する。具体的には、人注視判定手段５２が撮影間隔制御部５４、及び焦点距離制御部５５に判定信号を出力する。そして、焦点距離制御部５５がライフログ用カメラ４２の焦点距離を長くする。焦点距離制御部５５は、ライフログ用カメラ４２に設けられているズームレンズを調整する。これにより、人が注視している点がズームされて、撮像される。すなわち、搭乗者６０が興味ある対象が拡大されて撮像される。

また、撮影間隔制御部５４が静止画を撮影する時間間隔を短くする。すなわち、ライフログ用カメラ４２で頻繁にシャッタを押して、単位時間当たりの画像取得回数を増やす。このようにすることで、搭乗者６０が興味ある物、人、景色などをライフログ用カメラ４２がズームインして撮像する。すなわち、興味ある対象の拡大画像が取得される。さらに、興味ある対象が頻繁に撮像され、その対象の画像数が増える。よって、ライフログに適切な画像を取得することができ、搭乗者６０の体験を画像に反映させることができる。また、移動ベクトルｖの大きさに応じて、撮影条件を決定してもよい。すなわち、撮影間隔とズーム量の調整量を移動ベクトルｖの大きさに応じて変化させてもよい。

さらに、人注視判定手段５２は、搭乗者６０が周辺景色全体を見ているか否かを判定する。例えば、搭乗者６０がある特定の対象に注視しているのではなく、視野に広がる風景全体を眺めている場合について考える。このように、搭乗者６０が視野に広がる風景全体を眺める場合、顔方向ベクトルｎが大きく変化せず、顔位置が顔方向ベクトルｎと反対に大きく移動する。従って、以下の条件（３）〜（５）を全て満足する場合、搭乗者６０が風景全体を見ていると判定する。

（３）前回計算時の顔方向ベクトルｎ’と今回の顔方向ベクトルｎがほぼ同じ方向
（４）今回の顔方向ベクトルｎと移動ベクトルｖがほぼ逆向きの関係（逆ベクトル）
（５）移動ベクトルｖの大きさがしきい値以上

条件（３）、（５）については、条件（１）、（２）と同様に判定することができる。すなわち、前回計算時の顔方向ベクトルｎ’と今回の顔方向ベクトルｎの内積をしきい値と比較することによって、条件（３）が判定される。また、移動ベクトルｖの大きさとしきい値を比較することによって、条件（５）が判定される。

条件（４）の判定は、例えば、以下のように行うことができる。まず、移動ベクトルｖの単位ベクトルと顔方向ベクトルの単位ベクトルの内積を求め、内積の値が負となっているかを判定する。さらに、内積の絶対値がしきい値を越えているかを判定する。内積が負であり、かつ内積の絶対値がしきい値を越えている場合、条件（４）を満たす。内積の符号、及び内積の絶対値としきい値との比較結果に応じて、条件（４）を満たすか否かを判定することができる。

そして、（３）〜（５）の条件を全て満たす場合は、人が風景全体を眺めていると判定する。そのため、ライフログ用カメラ４２の撮影条件を通常の撮影条件から風景用の撮影条件に変化する。具体的には、人注視判定手段５２が撮影間隔制御部５４、及び焦点距離制御部５５に判定信号を出力する。そして、焦点距離制御部５５がライフログ用カメラ４２の焦点距離を短くする。焦点距離制御部５５は、ライフログ用カメラ４２に設けられているズームレンズを調整する。これにより、撮影領域がズームアウトされ、風景全体が撮像される。

また、撮影間隔制御部５４が静止画を撮影する時間間隔を短くする。すなわち、ライフログ用カメラ４２でシャッタ間隔を長くして、単位時間当たりの画像取得回数を減らす。風景全体を眺めている場合は、体験画像の変化が少ない。従って、画像数を減らすことができる。また、搭乗者６０が興味ある物、人、景色などが縮小して撮像される。よって、ライフログに適切な画像を取得することができる。また、移動ベクトルｖの大きさに応じて、撮影条件を決定してもよい。すなわち、撮影時間とズーム量の調整量を移動ベクトルｖの大きさに応じて変化させてもよい。

このように、搭乗者の顔の動きに応じて、撮影領域、撮影条件を調整する。具体的には、カメラ角度制御部５３は、ライフログ用カメラ４２で計算された角度目標値に対して位置制御を行っている。また、撮影間隔制御部５４でシャッタ間隔を変更している。焦点距離制御部５５が、ライフログ用カメラ４２のフォーカス機能を使って、焦点距離を調整している。すなわち、ライフログ用カメラ４２のズーム、及び撮影間隔を予め決められたデフォルト条件から変更する。これにより、体験の記憶に適したライフログ用の画像を取得することができる。また、上記の処理に使用されるしきい値は、ユーザが適宜設定することができる。そして、ライフログ用カメラ４２で取得された画像がその取得日時とともに、ライフログ用画像として蓄積されていく。

さらに、上記の画像取得装置を備える移動体１に好適な画像取得方法について説明する。搭乗者６０の体験の記録を実現するために、搭乗者６０の視線に加え、移動体１の動作を画像に反映する。このようにすることで、より臨場感が増した画像を取得することができる。

第１の例としては、移動体１の速度に応じて撮影間隔を調整する。例えば、移動体１の速度を車輪オドメトリから取得する。すなわち、駆動モータ２１に設けられているエンコーダから、第１駆動輪３１、及び第２駆動輪３２の回転速度を求める。これにより、移動体本体１０の速度が推定される。もちろん、他のセンサを用いて移動体１の速度を求めてもよい。そして、速度が速い場合、撮影間隔を短くし、速度が遅い場合、撮影間隔を長くする。これにより、臨場感を増すことができる。

第２の例としては、移動体１の揺れに応じて、カメラ向き変更機構４３を調整する。例えば、凸凹道を走行する場合、移動体本体１０が揺れて、撮影する画像も上下左右に振れる画像となる。後にその画像も見て追体験する場合を考え、凹凸道を走行したことがはっきり分かるように、カメラ向き変更機構４３がライフログ用カメラ４２を意図的に揺らす。例えば、移動体本体１０が上側に揺れたタイミングで、ライフログ用カメラ４２を上に移動して、揺れを強調する。反対に下側に揺れたタイミングで、ライフログ用カメラ４２を移動して、揺れを強調する。そして、揺れが強調されたタイミングでシャッタを切る。このようにすることで、より臨場感を増すことができる。

具体的には、カメラ角度制御部５３が移動体本体１０に設けられているジャイロセンサからの出力に基づいて、移動体本体１０の揺れ（振幅、周波数等）を抽出する。その揺れをゲイン倍して、カメラ向き変更機構４３に入力する。これにより、ライフログ用カメラ４２が揺れて、ぶれた画像が取得される。このように、意図的にライフログ用カメラ４２を揺らすことで、揺れを強調することができる。このため、後に画像を確認したときに、凹凸道を移動していたことを、はっきりと思い出すことができる。すなわち、この画像によって、凹凸道を走行していたという体験が思い出される。よって、ライフログに好適な画像を取得することができる。

また、凹凸道を走行したときの揺れが激しい場合には、カメラ向き変更機構４３を用いて揺れを吸収するようにしてもよい。すなわち、移動体本体１０の揺れと反対方向にライフログ用カメラ４２を駆動する。これにより、移動体本体１０の揺れをカメラ向き変更機構４３の動作によって打ち消すことができる。よって、振動による画像のぶれが吸収される。このように、移動体本体１０の動きによって、撮影領域、又は撮影条件を変える。これにより、人の体験の記録に適した画像が取得される。

次に、本実施の形態にかかる制御について図６を用いて説明する。図６は、本実施の形態にかかる制御方法を示すフローチャートである。

まず、顔用カメラ４１によって顔の画像を取得して、初期顔位置検出する（ステップＳ１０１）。搭乗者６０が搭乗席１１に座って、撮影開始ボタンを押して撮影を開始する。撮影開始の入力が行われたら、まず、顔用カメラ４１が顔画像を取得する。顔用カメラ４１によって取得された顔画像に対して、画像処理を行う。これにより、初期顔位置（ｘ、ｙ、ｚ）が算出される。その顔位置が領域内に入っているか否かを判定する（ステップＳ１０２）。すなわち、予め設定された領域に初期顔位置（ｘ、ｙ、ｚ）が含まれているか判定する。例えば、図５の点線に示すように、撮影範囲６２の中央近傍に領域６３が設定されている。実際には、初期顔位置を中心とする球が領域６３になっている。この領域６３内に顔位置が含まれているか否かを判定する。なお、初期顔位置が撮影範囲６２の中心になるように、顔用カメラ４１の姿勢を調整してもよい。

顔位置が領域６３内に入っている場合（ステップＳ１０２のＹ）、撮影条件をデフォルトの焦点位置、撮影間隔とする。この場合、撮影範囲６２の中央近傍に顔があるため、顔に動きがない。従って、通常の状態であると判定して、制御部５０がデフォルト条件でシャッタを押す。このとき、カメラ向き変更機構４３が、顔の角度に応じた顔用カメラ４１の角度を変更する。これにより、搭乗者６０の視線方向の画像を取得することができる。そして、顔位置を更新して、ステップＳ１０１に戻る。このようにして、繰り返し顔画像、及び体験画像を取得していく。顔位置が領域６３の外に出るまで、デフォルト条件での撮影を繰り返し行う。

顔位置が領域６３内から出た場合（ステップＳ１０２のＮ）、人注視判定手段５２が人注視判定を行なう（ステップＳ１０３）。この場合、領域６３からはみ出すほどに顔が動いていることになる。人注視判定手段５２が、搭乗者６０がある特定の対象を注視しているか否かを判定する。ここでは、条件（１）、及び条件（２）によって判定を行なう。

人がある対象を注視していると判定された場合（ステップＳ１０３のＹ）、対象にフォーカスし、かつ撮影間隔を短くする（ステップＳ１０４）。すなわち、デフォルト条件よりも短い時間間隔で、注視対象を拡大して撮像する。このとき、カメラ向き変更機構４３が、顔の角度に応じた顔用カメラ４１の角度を変更している。そして、顔位置を更新して、ステップＳ１０１に戻る。

人がある対象を注視していると判定されなかった場合（ステップＳ１０３のＮ）、景色を見ているか否かを判定する。すなわち、景色全体を眺めているか否かを判定する（ステップＳ１０５）。ここでは、条件（３）〜条件（５）によって、判定を行なう。そして、景色を見ていると判定された場合（ステップＳ１０５のＹ）、長い撮影間隔で風景全体を撮影する（ステップＳ１０６）。すなわち、デフォルト条件よりも撮影間隔を長くするとともに、ズームアウトして広い範囲の風景を撮影する。このとき、カメラ向き変更機構４３が、顔の角度に応じた顔用カメラ４１の角度を変更している。一方、景色を見ていないと判定された場合（ステップＳ１０５のＮ）、ステップＳ１０２に戻る。すなわち、デフォルトの撮影条件で撮影する。

このような処理によって、ライフログ用画像を取得している。そして、ライフログ用画像を取得時間とともに記憶する。搭乗者６０の顔の向きに応じて、ライフログ用カメラ４２の姿勢を変えている。これにより、搭乗者６０が見ている景色、人などの画像を適切に取得することができる。また、顔用カメラ４１での撮像結果に基づいて、撮影条件を調整している。ライフログの作成に適切な画像を取得することができる。

顔用カメラ４１をユーザの顔を撮像可能な位置に予め設置しているため、ユーザがセンサなどを装着する必要がない。よって、ユーザがストレスを感じることなく、ライフログ用画像を取得することができる。さらに、ゴーグルなどを装着しなくてもよいため、眼鏡などをかけた人であっても容易に利用することができる。さらに、顔や視線の方向に応じて、ライフログ用カメラ４２の姿勢が変わる。これにより、ユーザが見ている対象の画像を取得することができるため、適切なライフログ用画像を取得することができる。すなわち、実際にユーザが見た風景、人、物などの画像が取得される。また、制御部５０がデフォルト条件の撮影間隔で画像を自動取得するため、ユーザがライフログ用カメラ４２を操作する手間を省くことができる。移動中にユーザが煩わしいを操作をしなくてもよくなるため、その瞬間の景色を楽しむことができる。すなわち、景色を見ながら移動することができる。また、移動体１の動きに応じて、撮影範囲、撮影条件を変えることで臨場感のある体験画像を取得することができる。

また、顔位置に応じて、撮影条件を変化させている。すなわち、顔の動きに基づいて、ユーザがある点を注視しているか否かを判定している。そして、その判定結果に応じて撮影条件を調整している。例えば、注視している場合は、注視点を拡大して撮影する。反対に、ユーザが風景全体を眺めている場合、ズームアウトして、風景全体を撮影する。また、注視している場合、撮影間隔を短くし、全体を眺めている場合は、撮影間隔を長くしている。これにより、適切な撮影条件で撮像することができ、ライフログに適した画像を取得することができる。すなわち、人の体験を反映した体験画像の取得が可能となる。

さらに、顔用カメラ４１、ライフログ用カメラ４２、カメラ向き変更機構４３、及び制御部５０を有する画像取得装置を移動体本体１に搭載することで、取得位置を対応付けることができる。すなわち、画像が取得された時間から、画像を取得したときの移動体１の位置を推定することができる。そして、画像に取得日時、及び取得場所を対応付けておく。ライフログ上の地図に、取得画像を表示させることができる。なお、移動体１の現在位置の取得には、オドメトリを用いてもよいし、ＧＰＳなどの測位手段を用いてもよい。さらに、移動体１の動きに応じてライフログ用カメラ４２の姿勢を制御することで、臨場感のある体験画像を取得することができる。すなわち、移動体１の動きを検出するセンサからの出力に応じて、ライフログ用カメラの撮影条件、及び姿勢を制御する。これにより、ライフログに好適な体験画像を取得することができる。
また、ライフログ用カメラ４２を搭乗者６０の顔の近傍に配置することが好ましい。これにより、注視している領域から顔までの距離が、注視している領域からライフログ用カメラ４２までの距離とほぼ等しくなる。これにより、注視している領域までの距離を正確に求めることができる。よって、注視しているか否かの判定を正確に行なうことができる。

なお、画像取得装置を有する移動体１は、上記の倒立振子型移動体に限られるものではない。例えば、自動車などの車両や歩行型移動体に画像取得装置を設置してもよい。この場合、移動体本体に顔用カメラ４１、及びライフログ用カメラ４２を取り付ける。そして、顔を撮像可能な位置に顔用カメラを固定する。また、視線方向を撮影するように、ライフログ用カメラ４２をカメラ向き変更機構４３を介して移動体本体１０に設置する。

車両以外の乗物に設置してもよい。もちろん、複数人登場することができる乗物の場合、運転者の体験に限らず、同乗者の体験画像を記録するようにしてもよい。この場合、搭乗者の顔を撮影可能な位置に顔用カメラ４１を設置する。移動体１に画像取得装置を設置することで、移動しながらの体験画像の取得が可能になる。また、カメラの操作が不要であるため、容易に体験画像を取得することができる。例えば、移動中の風景を見ながらでも、体験画像を取得することができる。

さらには、ユーザの体験に応じた画像を取得することができるのであれば、移動体、乗物以外の場所であっても、画像取得装置を設置することができる。すなわち、画像を取得したい場所に、顔用カメラ４１、及びライフログ用カメラ４２を固定すればよい。すなわち、ユーザがある一定時間以上滞在する特定の場所に、顔用カメラ、及びライフログ用カメラを予め設置しておく。そして、この場所での体験画像を取得する。このように、建物や各種設備などに画像取得装置を適用することも可能である。また、体験の記録をコンセプトに、画像だけでなく、音声や位置情報を紐付けて記憶してもよい。

本発明の実施の形態にかかる移動体の構成を模式的に示す斜視図である。 本発明の実施の形態にかかる移動体に搭乗者が登場した状態を模式的に示す側面図である。 本発明の実施の形態にかかる移動体に搭載されたカメラ向き変更機構の構成を示す図である。 本発明の実施の形態にかかる移動体の制御系を示すブロック図である。 搭乗者の顔の動きを説明するための図である。 本発明の実施の形態にかかる移動体における画像取得処理を示すフローチャートである。

符号の説明

１ 移動体
１０ 移動体本体
１１ 搭乗席
２０ 制御ボックス
２１ モータ
３１ 第１駆動輪
３２ 第２駆動輪
４１ 顔用カメラ
４２ ライフログ用カメラ
４３ カメラ向き変更機構
４４ ロール関節
４５ ピッチ関節
４６ ヨー関節
５０ 制御部
５１ 顔の動き検出手段
５２ 人注視判定手段
５３ カメラ角度制御部
５４ 撮影間隔制御部
５５ 焦点距離制御部
６０ 搭乗者
６１ 顔
６２ 撮影範囲
６３ 領域

Claims (16)

1. 人の体験に応じた画像を取得する画像取得装置であって、
   前記人の顔を撮像可能な位置に予め設置された顔用カメラと、
   前記人が見ている方向の画像を取得する体験用カメラと、
   前記体験用カメラの姿勢を変えて、前記体験用カメラの撮影範囲を変化させる駆動機構と、
   前記顔用カメラでの撮像結果に基づいて、前記駆動機構を制御する制御部と、を備える画像取得装置
2. 前記制御部が、前記顔用カメラでの撮像結果に基づいて、前記体験用カメラの撮影条件を制御することを特徴とする請求項１に記載の画像取得装置。
3. 前記制御部が、前記顔用カメラで撮像した顔の位置に基づいて前記人が特定の対象を注視しているか否かを判定し、その判定結果に応じて前記体験用カメラをズームイン、又はズームアウトさせて、画像を取得する請求項２に記載の画像取得装置。
4. 前記注視判定部の判定結果に応じて前記体験用カメラの撮影間隔を制御する請求項３に記載の画像取得装置。
5. 前記体験用カメラが前記駆動機構を介して移動体本体に設置され、
   前記顔用カメラで移動体に搭乗した搭乗者の顔を撮像する請求項１乃至４のいずれか１項に記載の画像取得装置。
6. 請求項１乃至５のいずれか１項に記載の画像取得装置を有する移動体であって、
   前記顔用カメラが前記移動体本体に設置されている移動体。
7. 前記移動体の動きに応じて、前記体験用カメラの撮影範囲、又は撮影条件を制御することを特徴とする請求項６に記載の移動体。
8. 前記体験用カメラで取得した画像に、前記移動体の位置を対応付けて記憶することを特徴とする請求項６、又は７に記載の移動体。
9. 前記体験用カメラが前記移動体に搭乗する搭乗者の顔位置近くに設置されていることを特徴とする請求項６乃至８のいずれか１項に記載の移動体。
10. 人の体験に応じた画像を取得する画像取得方法であって、
    前記人の顔を撮像可能な位置に予め設置された顔用カメラによって顔の画像を取得するステップと、
    前記顔用カメラでの撮像結果に基づいて体験用カメラの姿勢を変化させて、前記体験用カメラで画像を取得するステップと、を備える画像取得方法。
11. 前記顔用カメラでの撮像結果に基づいて、前記体験用カメラの撮影条件を制御することを特徴とする請求項１０に記載の画像取得方法。
12. 前記顔用カメラで撮像した顔の位置に基づいて前記人が特定の対象を注視しているか否かを判定するステップをさらに有し、
    前記判定するステップでの判定結果に応じて前記体験用カメラをズームイン、又はズームアウトさせて、画像を取得する請求項１０、又は１１に記載の画像取得方法。
13. 前記判定するステップでの判定結果に応じて前記体験用カメラの撮影間隔を制御する請求項１２に記載の画像取得方法。
14. 前記顔用カメラが移動体本体に設置され、
    前記体験用カメラが前記駆動機構を介して前記移動体本体に設置されている請求項１０乃至１３のいずれか１項に記載の画像取得方法。
15. 前記移動体の動きに応じて、前記体験用カメラの撮影範囲、又は撮影条件を変えて画像を取得する請求項１４に記載の画像取得方法。
16. 前記体験用カメラで取得した画像に、前記移動体の位置を対応付けて記憶することを特徴とする請求項１４、又は１５に記載の画像取得方法。
    
    
    
    
    
    
    
    

Images