JP2010118851A - 移動体、移動体システム、及び画像管理方法 - Google Patents

Abstract

【課題】人の体験に応じた画像を適切かつ簡便に取得することができる移動体、移動体システム、及び画像管理方法を提供する。
【解決手段】本発明にかかる移動体は、搭乗者の体験に応じた画像を取得する画像取得装置７０を有する移動体であって、搭乗者が搭乗する搭乗席１１と、搭乗者が把持した把持対象のステレオ画像を撮像するよう、撮像範囲が重複するように設置された２以上の把持対象用カメラ４７と、ステレオ画像を撮像するステレオ画像撮像エリアの一部において、把持対象の情報を抽出するための画像処理を行う画像処理部５１と、把持対象の情報に対応付けて把持対象用カメラ４７で取得した画像を記憶するライフログデータベース５５と、を備えるものである。
【選択図】図５

Description

本発明は、移動体、移動体システム、及び画像管理方法に関し、特に詳しくは人の体験に応じた画像を取得するための移動体、移動体システム、及び画像管理方法に関する。

ところで、近年、人の体験を記憶、利用する体験メディアを構築する技術が開発されている（非特許文献１）。例えば、人の体験をデジタル化するため、体験に応じた画像を取得している。このようにすることによって、体験を通じた知識を共有化することができる。

このような体験の記録（ログ）は、ライフログと呼ばれている（非特許文献２）。ライフログとは、体験の記録、共有をコンセプトに、映像情報に音声情報、位置情報、生体情報などを関連付けて、体験をデジタル化し、記録・共有することを目指す新しいメディアである。非特許文献２では、例えば、ウェアラブルシステム、車載カメラを用いて、ライフログが取得されている。

しかしながら、特許文献１のようなウェアラブルカメラを用いる場合、使用者がカメラなどを装着する必要となる。このため、使用者が煩わしさを感じて、ストレスとなってしまう。また、特許文献１では、ゴーグルを装着する必要があるため、眼鏡をかけた人には不向きである。特許文献２のような車載カメラを用いる場合、一定の方向の景色しか撮像することができない。

特開２００４−３５６９７０号公報 特開２００６−２３７７１４号公報 角康之、河村竜幸、"体験メディアの構築に向けて：体験の記録・利用の技術動向"、２００６年６月９日、Ｔｈｅ ２０ｔｈ Ａｎｎｕａｌ Ｃｏｎｄｅｒｅｎｃｅ ｏｆ ＪＳＡＩ，２００６、［ＯＮＬＩＮＥ］、平成２０年４月１５日検索、インターネット〈URL:http://www.jaist.ac.jp/jsai2006/program/pdf/100151.pdf〉 相澤清晴"ライフログの取得と処理 −ウエアラブル，ユビキタス，車−"、２００５年６月１７日 Ｔｈｅ １９ｔｈ Ａｎｎｕａｌ Ｃｏｎｄｅｒｅｎｃｅ ｏｆ ＪＳＡＩ，２００５、［ＯＮＬＩＮＥ］、平成２０年４月１５日検索、インターネット〈URL:hthttp://www-kasm.nii.ac.jp/jsai2005/schedule/pdf/000141.pdf〉

移動体に搭乗した搭乗者のライフログを取得することを考えた場合、上記の文献では、適切なライフログを取得することができないという問題点がある。例えば、オフィスや室内を移動する移動ロボットに搭乗者が搭乗している場合を考える。このような移動ロボットに搭乗している搭乗者は、使用環境中で、様々な物体を持ったり、放したりすることがある。すなわち、移動ロボットに乗りながら、机や棚に置いてある物体を把持したり、把持している物体を机や棚に置くことがある。このような、物体を把持したり、放したりするイベント時における画像を取得することができれば、様々な用途に応用することができる。

しかしながら、上記の文献では、このような把持物体に着目していないため、適切なライフログを取得することができない。換言すると、このような把持物体に着目してライフログを蓄積することができれば、より応用範囲を拡大することができる。しかし、上記の文献では、把持している物体に関する画像を取得することについて何ら記載していないため、人の体験に応じた画像を適切かつ簡便に取得することができないという問題点がある。

本発明は、人の体験に応じた画像を適切かつ簡便に取得することができる移動体、移動体システム、及び画像管理方法を提供することを目的とする。

本発明の第１の態様にかかる移動体は、搭乗者の体験に応じた体験画像を取得する画像取得装置を有する移動体であって、前記搭乗者が搭乗する搭乗席と、前記搭乗者が把持した把持対象のステレオ画像を撮像するよう、撮像範囲が重複するように設置された２以上の把持対象用カメラと、前記ステレオ画像を撮像するステレオ画像撮像エリアの一部において、前記把持対象の情報を抽出するための画像処理を行う画像処理部と、前記把持対象用カメラで取得した取得画像を、前記把持対象の情報に対応付けて記憶する画像記憶部と、を備えるものである。これにより、搭乗者が把持した把持対象に関する画像とその情報を記憶することができる。よって、人の体験に応じた画像を適切かつ簡便に取得することができる。

本発明の第２の態様にかかる移動体は、上記の移動体であって、前記搭乗席と連動して、前記撮像対象用カメラの撮像方向が変化することを特徴とするものである。これにより、画像処理に負荷増加を防ぐことができる。

本発明の第３の態様にかかる移動体は、上記の移動体であって、前記搭乗席の前方方向を撮像する前方用カメラをさらに備え、前記前方用カメラにおいて、前記把持物体とその周辺を撮像することを特徴とするものである。これにより、より適切な画像を取得することができる。

本発明の第４の態様にかかる移動体は、上記の移動体であって、前記画像処理部が、予め設定されたテンプレート画像に対するパターンマッチングによって前記把持対象の情報を抽出し、前記移動体の移動速度に応じて、パターンマッチングのしきい値を変化させることを特徴とするものである。これにより、より適切な画像を取得することができる。

本発明の第５の態様にかかる移動体は、上記の移動体であって、前記把持対象用カメラのステレオ画像に基づいて、前記把持対象の距離を算出し、前記把持対象の距離に応じて、前記画像処理部による画像処理を行うか否かを判定しているものである。これにより、不要な画像処理が行われるのを防ぐことができるため、処理時間を短縮することができる。

本発明の第６の態様にかかる移動体システムは、上記の移動体と、前記移動体の移動環境中に設けられたカメラと、を備えるものである。これにより、より適切な画像を取得することができる。

本発明の第７の態様にかかる画像管理方法は、移動体の搭乗席に搭乗した搭乗者の体験に応じた体験画像を管理する画像管理方法であって、撮像範囲が重複するように移動体に設置された２以上の把持対象用カメラによって、前記搭乗者が把持した把持対象のステレオ画像を撮像するステップと、前記ステレオ画像を撮像するステレオ画像撮像エリアの一部において、前記把持対象の情報を抽出するための画像処理を行うステップと、前記把持対象用カメラで取得した取得画像を、前記把持対象の情報に対応付けて記憶するステップと、を備えるものである。これにより、搭乗者が把持した把持対象に関する画像とその情報を記憶することができる。よって、人の体験に応じた画像を適切かつ簡便に取得することができる。

本発明の第８の態様にかかる画像管理方法は、上記の画像管理方法であって、前記画像処理を行うステップにおいて、予め設定されたテンプレート画像に対するパターンマッチングによって前記把持対象の情報を抽出するステップを、さらに備え、前記判定するステップにおけるしきい値を前記移動体の移動速度に応じて変化させているものである。

本発明の第９の態様にかかる画像管理方法は、上記の画像管理方法であって、前記取得画像の中にテンプレート画像に含まれる比較対象が存在する存在確率を算出するステップと、前記存在確率に応じて、前記取得画像の中に前記比較対象が存在しているか否かを判定するステップと、をさらに備え、前記比較対象が存在する場合に、前記比較対象の情報を前記把持対象の情報として抽出するものである。これにより、適切な処理を行うことができる。

本発明の第１０の態様にかかる画像管理方法は、上記の画像管理方法であって、検索情報を入力するステップと、前記画像を取得した時間と前記検索情報を入力した時間との間の経過時間に基づいて、前記把持対象の存在確率を減衰させるステップと、前記減衰された存在確率に応じて検索結果を提示するステップと、をさらに備えるものである。これにより、適切な検索結果を提示することができる。

本発明の第１１の態様にかかる画像管理方法は、上記の画像管理方法であって、前記把持対象用カメラのステレオ画像に基づいて、前記把持対象の距離を算出し、前記把持対象の距離に応じて、前記画像処理を行うステップにおける画像処理を行うか否かを判定しているものである。これにより、不要な画像処理が行われるのを防ぐことができるため、処理時間を短縮することができる。

本発明によれば、人の体験に応じた画像を適切かつ簡便に取得することができる移動体、移動体システム、及び画像管理方法を提供することができる。

実施の形態１．
本実施の形態にかかる移動体について、図１、及び図２を用いて説明する。図１は、移動領域である床部上を、搭乗者を載置した状態で、該搭乗者の操作により移動制御可能な椅子型移動ロボット（以下、単に移動体１という）を模式的に示す図であり、図２は、図１に示す移動体１を側方から見た様子を示す図である。図２では、左側が移動体１の前方になっている。

図１に示すように、移動体１は、搭乗者６０を載置する搭乗席１１と第１駆動輪３１と第２駆動輪３２と制御ボックス２０とを備え、これらが移動体本体１０を構成する。後述するように、移動体本体１０には、ライフログ用の画像を取得するための画像取得装置が取り付けられている。移動体１の画像取得装置を除いた構成を移動体本体１０とする。搭乗席１１は座席の形状を有している。そして、この搭乗席１１の上に、搭乗者６０が座る。

第１駆動輪３１、及び第２駆動輪３２は、同軸上に配置された１対の対向する回転体である。第１駆動輪３１が右輪となり、第２駆動輪３２が左輪となる。第１駆動輪３１、及び第２駆動輪３２は制御ボックス２０に対して回転可能に保持されている。第１駆動輪３１、及び第２駆動輪３２は制御ボックス２０内に設けられている駆動モータ２１によって、回転する。駆動モータ２１はサーボモータなどである。第１駆動輪３１、及び第２駆動輪３２が回転することによって、第１駆動輪３１、及び第２駆動輪３２が回転する。これにより、移動体１が前進、又は後退する。また、制御ボックス２０には、第１駆動輪３１、及び第２駆動輪３２に対してそれぞれ、駆動モータ２１が設けられている。第１駆動輪３１、及び第２駆動輪３２は独立に回転する。第１駆動輪３１、及び第２駆動輪３２を独立して制御することで、左折、右折、その場旋回などを行うことができる。なお、第１駆動輪３１、第２駆動輪３２の前又は後に、補助輪が設けられていてもよい。

搭乗席１１は搭乗者が搭乗する搭乗部となる。また、制御ボックス２０が、搭乗部を支持する本体部となる。搭乗席１１の上面が座面１１ａとなる。すなわち、座面１１ａの上に、搭乗者が乗った状態で移動体１が移動する。搭乗席１１には背もたれが設けられている。座面１１ａは平面でもよいし、臀部の形に合わせた形状となっていてもよい。乗り心地を向上するために、搭乗席１１にクッション性を持たせてもよい。移動体１が水平面上にある場合、座面１１ａが水平になっている。搭乗席１１の座面１１ａには力センサ９が設けられている。力センサ９は、搭乗者の体重移動を検知する。すなわち、力センサ９は、搭乗席１１の座面１１ａに加わる力を検出する。そして、力センサ９は、座面１１ａに加わる力に応じた計測信号を出力する。力センサ９は、搭乗席１１の座面８ａの下側に配置されていてもよい。また、搭乗席１１の両側には、搭乗者６０の腕が載置されるアームレスト１３が設けられている。

力センサ９としては、例えば、６軸力センサを用いることができる。この場合、図３に示すように、３軸方向の並進力（ＳＦｘ、ＳＦｙ、ＳＦｚ）と各軸周りのモーメント（ＳＭｘ、ＳＭｙ、ＳＭｚ）を計測する。これらの並進力とモーメントは、力センサ９の中心を原点に取った値である。移動体１のセンサ処理部に出力する計測信号をモーメント（Ｍｘ、Ｍｙ、Ｍｚ）とし、それらのモーメントの制御座標原点を図２に示す（ａ、ｂ、ｃ）とすると、Ｍｘ、Ｍｙ、Ｍｚは、それぞれ以下のように表すことができる。
Ｍｘ＝ＳＭｘ＋ｃ・ＳＦｙ−ｂ・ＳＦｚ
Ｍｙ＝ＳＭｙ＋ａ・ＳＦｚ−ｃ・ＳＦｘ
Ｍｚ＝ＳＭｚ＋ｂ・ＳＦｘ−ａ・ＳＦｙ
なお、図３は、各軸を説明するための図である。力センサ９として、モーメント（Ｍｘ、Ｍｙ、Ｍｚ）を計測できるものであればよい。各軸周りのモーメント（ＳＭｘ、ＳＭｙ、ＳＭｚ）を計測できる３軸力センサを制御座標原点に配置して、Ｍｘ，Ｍｙ、Ｍｚを直接計測してもよい。また、１軸の力センサを３つ設けてもよい。さらには、歪みゲージや、ポテンショを用いたアナログジョイスティックなどでもよい。すなわち、直接的又は間接的に３軸周りのモーメントを計測できるものであればよい。そして、力センサ９は、３つのモーメント（Ｍｘ、Ｍｙ、Ｍｚ）を計測信号として出力する。

搭乗者６０が体重移動することで、力センサ９にかかる力が変化する。移動体１は、この力センサにかかる力に応じて移動する。例えば、搭乗者の体重移動により、力センサ９に対して、ロール軸、ピッチ軸、ヨー軸周りの力が加わる。力センサ９は、この力を検出する。そして、各軸周りの力に応じた速度、及び方向に移動体１が移動する。

制御ボックス２０の中には駆動モータ２１、及び制御部５０が配設されている。また、制御ボックス２０には、駆動モータ２１などの電源を供給するバッテリ（図示せず）などが設けられている。制御ボックス２０は、搭乗席１１の直下に配置されている。そして、制御ボックス２０に取り付けられている支持部材等を介して搭乗席１１が支持される。

制御部５０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、通信用のインターフェースなどを有する演算処理装置であり、駆動モータ２１の動作を制御するための処理を行う。また、制御部５０は、着脱可能なＨＤＤ、光ディスク、光磁気ディスク等を有し、各種プログラムや制御パラメータなどを記憶し、そのプログラムやデータを必要に応じてメモリ（不図示）等に供給する。また、制御部５０には、ライフログを取得するためのプログラムが格納されている。

さらに、移動体本体１０には、２つの把持物体用カメラ４７と、１つの前方用カメラ４８が設けられている。把持物体用カメラ４７は、搭乗者の顔の近傍に配置されている。把持物体用カメラ４７は、搭乗席１１の背もたれ部分に固定されている。ここでは、顔の左右にそれぞれ把持物体用カメラ４７が配置されている。なお、顔の左側の把持物体用カメラ４７を把持物体用カメラ４７Ｌとし、顔の右側の把持物体用カメラ４７を把持物体用カメラ４７Ｒとする。把持物体用カメラ４７Ｌと把持物体用カメラ４７Ｒの２つをまとめて、把持物体用カメラ４７とする。

把持物体用カメラ４７は、搭乗者６０の顔と略同じ高さに固定されている。すなわち、搭乗者６０の顔の左右両側にそれぞれ把持物体用カメラ４７が設けられている。把持物体用カメラ４７としては、例えば、パノラマカメラを用いることができる。ここで、把持物体用カメラ４７は、ＣＣＤカメラなどのデジタルスチールカメラである。把持物体用カメラ４７は、搭乗者６０の手の辺りを斜め上方から撮像するように設置されている。すなわち、搭乗者６０の動作パターンを検出するため、搭乗者６０の手の動作に着目している。

ここでは、２つの把持物体用カメラ４７が設けられているため、ある部分を異なる方向から撮像することができる。２つの把持物体用カメラ４７は、前方斜め下に傾いて設置されている。また、左側の把持物体用カメラ４７Ｌは少し右側を向いており、右側の把持物体用カメラ４７Ｒは少し左側を向いている。把持物体用カメラ４７で取得された画像は左眼画像となり、把持物体用カメラ４７Ｒで取得された画像は右眼画像となる。把持物体用カメラ４７Ｌと把持物体用カメラ４７Ｒの撮像方向が交差する部分では、ステレオ画像の取得が可能となる。このステレオ画像を取得可能な領域は、搭乗者６０の腹部の前方側であって、大腿部の上方側にある。具体的には、搭乗者６０が物体を把持したときに、物体を把持した手が存在する部分がステレオ画像を撮像可能な領域となる。このように、把持物体用カメラ４７Ｒと把持物体用カメラ４７Ｌの視野が重なる部分で、ステレオ画像が取得される。これにより、把持物体とそれを把持した手を含む領域のステレオ画像を取得することが可能になる。２方向から把持物体を撮像することで把持物体までの距離を求めることが可能になる。

把持物体用カメラ４７は、支持棒などの治具を介して、搭乗席１１に設置されている。したがって、搭乗席１１と連動して、把持物体用カメラ４７の撮像方向が変化する。すなわち、搭乗席１１が傾斜するとその傾斜角度に応じて、撮像方向が変化する。搭乗者が体重移動して搭乗席１１が傾いた場合や、坂道、段差などを移動中に搭乗席１１が傾いた場合でも、搭乗席１１に対する把持物体用カメラ４７の撮像範囲が変化しない。すなわち、搭乗席１１に搭乗している搭乗者に対して、一定の領域が撮像される。この撮像領域と搭乗者６０との距離は、搭乗席１１が傾斜した場合でも、変化しない。よって、常に搭乗者の手の辺りを撮像することができる。すなわち、搭乗者６０の手の辺りが死角になることを避けることができる。確実に把持物体のステレオ画像を取得することができる。また、把持物体用カメラ４７の向きが搭乗者６０と連動して動作することで、座標変換が不要になる。これにより、搭乗者の体重移動によりロール、ピッチ、ヨー軸が動作した場合でも、カメラ画像の処理負荷増加を防ぐことができる。

また、搭乗者６０の前方を撮像するための前方用カメラ４８が設けられている。前方用カメラ４８は、ＣＣＤカメラなどのデジタルスチールカメラである。前方用カメラ４８は、例えばアームレスト１３の前方に設置されている。そして、前方用カメラ４８は把持物体とその周辺を撮像するように固定されている。即ち、把持物体とその周辺景色が撮像される。これにより、把持物体を把持した位置や把持物体を放した場所などに関するログを取得することができる。前方用カメラ４８の撮影方向も搭乗席と連動して変化する。前方用カメラ４８は、把持物体と略同じ高さになる様に設置されている。なお、把持物体用カメラ４７と前方用カメラ４８は同期して、撮影を行うようにしてもよい。例えば、把持物体用カメラ４７と前方用カメラ４８は一定の時間間隔で静止画を取得している。

次に、移動体１を移動させるための制御系について、図４を用いて説明する。図４は、移動体１を移動させるための制御系の構成を示すブロック図である。まず、力センサ９によって、座面８ａにかかる力を検出する。ここでは、上記の通り、力センサ９は、計測信号であるモーメントＭｘ、Ｍｙ、Ｍｚを制御部５０に出力する。制御部５０は、力センサ９からの計測信号に対して処理を行う。すなわち、力センサ９から出力される計測信号に対応する計測データに対して、演算処理を行う。制御部５０は、モーメントに基づいて、制御計算を行う。これにより、制御部５０が第１駆動輪３１及び第２駆動輪３２を駆動するための指令値を算出する。制御部５０は、入力値に基づく指令値を各駆動モータ２１に出力する。制御部５０は、例えば、指令値として、駆動モータ２１を回転させるための指令トルクを算出する。これにより、駆動モータ２１に対して指令トルクが入力される。よって、搭乗者の意図に応じた方向及び速度で、移動体１が移動する。すなわち、搭乗者の意図通りに移動することができる。なお、トルクの代わりに回転速度等を指令値としてもよい。

さらに、駆動モータ２１にはそれぞれ、エンコーダ２１ａが内蔵されている。このエンコーダ２１ａは、駆動モータ２１の回転速度等を検出する。そして、検出された回転速度は、制御部５０に入力される。制御部５０は、現在の回転速度と、目標となる回転速度とに基づいてフィードバック制御を行う。例えば、目標回転速度と現在回転速度との差分に、適当なフィードバックゲインを乗じて、指令値を算出する。もちろん、左右の駆動モータ２１に出力される指令値は、異なる値であってもよい。すなわち、前方、又は後方に直進する場合は、第１駆動輪３１及び第２駆動輪３２の回転速度が同じになるように制御し、左右に旋回する場合は、第１駆動輪３１及び第２駆動輪３２が、同じ方向で異なる回転速度になるよう制御する。また、その場旋回する場合は、第１駆動輪３１及び第２駆動輪３２が反対方向に回転するように制御する。エンコーダ２１ａの測定値によって、移動体１の現在位置が推定される。さらに、エンコーダ２１ａの測定値によって、移動体１の移動速度が推定される。

次に、図５、図６を用いてライフログを取得するための画像取得装置について説明する。図５は、画像取得装置の制御系を示すブロック図である。図６は、２つの把持物体用カメラ４７で取得した画像を模式的に示す図である。図５に示しように、ライフログを取得するための画像取得装置７０は、把持物体用カメラ４７と前方用カメラ４８と、制御部５０とを有している。なお、制御部５０は、物理的に単一な装置から構成されていなくてもよい。例えば、図４で示した移動制御を行うための制御系と、画像取得を行うための制御系とを別個の制御回路で構成してもよい。この制御部５０によって、蓄積されたライフログ画像が管理されている。

制御部５０には、画像処理部５１と距離算出部５２と判定部５３とテンプレート画像データベース５４とライフログデータベース５５が設けられている。

テンプレート画像データベース５４には、把持物体を特定するためのテンプレート画像がデータベースとして格納されている。搭乗者６０によって把持されることが予定されているものがテンプレート画像として取得されている。例えば、本、ペン、手帳、メモリカード、携帯電話、電池、コップ、スティックのり、つめ切り、はさみ、アルバム、電球などの日用品（以下、物品と呼ぶこともある）のテンプレート画像が記憶されている。ここでは、１つの日用品に対して様々な条件下で画像を取得している。例えば、方向や光線条件などを変えて、日用品を撮像している。したがって、１つの物品に対して複数のテンプレート画像を取得することになる。そして、その画像とタグ情報（物品名、製品名、ジャンルなど）が対応付けて記憶されている。さらには、所定の日用品に対して、個人的な情報を付加してもよい。例えば、物品名を「お父さんの手帳」などとして、記憶してもよい。このように、テンプレート画像データベース５４には、ある物体の画像と、その物体に関する情報とともに記憶されている。例えば、日用品を４０点程度用意して、１２０枚のテンプレート画像を撮像する。また、テンプレート画像データベース５４には、物品に限らず、動物などについてのテンプレート画像が格納されていてもよい。テンプレート画像には、把持物体用カメラ４７で取得した画像（以下、取得画像とする）の中の物体と比較される比較対象が写っていることになる。後述するように、テンプレート画像と、取得画像とのパターンマッチングにより、把持物体を特定する。

ライフログデータベース５５には、ライフログ画像がデータベースとして格納されている。例えば、把持物体用カメラ４７や前方用カメラ４８で取得された画像がライフログ画像として記憶される。さらに、ライフログ画像には、画像取得時間や画像取得位置を付加して、ライフログデータベース５５に格納する。ライフログデータベース５５では、ライフログ画像とその付加情報が対応付けられている。さらに、ライフログデータベース５５には、画像処理によって抽出された把持物体に関する情報がライフログ画像に対応付けられて格納されている。さらに、取得画像とテンプレート画像間の類似度や、物品の存在確率がライフログデータベース５５に格納されていてもよい。すなわち、物品に関する情報を抽出するための画像処理に関する処理結果が格納されていてもよい。

距離算出部５２は、ステレオ画像を用いて、撮影された物体までの距離を算出する。すなわち、距離算出部５２は、把持物体用カメラ４７によって取得した画像に基づいて、その物体の３次元位置情報を抽出する。

判定部５３は、ステレオ画像に写った撮影物体が、搭乗者６０によって把持されている否かを判定するための処理を行う。例えば、判定部５３は、把持物体用カメラ４７で取得した取得画像の中で、変化領域を検出する。すなわち、前回取得した取得画像と今回取得した取得画像とを比較して、２つの画像が変化している領域を変化領域として抽出する。そして、距離算出部５２は、この変化領域の３次元情報を復元する。判定部５３は、距離算出部５２で算出された距離を用いて、物体が設定領域内か否かを判定する。具体的には、距離算出部５２は、取得画像に写った物体の距離を算出する。ここでは、２台の把持物体用カメラ４７が異なる方向から撮像しているため、そのステレオ画像により物体の距離を算出することができる。

図６に示すように、搭乗者６０が、その左手６１と右手６２で把持物体６３を把持しているとする。なお、図６では、把持物体用カメラ４７Ｌが撮像する範囲が左カメラ撮像範囲７１として示され、把持物体用カメラ４７Ｒが撮像する範囲が右カメラ撮像範囲７２として示されている。左カメラ撮像範囲７１が左眼画像として取得され、右カメラ撮像範囲７２が右眼画像として取得される。さらに、左カメラ撮像範囲７１と右カメラ撮像範囲７２とで一部が空間的に重複している。この重複している部分を重複範囲７３とする。この重複範囲７３でステレオ画像が取得される。すなわち、重複範囲がステレオ画像取得範囲となる。把持物体６３とその周辺のステレオ画像が取得されている。左カメラ撮像範囲７１、右カメラ撮像範囲７２、重複範囲７３はそれぞれ矩形状になっている。

例えば、搭乗者６０が上体の前方で、物体を把持したとすると、前回の取得画像と最新の取得画像とが大きく異なることになる。物体を把持する前と、把持した後では、画像データが大きく異なることになる。具体的には、把持する前は、取得画像の中に物体が写っていないが、把持した後では、把持した物体が取得画像の中に写ることになる。よって、画像が大きく変化することになる。重複範囲７３の中で物体が大きく移動する。このように、前回の取得画像と今回の取得画像の差分を取って、差分に応じて変化領域を検出する。ここでは、左眼画像と、右眼画像のそれぞれに対して、変化領域を検出する。

そして、距離算出部５２は、変化領域中の物体の距離を算出する。すなわち、移動後の物体の距離をステレオ画像に基づいて算出する。これにより、新たに把持物体用カメラ４７に写った物体までの距離が算出される。そして、判定部５３は、この距離に基づいて、新たに写った物体が把持物体であるか否かを判定する。例えば、距離算出部５２で算出した距離が手の届く範囲を越えているような距離となった場合、把持物体ではないと判定する。反対に、距離算出部５２で算出した距離が手の届く範囲内に含まれる場合、把持物体であると判定する。

画像処理部５１は、テンプレート画像と取得画像とを比較して、把持物体を特定するための画像処理を行う。これにより、把持物体の情報（タグ情報等）が抽出される。例えば、画像処理部５１は、全てのテンプレート画像に対してパターンマッチング処理を行う。ここで、画像処理部５１は、重複範囲７３の一部のみに対して、画像処理を行う。ここで、画像処理部５１において、画像処理が行われる範囲を画像処理範囲７４とする。すなわち、この画像処理範囲７４のみに対して、パターンマッチング処理が行われる。図６では、画像処理範囲７４が八角形になっている。画像処理範囲７４は、把持物体用カメラ４７の画素に対して予め設定されている。このように、重複範囲７３の中の一部を画像処理範囲７４とすることで、処理を簡素化することができる。すなわち、重複範囲７３の中の一部に対してのみ、画像処理を行うことで、複雑な画像処理を行った場合でも、処理時間を短縮することができる。これにより、利便性を向上することができる。さらに、画像処理範囲７４においてのみ、変化領域を抽出するようにしてもよい。

なお、取得画像には、複数の物体が写っていることがあるため、局所特徴量を用いてパターンマッチングを行うことが望ましい。画像処理部５１は、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）による特徴点マッチングを行う。例えば、それぞれのテンプレート画像中の特徴点を求めておく。そして、画像処理範囲７４の中から、テンプレート画像に含まれる特徴点に対してマッチングするマッチング点を抽出する。このマッチング点の数が画像の類似度を示すことになる。このマッチング点の数に基づいて、物品を特定する。なお、ここでの処理の詳細については、後述する。もちろん、画像処理によって、２以上の物品を把持物体として特定してもよい。

このように、画像処理によって物品を特定することができたら、その物品の情報を抽出する。すなわち、テンプレート画像に対応付けられているタグ情報などが抽出される。把持物体の物品名を抽出することができる。そして、タグ情報などを取得画像と対応付けて、ライフログデータベース５５に記憶する。ライフログデータベース５５に格納された画像がライフログ画像となる。なお、把持物体を特定できない場合、その画像を破棄してもよい。ライフログデータベース５５には、ライフログ画像の取得時間、取得位置が対応付けて記憶される。さらに、把持物体用カメラ４７と同期して、前方用カメラ４８を動作させる。

このように、取得画像が変化した場合のみ、ライフログを保存する。これにより、物体を把持した時や、把持している物体を机上に置いた時のライフログ画像が記憶される。すなわち、物品を移動させるような動作をした時のライフログを適切に蓄積していくことができる。このような動作をイベントと称すると、イベント発生時の画像がライフログ画像として蓄積していく。ライフログを参照することで、日用品の管理を行うことができる。例えば、最後に物体を置いた場所などを即座に知ることができる。よって、忘れ物探しの時間を減らし、効率的、快適な暮らしを実現することができる。

さらに、画像処理部５１では、移動体１の移動速度に応じた画像処理のフィルタをかけている。例えば、移動速度が速い時は、パターンマッチングのスレッショルド（しきい値）を高くしている。移動中では、外乱などにより、取得画像がぶれてしまう。これにより、重複範囲７３における撮影物体の位置が変化してしまう。実際に物体の位置が変化していなくても、取得画像中における撮影物体の位置が変化するおそれがある。しきい値を変化させることで、物体を把持している状態が続いているにもかかわらず、ログが残されてしまうのを防ぐことができる。

また、物体を把持する動作や、把持している物体を放す動作は、通常、移動体１が停止しる時や低速で移動している時に、行われると考えられる。パターンマッチングのスレッショルドを高くすることで、テンプレート画像とマッチングする確率を低くすることができる。これにより、移動体１が停止して、物体を把持するタイミングや、物体を放すタイミングでのログを効率的に取ることができるようになる。換言すると、移動体１が移動中に、把持物体を把持した状態のままのタイミングでは、ログが残らない。これにより、イベント発生時のみログが保存されるようになるため、不要なログが残るのを防ぐことができる。よって、処理時間を短縮できるとともに、データ量を低減することができる。

また、棚や机の周りなどの環境中に別途、固定カメラを設けてもよい。そして、固定カメラによって取得した画像をログに加えてもよい。この場合、物体の把持や開放が頻繁に行われる場所に固定カメラを設置することが好ましい。例えば、机の上や棚の前に固定カメラを設置する。そして、固定カメラにおいても画像処理を行い、取得画像に変化があった場合のみ、ログとして保存するようにする。また、固定カメラとしてネットワークカメラを用いて、画像を収集するようにしてもよい。また、移動体１と保存したログと合わせて、この場合、移動体１のログと、固定カメラのログを合わせて収集するコンピュータを用意してもよい。

また、距離に応じて、撮影物体が把持されているか否かを判定している。これにより、パターンマッチング等の画像処理を省略することができる。よって、処理時間を短縮できるとともに、データ量を低減することができる。なお、把持物体用カメラ４７の近傍にＵＲＧなどの距離センサを搭載して、物体までの距離を算出してもよい。そして、物体までの距離に変動があった際のみ、把持物体用カメラ４７で撮像するようにしてもよい。これにより、処理を簡素化することができるため、処理時間を短縮することができる。

次に、ライフログ画像を取得する処理について図７を用いて説明する。図７は、本実施の形態にかかる画像管理方法を示すフローチャートである。図７では、画像、保存するための処理が示されている。まず、把持物体用カメラ４７によって左眼画像、右眼画像を取得する（ステップＳ１０１）。このとき、前方用カメラ４８を把持物体用カメラ４７と同期して動作させ、前景画像を取得してもよい。次に、変化領域を検出して、その３次元情報を復元する（ステップＳ１０２）。

なお、このステップＳ１０２について、図８を用いて詳細に説明する。まず、上記のようにステップＳ１０１で取得した左眼画像、右眼画像をメモリ等に記憶する（ステップＳ２０１）。ここでは、左眼画像、右眼画像のぞれぞれに対して、前回と今回の画像が用意される。そして、局所カラーヒストグラムによって、変化領域を検知する（ステップＳ２０２）。すなわち、前回と今回の取得画像を比較して、変化の大きい領域を変化領域とする。前回の取得画像データと今回の取得画像データの差分が大きい領域を抽出して、変化領域とする。変化領域を検知するための処理は、画像処理範囲７４のみで行われる。これにより、処理を高速化することができる。そして、変化領域について、ＳＵＲＦ（Ｓｐｐｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）特徴点を検出し、両眼画像によって特徴点の３次元座標を算出する（ステップＳ２０３）。ここでは、変化領域の距離が算出される。ここでの距離は、例えば、把持物体用カメラ４７からの距離となっている。なお、距離センサを別途設けて、物体までの距離を求めてもよい。このようにして、変化領域の検出と、３次元位置情報の復元が行われる。搭乗者付近の検出点数で物体の移動を検知する（ステップＳ２０４）。これにより、搭乗者が物体を把持したこと、あるいは、物体を放したことが認識される。

次に、３次元座標を参照して、移動した物体が設定領域内に含まれているか否かを判定する（ステップＳ１０３）。物体が設定領域内に含まれてない場合、ステップＳ１０１に戻り、同様に画像を取得する。また、この場合は、取得画像を破棄するようにしてもよい。この設定領域は、搭乗者の手が届く範囲に対応している。すなわち、搭乗者から手の届く距離を越える範囲は、設定領域外となる。

物体が設定領域内に含まれている場合、取得画像と移動体１の位置を保存する（ステップＳ１０４）。このとき、移動体１の位置情報と時間情報が取得画像に対応付けてられている。そして、以下の通り、取得画像から把持物体に関する情報を抽出するためパターンマッチングを行う。まず、移動体の移動速度に応じて、パターンマッチングのスレッショルド（存在判定用のしきい値）を変更する（ステップＳ１０５）。例えば、移動速度が速い場合、スレッショルドを高くする。これにより、移動体１が高速移動中の取得画像がライフログ画像として保存されるのを防ぐことができる。移動体１の移動速度は、エンコーダ２１ａの測定値等によって求めることができる。

次に、パターンマッチングの画像処理について説明する。まず、全ての物品に対して画像類似度を計算する（ステップＳ１０６）。すなわち、テンプレート画像データベース５４に格納されている全てのテンプレート画像に対してパターンマッチングを行う。これにより、各物品に対する画像類似度が算出される。この画像類似度は、上記の通り、特徴点に対するマッチング点の数に対応する。次に、画像類似度を存在確率に変換する（ステップＳ１０７）。すなわち、尤度計算を行って、各物品がどの程度の確率で存在するかを算出する。これは、各テンプレート画像において、元々含まれる特徴点数が異なるために、実施する。すなわち、マッチング点数は、テンプレート画像に含まれる特徴点数に大きく影響を受ける。具体的には、マッチング点数が同じ１０点のときでも、テンプレート画像に含まれる特徴点数が５０点の場合と、５００点の場合とで存在確率が大きく異なる。マッチング点数が同じ数であったとしても、特徴点数が５０点の時の存在確率は、特徴点数が５００点の時の存在確率よりも大きくなる。

例えば、物体が本当に存在する事象をＡとし、マッチした特徴点数（マッチング点）がｋ点になる事象をＢとし、テンプレート画像に元々含まれる特徴点数をｎとし、Ａのときにある特徴点がマッチする確率をｐとし、Ｂの時のマッチ確率をｑとすると、以下の式が得られる。
Ｐ（Ｂ｜Ａ）＝_ｎＣ_ｋｐ^ｋ（１−ｐ）^ｎ−ｋ
Ｐ（Ａ｜Ｂ）＝｛ｐ^ｋ（１−ｐ）^ｎ−ｋ｝／｛ｐ^ｋ（１−ｐ）^ｎ−ｋ＋ｑ^ｋ（１−ｑ）^ｎ−ｋ｝

なお、Ｐ（Ａ｜Ｂ）＝｛Ｐ（Ｂ｜Ａ）／Ｐ（Ｂ）｝Ｐ（Ａ）である。ここで、物体が存在しない事象をＣとすると、Ｐ（Ａ）＝Ｐ（Ｃ）としている。もちろん、Ｐ（Ａ）＋Ｐ（Ｃ）＝１となるため、Ｐ（Ａ）＝Ｐ（Ｃ）＝０．５となる。なお。Ｐ（Ａ）の値を経験的に設定してもよい。このように、特徴点数、マッチング点数から尤度を求めることができる。すなわち、マッチング点数を０〜１の尤度に変換することができる。なお、上記の式では、ｐ、ｑとして経験的に適当な値を使用している。この尤度が存在確率となる。すなわち、この尤度が画像処理範囲７４の中にテンプレート画像の比較物品が存在する存在確率を示している。尤度は、各テンプレート画像に対して算出される。

そして、存在判定条件を満たすか否かを判定する（ステップＳ１０８）。例えば、存在確率（尤度）がしきい値以上である場合、画像処理範囲７４にテンプレート画像の物品が存在すると判定する。なお、ここでのしきい値は、ステップＳ１０５において最適化されている。すなわち、移動速度に応じて存在判定用のしきい値が変化する。これにより、不要なライフログが残されるのを防ぐことができる。あるテンプレート画像に対する尤度がしきい値以上である場合、把持物体をそのテンプレート画像の比較物品であると判定する。これにより、把持物体の情報を抽出することができる。もちろん、２以上の物品が存在すると判定された場合、２つの物体に関する情報が抽出される。

そして、物品存在ログを保存する（ステップＳ１０９）。取得時間、取得場所、物品、存在確率はライフログデータベース５５に保存される。また、この物品に関する情報（物品名などのタグ情報）などが、ライフログ画像に対応付けてライフログデータベース５５に格納される。なお、取得場所としては、移動環境中の座標でもよく、あるいは、机の上や棚の前というようにイベントが発生した領域を示すものでもよい。もちろん、座標とイベントが発生した場所の情報を示すものを両方格納してもよい。

このようにすることで、適切なライフログを蓄積していくことができる。すなわち、上記の処理を行っていくことで、搭乗者が把持した把持物体のログを画像として蓄積しておくことができる。したがって、搭乗者が何時、どこでどんな物品を把持したのかを記録していくことができる。さらに、何時、どこで、その物品を放したかを記録していくことができる。よって、利便性を向上することができる。上記のようにライフログ画像を取得していくことで、把持物体に着目したライフログデータベースを構築することができる。

また、物体までの距離に応じてパターンマッチングを行うか否かを判定している。よって、不要な画像がライフログ画像として格納されるのを防ぐことができる。これにより、利便性が向上し、より使いやすくなる。また、移動体１の移動速度に応じて、しきい値を変えている。よって、不要な画像がライフログ画像として格納されるのを防ぐことができる。また、パターンマッチングについては、上記の処理以外の画像処理を用いてもよい。

次に、蓄積したライフログデータベースから特定のライフログ画像を検索する処理について図９を用いて説明する。図９は、本実施の形態にかかる画像管理方法において、ライフログ画像を検索するための処理を説明するためのフローチャートである。例えば、検索者がある物品が今どこにあるかを検索するため、その物品名を入力したとする。すなわち、検索者が興味のある物品名を入力したとする。その物品に関してログに記憶されている存在確率を時間減衰させる（ステップＳ３０１）。ここでは、存在確率が指数関数ｅ^−ｔにしたがって減衰しているとしている。そして、その物品に対して、最大の存在確率を検索する（ステップＳ３０２）。そして、最大の存在確率となったライフログ画像、取得時刻、取得場所を提示する（ステップＳ３０３）。

通常、人間にとって興味がある情報は、物品に関する最新の情報である。すなわち、最後に物品が使用された場所を特定することができることが重要であると考えられる。例えば、本が３日前と５日前に棚に収納されたこと、４日前に机の上に置かれたことがそれぞれログとして残っているとする。この場合、最新の情報である３日前の情報のみ検索できれば十分である。

したがって、ステップＳ３０１において、画像取得時間からの経過時間によって指数関数的に存在確率を減衰させる。画像取得時の存在確率（尤度）をＥとすると、検索時の存在確率は、Ｅ・ｅ^−ｔで示される。ｅは自然対数の底、ｔは画像取得時から検索時までの経過時間である。そして、ある１つの物品に対して検索情報が入力された場合、その検索情報と一致する物品の存在確率が最大となっているライフログ画像を掲示する。経過時間に応じて存在確率を減衰させることで、物品の存在に関するクエリに対して、簡便に答えることができる。よって、物探しの時間を短縮することができ、利便性を向上することができる。

なお、上記の検索処理は、移動体１以外のコンピュータによって実行してもよい。例えば、１台又は複数の移動体１が収集したライフログ画像を１つのコンピュータに転送して、保存する。そして、そのコンピュータに転送されたライフログ画像のデータベースを参照して、検索を行う。これにより、より利便性を向上することができる。また、２台以上の移動体１で収集したライフログ画像を検索、掲示できるようになれば、より存在確率の高いライフログ画像を提示することができる。よって、物品の場所をより確実に特定することができ、利便性を向上することができる。

実施の形態２．
本実施の形態では、実施の形態１に比べて、高速に検索するための処理を行っている。以下のこの処理について、図１０を用いて説明する。なお、移動体１の基本的構成は、実施の形態１と同様であるため説明を省略する。また、図１０において、ステップＳ４０１〜ステップＳ４０９までの処理は、図７に示したステップＳ１０１〜ステップＳ１０９までの処理とそれぞれ同様であるため、説明を省略する。すなわち、以下の説明では、実施の形態１と異なる処理についてのみ、詳細に説明する。

実施の形態１と同様に、物品存在ログを保存したら（ステップＳ４０９）、その物品のログの存在確率を時間減衰する（ステップＳ４１０）。既に、新たにライフログとして格納されたライフログ画像の存在確率を時間減衰させる。ここでは、実施の形態１と同様に指数関数的に減衰させている。

また、既に格納されているライフログ画像の中で、物品ごと、場所ごとに、最大存在確率を予め求めておく（ステップＳ４１１）。例えば、ある物品が机の上にあったときのライフログ画像が複数格納されていた場合、ある時間で最も存在確率が大きくなっているライフログ画像を抽出しておく。この最大の存在確率を最大存在確率とする。そして、最大存在確率を時間減衰させる（ステップＳ４１２）。ここでも、上記と同様に指数関数的に最大存在確率を減衰する。

そして、ステップＳ４１０とステップＳ４１２で時間減衰させた存在確率を比較する（ステップＳ４１３）。すなわち、今回取得した存在確率を時間減衰させた値と、最大存在確率を減衰させた値とを、比較する。もちろん、このステップでは、同じ時刻まで減衰させた値同士を比較している。そして、新たに取得された存在確率の減衰後の値が最大存在確率の減衰後の値を超えたか否かを判定する（ステップＳ４１４）。今回の値が過去の値を越えた場合（ステップＳ４１４のＹ）、最大存在確率を更新する（ステップＳ４１５）。更新された場合、ステップＳ４１１で用いる最大存在確率が変更される。例えば、最大存在確率となるログには、そのことを示す識別子などを付加する。存在確率が最大存在確率を越えていない場合は、ステップＳ４０１に戻る。この場合は、前回ステップＳ４１１で用いられた最大存在確率がそのまま次の比較でも使用されることになる。ステップＳ４０９〜ステップＳ４１５までの処理を適宜行っていれば、常に最大存在確率となるライフログ画像を速やかに特定することができる。

このように随時、最大存在確率を有するログを更新することで、即座に検索結果を提示することができる。よって、検索時間を短縮することができるようになり、利便性を向上することができる。このようにすることで、画像を適切に管理することができる。すなわち、適切な検索結果を短時間で掲示することができるようになる。

さらには、搭乗者の体験に応じた画像を取得することができるのであれば、移動体、乗物以外の場所であっても、画像取得装置を設置することができる。すなわち、画像を取得したい環境中にカメラを固定すればよい。すなわち、ユーザがある一定時間以上滞在する特定の場所に、固定カメラを予め設置しておく。そして、この場所での体験画像を取得する。このように、建物や各種設備などに画像取得装置を適用することも可能である。また、体験の記録をコンセプトに、画像だけでなく、音声や位置情報を紐付けて記憶してもよい。また、実施の形態１と実施の形態２を適宜組み合わせてもよい。

本発明の実施の形態にかかる移動体の構成を模式的に示す斜視図である。 本発明の実施の形態にかかる移動体に搭乗者が登場した状態を模式的に示す側面図である。 各軸周りの動作を説明するための図である。 本発明の実施の形態にかかる移動体を移動させるための制御系を示すブロック図である。 本発明の実施の形態にかかる移動体に設けられた画像取得装置を示すブロック図である。 画像取得装置で取得した画像を模式的に示す図である。 実施の形態１にかかる画像管理方法において、画像を取得するための処理を示すフローチャートである。 図７で示した処理の一部を詳細に示すフローチャートである。 実施の形態１にかかる画像管理方法において、画像を検索するための処理を示すフローチャートである。 実施の形態２にかかる画像管理方法において、画像を取得するための処理を示すフローチャートである。

符号の説明

１ 移動体
９ 力センサ
１０ 移動体本体
１１ 搭乗席
２０ 制御ボックス
２１ モータ
２１ａ エンコーダ
３１ 第１駆動輪
３２ 第２駆動輪
４７ 把持物体用カメラ
４７Ｒ 把持物体用カメラ
４７Ｌ 把持物体用カメラ
４８ 前方用カメラ
５０ 制御部
５１ 画像処理部
５２ 距離算出部
５４ テンプレート画像データベース
５５ ライフログデータベース
６０ 搭乗者
６１ 左手
６２ 右手
６３ 把持物体
７１ 左カメラ撮像範囲
７２ 右カメラ撮像範囲
７３ 重複範囲
７４ 画像処理範囲

Claims (11)

1. 搭乗者の体験に応じた体験画像を取得する画像取得装置を有する移動体であって、
   前記搭乗者が搭乗する搭乗席と、
   前記搭乗者が把持した把持対象のステレオ画像を撮像するよう、撮像範囲が重複するように設置された２以上の把持対象用カメラと、
   前記ステレオ画像を撮像するステレオ画像撮像エリアの一部において、前記把持対象の情報を抽出するための画像処理を行う画像処理部と、
   前記把持対象用カメラで取得した取得画像を、前記把持対象の情報に対応付けて記憶する画像記憶部と、を備える移動体。
2. 前記搭乗席と連動して、前記撮像対象用カメラの撮像方向が変化することを特徴とする請求項１に記載の移動体。
3. 前記搭乗席の前方方向を撮像する前方用カメラをさらに備え、
   前記前方用カメラにおいて、前記把持物体とその周辺を撮像することを特徴とする請求項１、又は２に記載の移動体。
4. 前記画像処理部が、予め設定されたテンプレート画像に対するパターンマッチングによって前記把持対象の情報を抽出し、
   前記移動体の移動速度に応じて、パターンマッチングのしきい値を変化させることを特徴とする請求項１乃至３のいずれか１項に記載の移動体。
5. 前記把持対象用カメラのステレオ画像に基づいて、前記把持対象の距離を算出し、
   前記把持対象の距離に応じて、前記画像処理部による画像処理を行うか否かを判定している請求項１乃至４のいずれか１項に記載の移動体。
6. 請求項１乃至５のいずれか１項に記載された移動体と、
   前記移動体の移動環境中に設けられたカメラと、を備える移動体システム。
7. 移動体の搭乗席に搭乗した搭乗者の体験に応じた体験画像を管理する画像管理方法であって、
   撮像範囲が重複するように移動体に設置された２以上の把持対象用カメラによって、前記搭乗者が把持した把持対象のステレオ画像を撮像するステップと、
   前記ステレオ画像を撮像するステレオ画像撮像エリアの一部において、前記把持対象の情報を抽出するための画像処理を行うステップと、
   前記把持対象用カメラで取得した取得画像を、前記把持対象の情報に対応付けて記憶するステップと、を備える画像管理方法。
8. 前記画像処理を行うステップにおいて、予め設定されたテンプレート画像に対するパターンマッチングによって前記把持対象の情報を抽出するステップを、さらに備え、
   前記パターンマッチングのしきい値を前記移動体の移動速度に応じて変化させている請求項７に記載の画像管理方法。
9. 前記取得画像の中にテンプレート画像に含まれる比較対象が存在する存在確率を算出するステップと、
   前記存在確率に応じて、前記取得画像の中に前記比較対象が存在しているか否かを判定するステップと、をさらに備え、
   前記比較対象が存在する場合に、前記比較対象の情報を前記把持対象の情報として抽出する請求項７、又は８に記載の画像管理方法。
10. 検索情報を入力するステップと、
    前記画像を取得した時間と前記検索情報を入力した時間との間の経過時間に基づいて、前記把持対象の存在確率を減衰させるステップと、
    前記減衰された存在確率に応じて検索結果を提示するステップと、をさらに備える請求項９に記載の画像管理方法。
11. 前記把持対象用カメラのステレオ画像に基づいて、前記把持対象の距離を算出し、
    前記把持対象の距離に応じて、前記画像処理を行うステップにおける画像処理を行うか否かを判定している請求項６乃至１０のいずれか１項に記載の画像管理方法。

Images