JP4779226B2 - ROBOT DEVICE, IMAGE STORAGE METHOD, IMAGE STORAGE DEVICE, CONTROL PROGRAM, AND RECORDING MEDIUM - Google Patents

ROBOT DEVICE, IMAGE STORAGE METHOD, IMAGE STORAGE DEVICE, CONTROL PROGRAM, AND RECORDING MEDIUM Download PDF

Info

Publication number
JP4779226B2
JP4779226B2 JP2001128196A JP2001128196A JP4779226B2 JP 4779226 B2 JP4779226 B2 JP 4779226B2 JP 2001128196 A JP2001128196 A JP 2001128196A JP 2001128196 A JP2001128196 A JP 2001128196A JP 4779226 B2 JP4779226 B2 JP 4779226B2
Authority
JP
Japan
Prior art keywords
wide
field image
image
stored
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001128196A
Other languages
Japanese (ja)
Other versions
JP2002326176A (en
Inventor
武史 大橋
浩太郎 佐部
献太 河本
活樹 南野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001128196A priority Critical patent/JP4779226B2/en
Publication of JP2002326176A publication Critical patent/JP2002326176A/en
Application granted granted Critical
Publication of JP4779226B2 publication Critical patent/JP4779226B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【０００１】
【発明の属する技術分野】
本発明は、内部状態に基づいて行動するロボット装置、並びに、画像記憶装置及び画像記憶方法に関し、特に、撮像手段において受動的又は能動的に取得された狭視野画像から広視野画像を合成し周囲の環境を空間的に認識して記憶するとともに、所定期間前までの周囲の環境を時系列に沿って記憶するロボット装置、並びに、所定の視野の画像データから広視野画像データを合成し空間的に認識して記憶するとともに、所定期間前までの画像データを時系列に沿って記憶する画像記憶装置及び画像記憶方法に関する。
【０００２】
【従来の技術】
電気的又は磁気的な作用を用いて人間（生物）の動作に似た運動を行う機械装置を「ロボット」という。我が国においてロボットが普及し始めたのは、１９６０年代末からであるが、その多くは、工場における生産作業の自動化・無人化等を目的としたマニピュレータや搬送ロボット等の産業用ロボット（Industrial Robot）であった。
【０００３】
最近では、人間のパートナーとして生活を支援する、すなわち住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットの開発が進められている。このような実用ロボットは、産業用ロボットとは異なり、人間の生活環境の様々な局面において、個々に個性の相違した人間、又は様々な環境への適応方法を自ら学習する能力を備えている。例えば、犬、猫のように４足歩行の動物の身体メカニズムやその動作を模した「ペット型」ロボット、或いは、２足直立歩行を行う動物の身体メカニズムや動作をモデルにしてデザインされた「人間型」又は「人間形」ロボット（Humanoid Robot）等の脚式移動ロボットは、既に実用化されつつある。
【０００４】
これらの脚式移動ロボットは、産業用ロボットと比較してエンターテインメント性を重視した様々な動作を行うことができるため、エンターテインメントロボットと呼称される場合もある。動物や人間の容姿にできるだけ近い外観形状や動作を行う脚式移動ロボットは、「目」に相当する小型カメラ等を備えているものもある。この場合、脚式移動ロボットは、取得した画像に対して画像処理を施すことによって、画像情報として入力した周囲の環境を認識することができる。
【０００５】
【発明が解決しようとする課題】
ところが、従来のロボット装置は、搭載されたカメラの視野が限られているため、画像認識に有効な視野範囲が限定されるという欠点がある。また、画像処理のために使用できるメモリ及びＣＰＵのリソースが限定されているため画像処理速度、画像容量等に限界があった。
【０００６】
搭載されたカメラの視野を改善する方法としては、魚眼レンズを用いて広視野画像を得る方法、全方位カメラを用いて全方位の画像を取得する方法、カメラを水平方向に回転させてパノラマ画像を平面画像として得る方法、高解像度カメラとともに広角カメラを併用する方法等が考案されている。
【０００７】
しかし、魚眼レンズや全方位カメラを用いる場合、認識のための画像解析の前処理として、画像の歪みを補正する処理を施す必要があり、この補正処理と画像解析処理には時間がかかる。これらのロボット装置には、リアルタイム性が要求されるため、この方法は、ロボット装置に所定の動作を行わせるには、不適合である。また、これらの処理の結果として得られる画像の解像度は、相対的に低くなるため認証の程度が低下する。
【０００８】
また、パノラマ画像を生成する方法は、カメラを回転させて画像を取得する動作に時間がかかるため、画像を認識するまでに要する時間も増大してしまう。また、高解像度カメラと広角カメラとを併用する方法は、ロボット装置のようにカメラを搭載するスペースが非常に限られている場合、両カメラを搭載するスペースが確保できないという問題点がある。
【０００９】
取得した画像を全て記憶しておき、全ての画像に対して認識処理を施す方法も考えられる。この方法によれば全画像データの内容を検索することができるが、膨大な画像データの中から情報を抽出することは、リソースの限られたロボット装置には不適合である。
【００１０】
さらに、脚式移動ロボットは、周囲の画像データが収集できたとしても、歩行時に取得される画像が上下左右にぶれるため自らが移動している際は、移動する対象物の認識が困難である。つまり、自身の動きによる画像のぶれか、対象物の移動によるぶれかを検出できないという問題点があった。
【００１１】
そこで本発明は、このような従来の実情に鑑みて提案されたものであり、カメラの視野角に制限されない広範囲の画像を合成し周囲の環境を空間的に認識して記憶するとともに、周囲の環境を時系列に沿って記憶するロボット装置、並びに、カメラの視野角に制限されない広範囲の画像を合成し、合成した画像データを時系列に沿って記憶する画像記憶装置及び画像記憶方法を提供することを目的とする。
【００１２】
【課題を解決するための手段】
上述した目的を達成するために、本発明にかかるロボット装置は、移動手段を備え、内部状態に応じて自律動作するロボット装置において、上記ロボット装置正面に対して独立した方向に可動とされ所定の画角で被写体を撮像する撮像手段と、上記撮像手段によって能動的に取得された画像、又は上記撮像手段を介して受動的に取得された画像を逐次付加して上記撮像手段の画角よりも広い視野の広視野画像を生成する広視野画像生成手段と、上記広視野画像を一時的に記憶する一時記憶手段と、上記一時記憶手段に記憶された広視野画像を記憶手段に記憶制御する記憶制御手段とを備え、上記記憶制御手段は、上記一時記憶手段に記憶された広視野画像と、上記記憶手段に記憶された最新の広視野画像である基準広視野画像とを比較して得られる変化量が予め決められた所定の閾値よりも大きくなったとき、上記一時記憶手段に記憶された広視野画像を上記記憶手段に記憶するとともに、上記記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した過去の広視野画像ほど少ない情報量の画像データに圧縮して書き換える。
【００１３】
このようなロボット装置は、撮像手段を介して能動的又は受動的に取得された画像を逐次付加して撮像手段の画角よりも広い視野の広視野画像を生成し、取得された画像の変化量に応じて該広視野画像に関する付加情報とともに広視野画像を記憶手段に時系列で記憶し、記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した情報量の画像データに圧縮して書き換える。
【００１４】
また、本発明にかかる画像記憶装置は、所定の画角で被写体を撮像する撮像手段と、上記撮像手段によって随時取得された画像を逐次付加して上記撮像手段の画角よりも広い視野の広視野画像を生成する広視野画像生成手段と、上記広視野画像を一時的に記憶する一時記憶手段と、上記一時記憶手段に記憶された広視野画像を記憶手段に記憶制御する記憶制御手段とを備え、上記記憶制御手段は、上記一時記憶手段に記憶された広視野画像と、上記記憶手段に記憶された最新の広視野画像である基準広視野画像とを比較して得られる変化量が予め決められた所定の閾値よりも大きくなったとき、上記一時記憶手段に記憶された広視野画像を上記記憶手段に記憶するとともに、上記記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した過去の広視野画像ほど少ない情報量の画像データに圧縮して書き換える。
【００１５】
このような画像記憶装置は、撮像手段を介して取得された画像を逐次付加して撮像手段の画角よりも広い視野の広視野画像を生成し、取得された画像の変化量に応じて該広視野画像に関する付加情報とともに広視野画像を記憶手段に時系列で記憶し、記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した情報量の画像データに圧縮して書き換える。
【００１６】
また、本発明にかかる画像記憶方法は、所定の画角で被写体を撮像する撮像工程と、上記撮像工程において随時取得された画像を逐次付加して上記撮像工程で撮像される画角よりも広い視野の広視野画像を生成する広視野画像生成工程と、上記広視野画像を一時記憶手段に一時的に記憶する一時記憶工程と、上記一時記憶工程で記憶された広視野画像を記憶手段に記憶制御する記憶制御工程とを備え、上記記憶制御工程では、上記一時記憶手段に記憶された広視野画像と、上記記憶手段に記憶された最新の広視野画像である基準広視野画像とを比較して得られる変化量が予め決められた所定の閾値よりも大きくなったとき、上記一時記憶手段に記憶された広視野画像を上記記憶手段に記憶するとともに、上記記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した過去の広視野画像ほど少ない情報量の画像データに圧縮して書き換える。
【００１７】
このような画像記憶方法では、撮像工程において取得された画像を逐次付加して撮像手段の画角よりも広い視野の広視野画像を生成し、取得された画像の変化量に応じて該広視野画像に関する付加情報とともに広視野画像を時系列で記憶手段に記憶し、記憶された広視野画像を記憶開始からの経過時間に相関した情報量の画像データに圧縮して書き換える。
【００１８】
本発明にかかる制御プログラムは、コンピュータに、撮像手段において所定の画角で被写体を撮像する撮像処理と、上記撮像処理によって随時取得される画像を逐次付加して上記撮像手段で撮像される画角よりも広い視野の広視野画像を生成する広視野画像生成処理と、上記広視野画像を一時記憶手段に一時的に記憶する一時記憶処理と、上記一時記憶手段に記憶された広視野画像を記憶手段に記憶制御する際に、上記一時記憶手段に記憶された広視野画像と、上記記憶手段に記憶された最新の広視野画像である基準広視野画像とを比較して得られる変化量が予め決められた所定の閾値よりも大きくなったとき、上記一時記憶手段に記憶された広視野画像を上記記憶手段に記憶するとともに、上記記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した過去の広視野画像ほど少ない情報量の画像データに圧縮して書き換える記憶制御処理とを実行させるためのプログラムである。
【００１９】
このような制御プログラムは、撮像処理によって随時取得される画像を逐次付加して撮像手段で撮像される画角よりも広い視野の広視野画像を生成し、取得された画像の変化量に応じて、記憶処理で記憶した広視野画像を該広視野画像に関する付加情報とともに基準広視野画像として時系列で記憶手段に記憶し、記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した情報量の画像データに圧縮して書き換える処理を備えていない電子機器に、この一連の画像記憶処理を実行させる。また、上述の制御プログラムを記録媒体に記録して提供する。
【００２０】
【発明の実施の形態】
本発明の一構成例として示すロボット装置は、内部状態に応じて自律動作するロボット装置である。このロボット装置は、少なくとも上肢と体幹部と下肢とを備え、上肢及び下肢、又は下肢のみを移動手段とする脚式移動ロボットである。脚式移動ロボットには、４足歩行の動物の身体メカニズムやその動きを模倣したペット型ロボットや、下肢のみを移動手段として使用する２足歩行の動物の身体メカニズムやその動きを模倣したロボット装置があるが、本実施の形態として示すロボット装置は、４足歩行タイプの脚式移動ロボットである。
【００２１】
このロボット装置は、住環境その他の日常生活上の様々な場面における人的活動を支援する実用ロボットであり、内部状態（怒り、悲しみ、喜び、楽しみ等）に応じて行動できるほか、４足歩行の動物が行う基本的な動作を表出できるエンターテインメントロボットである。
【００２２】
このロボット装置は、特に、「犬」を模した形体であり、頭部、胴体部、上肢部、下肢部、尻尾部等を有している。各部の連結部分及び関節に相当する部位には、運動の自由度に応じた数のアクチュエータ及びポテンショメータが備えられており、制御部の制御によって目標とする動作を表出できる。
【００２３】
さらに、ロボット装置は、周囲の状況を画像データとして取得するための撮像部や、外部から受ける作用を検出するための各種センサ等を備えている。撮像部としては、小型のＣＣＤ（Charge-Coupled Device）カメラを使用する。また、センサには、角速度を検出する角速度センサ、ＣＣＤカメラによって撮像した被写体までの距離を計測する距離センサ、外部からの接触を検出するタッチセンサ等があり、これらは、ロボット装置外部又は内部の適切な箇所に設置されている。
【００２４】
本発明の一構成例として示すロボット装置は、ＣＣＤカメラによって取得された限られた視野角の画像から、ＣＣＤカメラの画角よりも広い視野の画像を生成し、この広い視野の画像を使用することによって、周囲の状況を、限られた領域としてではなく、広い空間として認識できる。また、この広い視野の画像に時刻情報、位置情報、姿勢情報等の付加情報を付加して順次記憶することによって、空間の情報に時間情報を加味して認識することができる。ここで、時刻情報とは、例えば、広い視野の画像を生成したときの時刻であり、位置情報とは、画像を取得した位置を絶対位置、又は、ある基準地点からの相対位置で表した情報であり、姿勢情報とは、画像を取得したときのロボット装置の姿勢を示す情報である。
【００２５】
このロボット装置が周囲の状況を画像として取得し、限られた視野の画像から広い視野の画像（以下、広視野画像と記す。）を生成し、さらに、生成した広視野画像とこの広視野画像に関する付加情報とを時間経過とともに記憶する処理について、図１を用いて説明する。
【００２６】
ステップＳ１において、ＣＣＤカメラから画像を取得する。このとき、画像の取得には、画像認識を目的として撮影する能動的撮影と、画像認識を目的とする撮影ではないとき、すなわち、待機中或いは他の動作中にＣＣＤカメラから常に「流れ込む」画像を取得する受動的撮影とがある。
【００２７】
続いてステップＳ２では、ロボット装置が移動しているか否か、動作しているか否かが検出される。ロボット装置の移動は、各アクチュエータの動作やポテンショメータから検出できる。
【００２８】
ロボット装置が移動している場合、ステップＳ３において、これまでに生成された広視野画像を変更する。すなわち、ＣＣＤカメラの角度情報等の方向データに基づいて、変更された方向とは反対の方向に変更分に相当するだけ広視野画像を移動することによって、撮像方向と広視野画像の正面方向とを一致させる。ステップＳ２において、ロボット装置が移動していない場合は、ステップＳ４へと移る。
【００２９】
ステップＳ４において、ＣＣＤカメラの方向データより、取得した画像と広視野画像との対応関係を算出する。つまり、取得した画像がこのときまでに生成された広視野画像のどの部分に対応するかを算出する。
【００３０】
続いて、ロボット装置は、ステップＳ５において、取得した画像が未記憶の視野領域を含むか否かを判別する。未記憶の視野領域を含む場合、ステップＳ７へ移る。未記憶の視野領域を含まない場合、ステップＳ６において、取得した画像の変化量が閾値より大きいか否かを判別する。ここで変化量とは、例えば、取得した画像の画素分布と、これまでに生成された広視野画像内における、この画像に対応する領域の画素分布との差異等から判別される変化量である。
【００３１】
変化量が閾値より小さい場合、ステップＳ１に戻って新たに取得した画像に対して同様の処理を繰り返す。また、変化量が閾値より大きい場合、ステップＳ７において、取得画像を広視野画像に合成する。このとき、これまでに生成された広視野画像と重複する領域は、上書きし、未記憶領域は、追加記憶することで広視野画像の領域を拡張する。
【００３２】
このように、取得画像の変化量と予め決定された所定の閾値とを比較することによって、変化量の少ない画像を重複して記憶することによる処理時間や記憶容量等の損失を防ぐことができる。
【００３３】
続いて、ステップＳ８において、拡張された後の広視野画像を基準広視野画像として記憶部に記憶されている画像と比較する。基準広視野画像とは、所定時間前の広視野画像を示している。記憶部には、生成された広視野画像が付加情報とともに時系列に沿って順番に記憶されている。
【００３４】
ロボット装置は、ステップＳ９において、拡張された広視野画像の変化量が閾値以上であるか否か判別する。ステップＳ６で使用した閾値が取得した狭視野の画像における変化量の閾値であるのに対して、ここでの閾値は、例えば、生成された広視野画像全体に亘る変化量の閾値を示している。
【００３５】
拡張された広視野画像の変化量が閾値より小さい場合、ステップＳ１に戻って、新たに取得された画像に対して同様の処理を繰り返す。すなわち、広視野画像をさらに拡張するための画像処理を行う。一方、変化量が閾値より大きい場合、ステップＳ１０へ移って、拡張された広視野画像を新規の基準広視野画像として更新するとともに、これまで基準広視野画像として使用していた画像を含めた全ての広視野画像を記憶開始からの経過時間に応じて圧縮し記憶部に保存し直す。
【００３６】
上述の画像処理及び記憶処理によって、ロボット装置は、搭載されたＣＣＤカメラの視野角に制限されない広い範囲の画像を画像認識のための画像として利用できる。
【００３７】
また、従来のロボット装置では、認識させる物体に対するアテンション（捕捉指示）を予め与えて積極的に記憶させる必要があったが、本実施の形態として示すロボット装置は、能動的撮影又は受動的撮影によって取得した画像から広視野画像を生成し、生成した広視野画像にロボット装置の位置情報、姿勢情報、時間情報等の付加情報を添付して併せて記憶することによって、記憶内容を検索する際には、いつ、何処で、何を見たか等を、人間が記憶を「思い出す」かのように検索することができる。特に、過去に受動的に視野に入った物体やアテンション（捕捉指示）を与えていない物体も記憶していることになるため、予め指定された物体でなくとも検索できる。
【００３８】
以下、本発明の一構成例として示すロボット装置について、図面を参照して説明する。
【００３９】
本実施の形態では、ロボット装置１は、図２に示すように、「犬」を模した形状のいわゆるペット型ロボットである。ロボット装置１は、胴体部ユニット２の前後左右に脚部ユニット３Ａ、３Ｂ、３Ｃ、３Ｄが連結され、胴体部ユニット２の前端部に頭部ユニット４が連結され、後端部に尻尾部ユニット５が連結されて構成されている。
【００４０】
胴体部ユニット２には、図３に示すように、ＣＰＵ（Central Processing Unit）１０、ＤＲＡＭ（Dynamic Random Access Memory）１１、フラッシュＲＯＭ（Read Only Memory）１２、ＰＣ（Personal Computer）カードインターフェイス回路１３及び信号処理回路１４が内部バス１５を介して相互に接続されることにより形成されたコントロール部１６と、このロボット装置１の動力源としてのバッテリ１７とが収納されている。また、胴体部ユニット２には、ロボット装置１の向きや動きの加速度を検出するための角速度センサ１８及び加速度センサ１９が収納されている。
【００４１】
頭部ユニット４には、外部の状況を撮像するためのＣＣＤ（Charge Coupled Device）カメラ２０と、使用者からの「撫でる」や「叩く」といった物理的な働きかけにより受けた圧力を検出するためのタッチセンサ２１と、前方に位置する物体までの距離を測定するための距離センサ２２と、外部音を集音するためのマイク２３と、鳴き声等の音声を出力するためのスピーカ２４と、ロボット装置１の「目」に相当するＬＥＤ（Light Emitting Diode）（図示せず）等が所定位置にそれぞれ配置されている。ＣＣＤカメラ２０は、頭部ユニット４の向く方向にある被写体を所定の画角で撮像することができる。
【００４２】
さらに、胴体部ユニット２におけるコントロール部１６には、ＣＣＤカメラ２０によって取得された画像を逐次付加することによってＣＣＤカメラ２０の画角よりも広い視野の画像（以下、広視野画像と記す。）を生成する広視野画像生成部３０と、広視野画像とこの広視野画像に関する付加情報とを記憶開始からの経過時間に相関した情報量の画像データに圧縮して記憶し直す記憶制御部３１とを備えている。
【００４３】
広視野画像生成部３０は、例えば、周囲の画像情報を取得するために能動的に取得された画像、また、ＣＣＤカメラ２０から受動的に取得される画像を逐次付加してＣＣＤカメラの画角よりも広い視野の広視野画像を生成する。
【００４４】
また、記憶制御部３１は、ＣＣＤカメラ２０で取得された画像の画素値、特徴点等の変化量に応じて、広視野画像とこの広視野画像に関する付加情報とを新たな基準広視野画像としてメモリカード２８に記憶し、それまでメモリカード２８に記憶されてた基準広視野画像を記憶開始からの経過時間に相関した情報量の画像データに圧縮して記憶し直す。この記憶制御に関する詳細は、後述する。
【００４５】
各脚部ユニット３Ａ〜３Ｄの関節部分、各脚部ユニット３Ａ〜３Ｄと胴体部ユニット２との連結部分、頭部ユニット４と胴体部ユニット２との連結部分、尻尾部ユニット５と尻尾５Ａとの連結部分には、自由度数分のアクチュエータ２５１〜２５ｎ及びポテンショメータ２６１〜２６ｎがそれぞれ配設されている。アクチュエータ２５１〜２５ｎは、例えば、サーボモータを構成として有している。サーボモータの駆動により、脚部ユニット３Ａ〜３Ｄが制御されて目標の姿勢、或いは動作に遷移する。
【００４６】
これら角速度センサ１８、加速度センサ１９、タッチセンサ２１、距離センサ２２、マイク２３、スピーカ２４及び各ポテンショメータ２６１〜２６ｎなどの各種センサ並びにＬＥＤ及び各アクチュエータ２５１〜２５ｎは、それぞれ対応するハブ２７１〜２７ｎを介してコントロール部１６の信号処理回路１４と接続され、ＣＣＤカメラ２０及びバッテリ１７は、それぞれ信号処理回路１４と直接接続されている。
【００４７】
信号処理回路１４は、上述の各センサから供給されるセンサデータや画像データ及び音声データを順次取り込み、これらをそれぞれ内部バス１５を介してＤＲＡＭ１１内の所定位置に順次格納する。また信号処理回路１４は、これとともにバッテリ１７から供給されるバッテリ残量を表すバッテリ残量データを順次取り込み、これをＤＲＡＭ１１内の所定位置に格納する。
【００４８】
このようにしてＤＲＡＭ１１に格納された各センサデータ、画像データ、音声データ及びバッテリ残量データは、ＣＰＵ１０が当該ロボット装置１の動作制御を行う際に使用される。
【００４９】
ＣＰＵ１０は、ロボット装置１の電源が投入された初期時において、フラッシュＲＯＭ１２に格納された制御プログラムを読み出して、ＤＲＡＭ１１に格納する。又は、ＣＰＵ１０は、図２に図示しない胴体部ユニット２のＰＣカードスロットに装着された半導体メモリ装置、例えばいわゆるメモリカード２８に格納された制御プログラムをＰＣカードインターフェイス回路１３を介して読み出してＤＲＡＭ１１に格納する。
【００５０】
ＣＰＵ１０は、上述のように信号処理回路１４よりＤＲＡＭ１１に順次格納される各センサデータ、画像データ、音声データ、及びバッテリ残量データに基づいて自己及び周囲の状況や、使用者からの指示及び働きかけの有無を判断している。
【００５１】
さらに、ＣＰＵ１０は、この判断結果とＤＲＡＭ１１に格納した制御プログラムとに基づく行動を決定する。ＣＰＵ１０は、当該決定結果に基づいてアクチュエータ２５１〜２５ｎの中から必要とするアクチュエータを駆動することによって、例えば頭部ユニット４を上下左右に振らせたり、尻尾部ユニット５の尻尾を動かしたり、各脚部ユニット３Ａ乃至３Ｄを駆動して歩行させたりする。また、ＣＰＵ１０は、必要に応じて音声データを生成し、信号処理回路１４を介してスピーカ２４に供給する。また、ＣＰＵ１０は、上述のＬＥＤの点灯・消灯を指示する信号を生成し、ＬＥＤを点灯したり消灯したりする。
【００５２】
このように、ロボット装置１は、自己及び周囲の状況や、使用者からの指示及び働きかけに応じて自律的に行動する。
【００５３】
続いて、ロボット装置１が、ＣＣＤカメラから得られた画像からＣＣＤカメラの視野角よりも広い範囲の画像を生成する場合を、図４を用いて説明する。
【００５４】
図４（ａ）に、ＣＣＤカメラ２０の動きに合わせて限られた画角の画像が次々と取得される様子を示し、図４（ｂ）に合成された広視野画像を示す。図４（ａ）及び図４（ｂ）における画枠１００は、ロボット装置１において生成される広視野画像の限界画枠を示している。また、図４（ａ）に示す画像の１つ１つの画枠の大きさは、ＣＣＤカメラ２０の視野に相当する。例えば、ＣＣＤカメラ２０が図中矢印に沿って動くとき、ＣＣＤカメラ２０から画像１０１ａ、１０１ｂ、１０１ｃ、・・・、１０１ｆが撮像される。最新のロボット装置１の視野が画像１０１ｇである。
【００５５】
ＣＣＤカメラ２０によって撮影される各画像は、ビデオ等の撮像機器で得られる画像のように、例えば、３０分の１秒毎に撮影される各フレームを示すため、実際は、各画像の間隔は、狭く連続的である。ただし、各画像は、所定時間毎に撮影される静止画像であってもよい。
【００５６】
ロボット装置１における広視野画像生成部３０は、図１に示した処理に基づいて、ＣＣＤカメラ２０から取得した画像を画像間で適合処理（マッチング）し、マッチングした位置で画像を合成して繋ぎ合わせる。この処理を繰り返すことにより、ＣＣＤカメラ２０の撮像方向に追従して次々と画像が付加されて拡張されていく。マッチングの際には、ロボット装置のアクチュエータの角度情報を用いることによって、マッチングの範囲を限定することができる。このようにして広視野画像１０２が生成される。
【００５７】
広視野画像生成部３０が広視野画像を生成する際、平面画像を重ね合わせる手法では、ロボット装置１の正面の一点から離れるにしたがって画像の歪みが問題となる。そこで、広視野画像制止絵部３０は、球面上に投影した球面画像として広視野画像を生成する。図５に、ＣＣＤカメラ２０からの画像を球面投影して広視野画像を生成する様子を示す。ＣＣＤカメラ２０から得られた画像１０３の仮想球面１１０上への投影画像を画像１０３ａとし、画像１０４の球面１１０上への投影画像を画像１０４ａとする。仮想球面１１０は、ＣＣＤカメラ２０を中心Ｏとしている。これにより、歪みの影響のない広視野画像１０５が得られる。
【００５８】
続いて、ロボット装置１が移動せず、その場でＣＣＤカメラ２０の向きだけを変えたときの広視野画像の生成を図６及び図７に示す。図６における矢印は、ＣＣＤカメラ２０の撮像方向を示している。図７（ａ）には、カメラ方向が方向Ｄ１のときの取得画像及び広視野画像を示し、図７（ｂ）には、カメラ方向が方向Ｄ２のときの取得画像及び広視野画像を示す。
【００５９】
図６に示すように、ロボット装置１が方向Ｄ１から方向Ｄ２へと向きを変えた場合、ロボット装置１の正面方向が右方に変わる。方向の変更に伴って、ロボット装置１の正面の画像は、図７（ａ）に示すＣＣＤカメラ２０の撮像方向Ｄ１の画像１０６からＣＣＤカメラ２０の撮像方向Ｄ２の画像１０７へと変化する。このとき広視野画像生成部３０は、図７（ｂ）に示すように、ロボット装置１の動きから検出される移動方向と移動量に基づいて、生成された広視野画像１０８を左方に移動することによって、ロボット装置１の正面方向と広視野画像１０８の正面方向とを一致させる。この状態で、広視野画像生成部３０は、引き続き、図１に説明した処理に基づいて広視野画像を生成することによって、姿勢を変える前に得られていた画像情報を保持したまま、広視野画像の拡張処理を続けることができる。
【００６０】
続いて、ロボット装置１が移動した場合の広視野画像の生成を図８及び図９に示す。図８に示すように、ロボット装置１がポジションＰ１からポジションＰ２へと前進した場合を考える。図９（ａ）にポジションＰ１における取得画像及び広視野画像を示し、図９（ｂ）にポジションＰ２における取得画像及び広視野画像を示す。
【００６１】
定位置にある被写体を撮像した場合、前進前に撮影された画像１０９と前進後に撮影される画像１１０とでは、後者の方が被写体が拡大されて表示される。したがって、広視野画像生成部３０は、前進後に得られた画像１１０と、記憶している広視野画像１１１との間で画像の適合処理（マッチング）を行って、画像の拡大率を算出する。得られた拡大率に基づいて広視野画像１１１の全体を拡大し、拡大広視野画像１１２を得ることによって、移動前に得られていた画像情報を有効に利用して、移動後の位置で広視野画像の拡張処理を続けることができる。
【００６２】
また、ロボット装置１がポジションＰ３からポジションＰ４へと横移動した場合について図１０及び図１１に示す。図１１（ａ）にポジションＰ３における取得画像及び広視野画像を示し、図１１（ｂ）にポジションＰ４における取得画像及び広視野画像を示す。
【００６３】
右方向に移動した場合、広視野画像生成部３０は、ロボット装置１の前方方向の広視野画像１１５と移動前に取得した画像１１３と移動後に取得した画像１１４との間で画像をマッチングすることにより、得られた移動分だけ広視野画像１１５を左方に移動させることによって、ロボット装置１の正面方向と広視野画像の正面とを一致させることができる。
【００６４】
なお、以上説明した広視野画像の生成において、ステレオ計測等の手法によって、広視野画像中の対象物までの距離情報を得られる場合には、その距離情報を用いることで拡大率及び移動距離を決定することもできる。
【００６５】
次に、取得した画像を用いて広視野画像を拡張する場合について、図１２を用いて具体的に説明する。これは、図１に示した一連の処理工程のうち、ステップＳ５乃至ステップＳ７に相当する。
【００６６】
広視野画像生成部３０は、図１２（ａ）に示すように、ＣＣＤカメラ２０によって取得される画像１１６と広視野画像１１７とを常に比較している。画像１１６が広視野画像１１７の情報を含まない場合、若しくは一部含む場合には、広視野画像生成部３０は、図１に示した処理によって広視野画像を拡張する。一方、画像１１６が既に生成されている広視野画像１１７の範囲内の画像である場合、広視野画像生成部３０は、広視野画像１１７の対応箇所の画像領域１１８と画像１１６とを比較する。その変化量が予め決められた所定の閾値よりも大きい場合は、広視野画像１１７の対応する領域に画像１１６を上書きする。この変化量は、取得画像と広視野画像のこの画像に対応する領域の画素値の変化量であるほかに、画像から特徴量を抽出して、その特徴点の画素値のみの変化量であってもよい。このように変化量が所定量を超える場合にのみ、画像処理することにより合成のための無駄な演算処理を省くことができる。
【００６７】
以上説明したように、限られた画像から広視野画像を生成して広視野画像を用いて画像認識する手法によれば、ロボット装置１が移動しているときに移動物体を認識する際の認識精度が向上するという利点がある。
【００６８】
図１３には、ロボット装置１が歩行動作をしているとき、ＣＣＤカメラ２０において取得される画像を並べて示してある。ＣＣＤカメラ２０の限られた画角１１９に移動する対象物体１２０が撮像されている様子を模式的に示している。狭視野の画像では、図１３に示すように、上下左右方向に一様でないぶれ成分を含むため、対象物体１２０の動きか歩行動作による視野ぶれかを区別することは困難であった。しかし、図１４に示すように、本実施の形態のロボット装置１では、広視野画像生成部３０において、これらの取得画像と広視野画像１２１とをマッチングすることによって、ロボット装置１の動きによる画像のぶれ成分と対象物体１２０の移動成分とを分離することができる。図１４では、対象物体１２０が図中に示す矢印方向に移動していることが認識できる。したがって、広視野画像を生成することによって、移動物体の動きの認識精度が向上する。
【００６９】
さらに、ジャイロセンサ等のＣＣＤカメラの向きを検出できるセンサを用いることにより、広視野画像上の視野領域を決定することができるため、マッチング処理では認識することが困難な大きな対象物の動きも認識することができる。
【００７０】
次に、生成された広視野画像の保持方法について説明する。これは、図１に示した一連の処理工程におけるステップＳ９乃至ステップＳ１０に相当する。ＣＣＤカメラ２０において取得された画像から生成された広視野画像は、ロボット装置１の移動や環境の変化、つまり画像の変化量に伴って変更される。記憶制御部３１は、生成された広視野画像と基準となる広視野画像とを比較し、変化量が予め決められた所定の閾値よりも大となったとき、その最新の広視野画像が基準広視野画像として保存する。この操作を繰り返すことによって、閾値以上の変化量を持つ広視野画像が画像列として逐次記憶される。変化量の小さい広視野画像は、記憶されないため、記憶容量が節約できる。したがって、ロボット装置１上のリソースを有効に利用することができる。
【００７１】
記憶制御部３１は、広視野画像をロボット装置１内に設けられた図示しない不揮発性メモリに記憶する。ロボット装置１では、特に、メモリカード２８のような着脱可能な記憶媒体に記憶することもできる。
【００７２】
図１５には、広視野画像１００１、広視野画像１００２、・・・、広視野画像１００ｋ−１、広視野画像１００ｋ、・・・、広視野画像１００ｍ−１、広視野画像１００ｍ、・・・、広視野画像１００ｎ−２、広視野画像１００ｎ−１、広視野画像１００ｎが時系列に沿ってメモリカード２８に記憶されている様子を概念的に示してある。
【００７３】
記憶制御部３１は、広視野画像を広視野画像に関する付加情報１３０１、１３０２、１３０ｋ−１、１３０ｋとともに記憶し、記憶開始からの経過時間Ｔに相関した情報量の画像データに圧縮して記憶する。つまり、過去の広視野画像ほど情報量を抑えて記憶する。ここでの画像圧縮には、いわゆるＪＰＥＧ方式、ＭＰＥＧ方式等、既知の圧縮方法が適用できる。また、経過時間によっては、広視野画像１００ｍ−１、１００ｍ、１００ｎ−２乃至１００ｎのように、例えば、特徴点の画素値のみを画像データとは異なる別の抽象的なデータに変換して、さらに記憶容量を小さくして記憶する。広視野画像は、所定の期間記憶された後、消去される。
【００７４】
このように、ロボット装置１では、過去の広視野画像ほど情報量を少なくすることによって、限られたメモリ及びＣＰＵのリソースの中で効率的に画像認識処理及び画像記憶処理を実行できる。また、過去の記憶を忘れていく「人間の記憶モデル」に、より近い記憶モデルを実現することができる。
【００７５】
なお、広視野画像を記憶してから消去するまでの時間及び記憶する広視野画像の枚数は、ロボット装置のリソースに応じて変更できる。
【００７６】
ところで、本実施の形態として示すロボット装置１は、内部状態に応じて自律的に行動できるロボット装置である。ロボット装置１における制御プログラムのソフトウェア構成は、図１６に示すようになる。この制御プログラムは、上述したように、予めフラッシュＲＯＭ１２に格納されており、ロボット装置１の電源投入初期時において読み出される。
【００７７】
図１６において、デバイス・ドライバ・レイヤ３０は、制御プログラムの最下位層に位置し、複数のデバイス・ドライバからなるデバイス・ドライバ・セット３１から構成されている。この場合、各デバイス・ドライバは、ＣＣＤカメラ２０（図３）やタイマ等の通常のコンピュータで用いられるハードウェアに直接アクセスすることを許されたオブジェクトであり、対応するハードウェアからの割り込みを受けて処理を行う。
【００７８】
また、ロボティック・サーバ・オブジェクト３２は、デバイス・ドライバ・レイヤ３０の最下位層に位置し、例えば上述の各種センサやアクチュエータ２５１〜２５ｎ等のハードウェアにアクセスするためのインターフェイスを提供するソフトウェア群でなるバーチャル・ロボット３３と、電源の切換えなどを管理するソフトウェア群でなるパワーマネージャ３４と、他の種々のデバイス・ドライバを管理するソフトウェア群でなるデバイス・ドライバ・マネージャ３５と、ロボット装置１の機構を管理するソフトウェア群でなるデザインド・ロボット３６とから構成されている。
【００７９】
マネージャ・オブジェクト３７は、オブジェクト・マネージャ３８及びサービス・マネージャ３９から構成されている。オブジェクト・マネージャ３８は、ロボティック・サーバ・オブジェクト３２、ミドル・ウェア・レイヤ４０、及びアプリケーション・レイヤ４１に含まれる各ソフトウェア群の起動や終了を管理するソフトウェア群であり、サービス・マネージャ３９は、メモリカード２８（図３）に格納されたコネクションファイルに記述されている各オブジェクト間の接続情報に基づいて各オブジェクトの接続を管理するソフトウェア群である。
【００８０】
ミドル・ウェア・レイヤ４０は、ロボティック・サーバ・オブジェクト３２の上位層に位置し、画像処理や音声処理などのこのロボット装置１の基本的な機能を提供するソフトウェア群から構成されている。また、アプリケーション・レイヤ４１は、ミドル・ウェア・レイヤ４０の上位層に位置し、当該ミドル・ウェア・レイヤ４０を構成する各ソフトウェア群によって処理された処理結果に基づいてロボット装置１の行動を決定するためのソフトウェア群から構成されている。
【００８１】
なお、ミドル・ウェア・レイヤ４０及びアプリケーション・レイヤ４１の具体なソフトウェア構成をそれぞれ図１７に示す。
【００８２】
ミドル・ウェア・レイヤ４０は、図１７に示すように、騒音検出用、温度検出用、明るさ検出用、音階認識用、距離検出用、姿勢検出用、タッチセンサ用、動き検出用及び色認識用の各信号処理モジュール５０〜５８並びに入力セマンティクスコンバータモジュール５９などを有する認識系６０と、出力セマンティクスコンバータモジュール６８並びに姿勢管理用、トラッキング用、モーション再生用、歩行用、転倒復帰用、ＬＥＤ点灯用及び音再生用の各信号処理モジュール６１〜６７などを有する出力系６９とから構成されている。
【００８３】
認識系６０の各信号処理モジュール５０〜５８は、ロボティック・サーバ・オブジェクト３２のバーチャル・ロボット３３によりＤＲＡＭ１１（図３）から読み出される各センサデータや画像データ及び音声データのうちの対応するデータを取り込み、当該データに基づいて所定の処理を施して、処理結果を入力セマンティクスコンバータモジュール５９に与える。ここで、例えば、バーチャル・ロボット３３は、所定の通信規約によって、信号の授受或いは変換をする部分として構成されている。
【００８４】
入力セマンティクスコンバータモジュール５９は、これら各信号処理モジュール５０〜５８から与えられる処理結果に基づいて、「うるさい」、「暑い」、「明るい」、「ボールを検出した」、「転倒を検出した」、「撫でられた」、「叩かれた」、「ドミソの音階が聞こえた」、「動く物体を検出した」又は「障害物を検出した」などの自己及び周囲の状況や、使用者からの指令及び働きかけを認識し、認識結果をアプリケーション・レイヤ４１に出力する。
【００８５】
アプリケーション・レイヤ４１は、図１８に示すように、行動モデルライブラリ７０、行動切換えモジュール７１、学習モジュール７２、感情モデル７３及び本能モデル７４の５つのモジュールから構成されている。
【００８６】
行動モデルライブラリ７０には、図１９に示すように、「バッテリ残量が少なくなった場合」、「転倒復帰する」、「障害物を回避する場合」、「感情を表現する場合」、「ボールを検出した場合」などの予め選択されたいくつかの条件項目にそれぞれ対応させて、それぞれ独立した行動モデルが設けられている。
【００８７】
そして、これら行動モデルは、それぞれ入力セマンティクスコンバータモジュール５９から認識結果が与えられたときや、最後の認識結果が与えられてから一定時間が経過したときなどに、必要に応じて後述のように感情モデル７３に保持されている対応する情動のパラメータ値や、本能モデル７４に保持されている対応する欲求のパラメータ値を参照しながら続く行動をそれぞれ決定し、決定結果を行動切換えモジュール７１に出力する。
【００８８】
なお、この実施の形態の場合、各行動モデルは、次の行動を決定する手法として、図２０に示すような１つのノード（状態）ＮＯＤＥ０〜ＮＯＤＥｎから他のどのノードＮＯＤＥ０〜ＮＯＤＥｎに遷移するかを各ノードＮＯＤＥ０〜ＮＯＤＥｎに間を接続するアークＡＲＣ１〜ＡＲＣｎ１に対してそれぞれ設定された遷移確率Ｐ１〜Ｐｎに基づいて確率的に決定する有限確率オートマトンと呼ばれるアルゴリズムを用いる。
【００８９】
具体的に、各行動モデルは、それぞれ自己の行動モデルを形成するノードＮＯＤＥ０〜ＮＯＤＥｎにそれぞれ対応させて、これらノードＮＯＤＥ０〜ＮＯＤＥｎ毎に図２１に示すような状態遷移表８０を有している。
【００９０】
この状態遷移表８０では、そのノードＮＯＤＥ０〜ＮＯＤＥｎにおいて遷移条件とする入力イベント（認識結果）が「入力イベント名」の行に優先順に列記され、その遷移条件についてのさらなる条件が「データ名」及び「データ範囲」の行における対応する列に記述されている。
【００９１】
したがって、図２１の状態遷移表８０で表されるノードＮＯＤＥ１００では、「ボールを検出（ＢＡＬＬ）」という認識結果が与えられた場合に、当該認識結果とともに与えられるそのボールの「大きさ（ＳＩＺＥ）」が「0から1000」の範囲であることや、「障害物を検出（ＯＢＳＴＡＣＬＥ）」という認識結果が与えられた場合に、当該認識結果とともに与えられるその障害物までの「距離（ＤＩＳＴＡＮＣＥ）」が「0から100」の範囲であることが他のノードに遷移するための条件となっている。
【００９２】
また、このノードＮＯＤＥ１００では、認識結果の入力がない場合においても、行動モデルが周期的に参照する感情モデル７３及び本能モデル７４にそれぞれ保持された各情動及び各欲求のパラメータ値のうち、感情モデル７３に保持された「喜び（Joy）」、「驚き（Surprise）」若しくは「悲しみ（Sadness）」のいずれかのパラメータ値が「50から100」の範囲であるときには他のノードに遷移することができるようになっている。
【００９３】
また、状態遷移表８０では、「他のノードヘの遷移確率」の欄における「遷移先ノード」の列にそのノードＮＯＤＥ０〜ＮＯＤＥｎから遷移できるノード名が列記されているとともに、「入力イベント名」、「データ名」及び「データの範囲」の行に記述された全ての条件が揃ったときに遷移できるほかの各ノードＮＯＤＥ０〜ＮＯＤＥｎへの遷移確率が「他のノードヘの遷移確率」の欄内の対応する箇所にそれぞれ記述され、そのノードＮＯＤＥ０〜ＮＯＤＥｎに遷移する際に出力すべき行動が「他のノードヘの遷移確率」の欄における「出力行動」の行に記述されている。なお、「他のノードヘの遷移確率」の欄における各行の確率の和は１００［％］となっている。
【００９４】
したがって、図２１の状態遷移表８０で表されるノードＮＯＤＥ１００では、例えば「ボールを検出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大きさ）」が「0から1000」の範囲であるという認識結果が与えられた場合には、「30［％］」の確率で「ノードＮＯＤＥ１２０（node 120）」に遷移でき、そのとき「ＡＣＴＩＯＮ１」の行動が出力されることとなる。
【００９５】
各行動モデルは、それぞれこのような状態遷移表８０として記述されたノードＮＯＤＥ０〜 ＮＯＤＥｎが幾つも繋がるようにして構成されており、入力セマンティクスコンバータモジュール５９から認識結果が与えられたときなどに、対応するノードＮＯＤＥ０〜ＮＯＤＥｎの状態遷移表を利用して確率的に次の行動を決定し、決定結果を行動切換えモジュール７１に出力するようになされている。
【００９６】
図１８に示す行動切換えモジュール７１は、行動モデルライブラリ７０の各行動モデルからそれぞれ出力される行動のうち、予め定められた優先順位の高い行動モデルから出力された行動を選択し、当該行動を実行すべき旨のコマンド（以下、これを行動コマンドという。）をミドル・ウェア・レイヤ４０の出力セマンティクスコンバータモジュール６８に送出する。なお、この実施の形態においては、図１９において下側に表記された行動モデルほど優先順位が高く設定されている。
【００９７】
また、行動切換えモジュール７１は、行動完了後に出力セマンティクスコンバータモジュール６８から与えられる行動完了情報に基づいて、その行動が完了したことを学習モジュール７２、感情モデル７３及び本能モデル７４に通知する。
【００９８】
一方、学習モジュール７２は、入力セマンティクスコンバータモジュール５９から与えられる認識結果のうち、「叩かれた」や「撫でられた」など、使用者からの働きかけとして受けた教示の認識結果を入力する。
【００９９】
そして、学習モジュール７２は、この認識結果及び行動切換えモジュール７１からの通知に基づいて、「叩かれた（叱られた）」ときにはその行動の発現確率を低下させ、「撫でられた（誉められた）」ときにはその行動の発現確率を上昇させるように、行動モデルライブラリ７０における対応する行動モデルの対応する遷移確率を変更する。
【０１００】
他方、感情モデル７３は、「喜び（Joy）」、「悲しみ（Sadness）」、「怒り（Anger）」、「驚き（Surprise）」、「嫌悪（Disgust）」及び「恐れ（Fear）」の合計６つの情動について、各情動毎にその情動の強さを表すパラメータを保持している。そして、感情モデル７３は、これら各情動のパラメータ値を、それぞれ入力セマンティクスコンバータモジュール５９から与えられる「叩かれた」及び「撫でられた」などの特定の認識結果と、経過時間及び行動切換えモジュール７１からの通知となどに基づいて周期的に更新する。
【０１０１】
具体的には、感情モデル７３は、入力セマンティクスコンバータモジュール５９から与えられる認識結果と、そのときのロボット装置１の行動と、前回更新してからの経過時間となどに基づいて所定の演算式により算出されるそのときのその情動の変動量を△Ｅ［ｔ］、現在のその情動のパラメータ値をＥ［ｔ］、その情動の感度を表す係数をｋｅとして、（１）式によって次の周期におけるその情動のパラメータ値Ｅ［ｔ＋１］を算出し、これを現在のその情動のパラメータ値Ｅ［ｔ］と置き換えるようにしてその情動のパラメータ値を更新する。また、感情モデル７３は、これと同様にして全ての情動のパラメータ値を更新する。
【０１０２】
【数１】

Figure 0004779226
なお、各認識結果や出力セマンティクスコンバータモジュール６８からの通知が各情動のパラメータ値の変動量△Ｅ［ｔ］にどの程度の影響を与えるかは予め決められており、例えば「叩かれた」といった認識結果は「怒り」の情動のパラメータ値の変動量△Ｅ［ｔ］に大きな影響を与え、「撫でられた」といった認識結果は「喜び」の情動のパラメータ値の変動量△Ｅ［ｔ］に大きな影響を与えるようになっている。
【０１０３】
ここで、出力セマンティクスコンバータモジュール６８からの通知とは、いわゆる行動のフィードバック情報（行動完了情報）であり、行動の出現結果の情報であり、感情モデル７３は、このような情報によっても感情を変化させる。これは、例えば、「吠える」といった行動により怒りの感情レベルが下がるといったようなことである。なお、出力セマンティクスコンバータモジュール６８からの通知は、上述した学習モジュール７２にも入力されており、学習モジュール７２は、その通知に基づいて行動モデルの対応する遷移確率を変更する。
【０１０４】
なお、行動結果のフィードバックは、行動切換えモジュレータ７１の出力（感情が付加された行動）によりなされるものであってもよい。
【０１０５】
一方、本能モデル７４は、「運動欲（exercise）」、「愛情欲（affection）」、「食欲（appetite）」及び「好奇心（curiosity）」の互いに独立した４つの欲求について、これら欲求毎にその欲求の強さを表すパラメータを保持している。そして、本能モデル７４は、これらの欲求のパラメータ値を、それぞれ入力セマンティクスコンバータモジュール５９から与えられる認識結果や、経過時間及び行動切換えモジュール７１からの通知などに基づいて周期的に更新する。
【０１０６】
具体的には、本能モデル７４は、「運動欲」、「愛情欲」及び「好奇心」については、認識結果、経過時間及び出力セマンティクスコンバータモジュール６８からの通知などに基づいて所定の演算式により算出されるそのときのその欲求の変動量をΔＩ［ｋ］、現在のその欲求のパラメータ値をＩ［ｋ］、その欲求の感度を表す係数ｋｉとして、所定周期で（２）式を用いて次の周期におけるその欲求のパラメータ値Ｉ［ｋ＋１］を算出し、この演算結果を現在のその欲求のパラメータ値Ｉ［ｋ］と置き換えるようにしてその欲求のパラメータ値を更新する。また、本能モデル７４は、これと同様にして「食欲」を除く各欲求のパラメータ値を更新する。
【０１０７】
【数２】
Figure 0004779226
なお、認識結果及び出力セマンティクスコンバータモジュール６８からの通知などが各欲求のパラメータ値の変動量△Ｉ［ｋ］にどの程度の影響を与えるかは予め決められており、例えば出力セマンティクスコンバータモジュール６８からの通知は、「疲れ」のパラメータ値の変動量△Ｉ［ｋ］に大きな影響を与えるようになっている。
【０１０８】
なお、本実施の形態においては、各情動及び各欲求（本能）のパラメータ値がそれぞれ0から100までの範囲で変動するように規制されており、また係数ｋｅ、ｋｉの値も各情動及び各欲求毎に個別に設定されている。
【０１０９】
一方、ミドル・ウェア・レイヤ４０の出力セマンティクスコンバータモジュール６８は、図１７に示すように、上述のようにしてアプリケーション・レイヤ４１の行動切換えモジュール７１から与えられる「前進」、「喜ぶ」、「鳴く」又は「トラッキング（ボールを追いかける）」といった抽象的な行動コマンドを出力系６９の対応する信号処理モジュール６１〜６７に与える。
【０１１０】
そしてこれら信号処理モジュール６１〜６７は、行動コマンドが与えられると当該行動コマンドに基づいて、その行動をするために対応するアクチュエータ２５１〜２５ｎ（図３）に与えるべきサーボ指令値や、スピーカ２４（図３）から出力する音の音声データ及び又は「目」のＬＥＤに与える駆動データを生成し、これらのデータをロボティック・サーバ・オブジェクト３２のバーチャル・ロボット３３及び信号処理回路１４（図３）を順次介して対応するアクチュエータ２５１〜２５ｎ又はスピーカ２４又はＬＥＤに順次送出する。
【０１１１】
このようにしてロボット装置１は、制御プログラムに基づいて、自己（内部）及び周囲（外部）の状況や、使用者からの指示及び働きかけに応じた自律的な行動ができる。したがって、広視野画像を生成し、この広視野画像と付加情報とを時間に相関した情報量に圧縮して記憶するという一連の画像記憶処理を実行するための制御プログラムが予め組み込まれていないロボット装置であっても、制御プログラムを読み込ませることによって、図１に示した画像記憶処理を実行させることができる。
【０１１２】
このような制御プログラムは、ロボット装置が読取可能な形式で記録された記録媒体を介して提供される。制御プログラムを記録する記録媒体としては、磁気読取方式の記録媒体（例えば、磁気テープ、フロッピーディスク、磁気カード）、光学読取方式の記録媒体（例えば、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−Ｒ、ＤＶＤ）等が考えられる。記録媒体には、半導体メモリ（いわゆるメモリカード（矩形型、正方形型など形状は問わない。）、ＩＣカード）等の記憶媒体も含まれる。また、制御プログラムは、いわゆるインターネット等を介して提供されてもよい。
【０１１３】
これらの制御プログラムは、専用の読込ドライバ装置、又はパーソナルコンピュータ等を介して再生され、有線又は無線接続によってロボット装置１に伝送されて読み込まれる。また、ロボット装置は、半導体メモリ、又はＩＣカード等の小型化された記憶媒体のドライブ装置を備える場合、これら記憶媒体から制御プログラムを直接読み込むこともできる。ロボット装置１では、メモリカード２８から読み込むことができる。
【０１１４】
なお、本発明は、上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。本実施の形態では、４足歩行の脚式移動ロボットに関して説明したが、ロボット装置は、内部状態に応じて動作するものであれば適用可能であって、移動手段は、４足歩行、さらには脚式移動方式に限定されない。
【０１１５】
【発明の効果】
以上詳細に説明したように、本発明にかかるロボット装置は、移動手段を備え、内部状態に応じて自律動作するロボット装置において、ロボット装置正面に対して独立した方向に可動とされ所定の画角で被写体を撮像する撮像手段と、撮像手段によって能動的に取得された画像、又は撮像手段を介して受動的に取得された画像を逐次付加して撮像手段の画角よりも広い視野の広視野画像を生成する広視野画像生成手段と、広視野画像を一時的に記憶する一時記憶手段と、取得された画像の変化量に応じて、一時記憶手段に記憶された広視野画像を該広視野画像に関する付加情報とともに基準広視野画像として時系列で記憶手段に記憶し、記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した情報量の画像データに圧縮して書き換える記憶制御手段とを備える。
【０１１６】
したがって、本発明にかかるロボット装置は、撮像手段を介して能動的又は受動的に取得された画像を逐次付加して撮像手段の画角よりも広い視野の広視野画像を生成することによって、画像認識に有効な視野範囲が拡大でき、より幅広い環境下において高い画像認識性能を達成できる。これにより、対象物体、特に、移動物体の認識精度が向上する。
【０１１７】
また、本発明にかかるロボット装置は、取得された画像の変化量に応じて該広視野画像に関する付加情報とともに広視野画像を記憶手段に時系列で記憶することにより、時間的に過去に得られた画像情報の中から画像認識結果を抽出することができる。特に、対象物体に対してアテンション（捕捉指示）を指定する必要がなくなる。
【０１１８】
さらに、本発明にかかるロボット装置は、記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した情報量の画像データに圧縮して書き換えることにより、記憶容量が節約できる。したがって、リソースを有効利用でき、リソースに応じてリアルタイム性を重視した画像処理ができるようになる。また、より人間に近い記憶モデルを実現できることから、豊富なユーザインタラクションが可能となり、エンターテインメント性が向上する。
【０１１９】
また、本発明にかかる画像記憶装置は、所定の画角で被写体を撮像する撮像手段と、撮像手段によって随時取得された画像を逐次付加して撮像手段の画角よりも広い視野の広視野画像を生成する広視野画像生成手段と、広視野画像を一時的に記憶する一時記憶手段と、取得された画像の変化量に応じて、一時記憶手段に記憶された広視野画像を該広視野画像に関する付加情報とともに基準広視野画像として時系列で記憶手段に記憶し、記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した情報量の画像データに圧縮して書き換える記憶制御手段とを備える。
【０１２０】
したがって、本発明にかかる画像記憶装置は、撮像手段を介して取得された画像を逐次付加して撮像手段の画角よりも広い視野の広視野画像を生成することによって、画像認識に有効な視野範囲が拡大でき、より幅広い環境下において高い画像認識性能を達成できる。これにより、対象物体、特に、移動物体の認識精度が向上する。
【０１２１】
また、本発明にかかる画像記憶装置は、取得された画像の変化量に応じて該広視野画像に関する付加情報とともに広視野画像を記憶手段に時系列で記憶することにより、時間的に過去に得られた画像情報の中から画像認識結果を抽出することができる。特に、対象物体に対してアテンション（捕捉指示）を指定する必要がなくなる。
【０１２２】
さらに、本発明にかかる画像記憶装置は、記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した情報量の画像データに圧縮して書き換えることにより、記憶容量が節約できる。したがって、リソースを有効利用でき、リソースに応じてリアルタイム性を重視した画像処理ができるようになる。
【０１２３】
また、本発明にかかる画像記憶方法は、所定の画角で被写体を撮像する撮像工程と、撮像工程において随時取得された画像を逐次付加して撮像工程で撮像される画角よりも広い視野の広視野画像を生成する広視野画像生成工程と、広視野画像を一時的に記憶する一時記憶工程と、取得された画像の変化量に応じて、一時記憶工程で記憶された広視野画像を該広視野画像に関する付加情報とともに基準広視野画像として時系列で記憶手段に記憶し、記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した情報量の画像データに圧縮して書き換える記憶制御工程とを備える。
【０１２４】
したがって、本発明にかかる画像記憶方法によれば、撮像工程において取得された画像を逐次付加して撮像工程で撮像される画角よりも広い視野の広視野画像が生成されることによって、画像認識に有効な視野範囲が拡大され、より幅広い環境下において高い画像認識性能が達成される。これにより、対象物体、特に、移動物体の認識精度が向上する。
【０１２５】
また、本発明にかかる画像記憶方法によれば、取得された画像の変化量に応じて該広視野画像に関する付加情報とともに広視野画像が時系列で記憶されることにより、時間的に過去に得られた画像情報の中から画像認識結果を抽出することができる。特に、対象物体に対してアテンション（捕捉指示）を指定する必要がなくなる。
【０１２６】
さらに、本発明にかかる画像記憶方法によれば、記憶手段に記憶された広視野画像が記憶開始からの経過時間に相関した情報量の画像データに圧縮して書き換えられることにより、記憶容量が節約できる。したがって、リソースを有効利用でき、リソースに応じてリアルタイム性を重視した画像処理ができるようになる。
【０１２７】
本発明にかかる制御プログラムは、撮像手段において所定の画角で被写体を撮像する撮像処理と、撮像処理によって随時取得される画像を逐次付加して撮像手段で撮像される画角よりも広い視野の広視野画像を生成する広視野画像生成処理と、広視野画像を一時的に記憶する記憶処理と、取得された画像の変化量に応じて、記憶処理で記憶した広視野画像を該広視野画像に関する付加情報とともに基準広視野画像として時系列で記憶手段に記憶し、記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した情報量の画像データに圧縮して書き換える記憶制御処理とを画像処理機能を備えた電子機器に実行させるためのプログラムである。
【０１２８】
したがって、本発明にかかる制御プログラムによれば、画像処理機能を備えた電子機器に対して、撮像処理によって随時取得される画像を逐次付加して撮像手段で撮像される画角よりも広い視野の広視野画像を生成する処理を実行させることによって、電子機器が画像認識を行う上での有効な視野範囲が拡大され、より幅広い環境下において高い画像認識性能が達成される。これにより、対象物体、特に、移動物体の認識精度が向上する。
【０１２９】
また、本発明にかかる制御プログラムによれば、画像処理機能を備えた電子機器に対して、取得された画像の変化量に応じて該広視野画像に関する付加情報とともに広視野画像が時系列で記憶する処理を実行させることにより、電子機器は、時間的に過去に得られた画像情報の中から画像認識結果を抽出できるようになる。特に、対象物体に対してアテンション（捕捉指示）を指定する必要がなくなる。
【０１３０】
さらに、本発明にかかる制御プログラムによれば、画像処理機能を備えた電子機器に対して、記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した情報量の画像データに圧縮して書き換える処理を実行させることにより、電子機器の画像記憶容量が節約される。したがって、電子機器は、リソースを有効利用でき、リソースに応じてリアルタイム性を重視した画像処理を実行できるようになる。
【図面の簡単な説明】
【図１】本発明の一構成例として示すロボット装置が周囲の状況を画像として取得し、限られた視野の画像から広視野画像を生成し、さらに、生成した広視野画像とこの広視野画像に関する付加情報とを時間経過とともに記憶する処理を示すフローチャートである。
【図２】本発明の一構成例として示すロボット装置の外観を示す外観図である。
【図３】本発明の一構成例として示すロボット装置の構成を示す構成図である。
【図４】図４（ａ）は、本発明の一構成例として示すロボット装置のＣＣＤカメラの動きに合わせて限られた画角の画像が次々と取得される様子を示す模式図であり、図４（ｂ）は、取得された画像から合成された広視野画像を示す模式図である。
【図５】本発明の一構成例として示すロボット装置が取得した画像を球面投影して広視野画像を生成する様子を説明する模式図である。
【図６】本発明の一構成例として示すロボット装置がその場でＣＣＤカメラの向きだけを変える様子を示す図である。
【図７】図７（ａ）は、本発明の一構成例として示すロボット装置のカメラ方向が方向Ｄ１のときの取得画像及び広視野画像を示す図であり、図７（ｂ）は、本発明の一構成例として示すロボット装置のカメラ方向が方向Ｄ２のときの取得画像及び広視野画像を示す図である。
【図８】本発明の一構成例として示すロボット装置がポジションＰ１からポジションＰ２へと前進する様子を示す図である。
【図９】図９（ａ）は、本発明の一構成例として示すロボット装置がポジションＰ１にあるときの取得画像及び広視野画像を示す図であり、図９（ｂ）は、本発明の一構成例として示すロボット装置がポジションＰ２にあるときの取得画像及び広視野画像を示す図である。
【図１０】本発明の一構成例として示すロボット装置がポジションＰ３からポジションＰ４へと横移動する様子を示す図である。
【図１１】図１１（ａ）は、本発明の一構成例として示すロボット装置がポジションＰ３にあるときの取得画像及び広視野画像を示す図であり、図１１（ｂ）は、本発明の一構成例として示すロボット装置がポジションＰ４にあるときの取得画像及び広視野画像を示す図である。
【図１２】図１２（ａ）は、本発明の一構成例として示すロボット装置がＣＣＤカメラによって取得した画像と広視野画像とを比較する様子を模式的に示す図であり、図１２（ｂ）は、ロボット装置が比較した画像を広視野画像に上書きする様子を説明する図である。
【図１３】本発明の一構成例として示すロボット装置が歩行動作をしているとき、ＣＣＤカメラにおいて取得される画像を並べて示した図である。
【図１４】本発明の一構成例として示すロボット装置によって生成された広視野画像上で表される対象物体の移動を説明する図である。
【図１５】本発明の一構成例として示すロボット装置において、広視野画像が時系列に沿ってメモリカードに記憶される概念を説明する図である。
【図１６】本発明の一構成例として示すロボット装置の制御プログラムのソフトウェア構成を示す構成図である。
【図１７】本発明の一構成例として示すロボット装置の制御プログラムのうち、ミドル・ウェア・レイヤの構成を示す構成図である。
【図１８】本発明の一構成例として示すロボット装置の制御プログラムのうち、アプリケーション・レイヤの構成を示す構成図である。
【図１９】本発明の一構成例として示すロボット装置の制御プログラムのうち、行動モデルライブラリの構成を示す構成図である。
【図２０】本発明の一構成例として示すロボット装置の行動を決定するためのアルゴリズムである有限確率オートマトンを説明する模式図である。
【図２１】本発明の一構成例として示すロボット装置の行動を決定するための状態遷移条件を表す図である。
【符号の説明】
１ ロボット装置、２ 胴体部ユニット、３Ａ，３Ｂ，３Ｃ，３Ｄ 脚部ユニット、４ 頭部ユニット、５ 尻尾部ユニット、１０ ＣＰＵ、１１ ＤＲＡＭ、１２ フラッシュＲＯＭ、１３ ＰＣカードインターフェイス回路、１４ 信号処理回路、１５ 内部バス、１６ コントロール部、１７ バッテリ、１８ 角速度センサ、１９ 加速度センサ、２０ ＣＣＤカメラ、２１ タッチセンサ、２２ 距離センサ、２３ マイク、２４ スピーカ、２５１〜２５ｎ アクチュエータ、２６１〜２６ｎ ポテンショメータ、２７１〜２７ｎ ハブ、２８ メモリカード、３０ 広視野画像生成部、３１ 記憶制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a robot apparatus that acts based on an internal state, an image storage apparatus, and an image storage method, and in particular, synthesizes a wide-field image from a narrow-field image passively or actively acquired by an imaging unit and Spatially recognizing and storing the environment of the robot, and storing the surrounding environment up to a predetermined period in time series, and combining the wide-field image data from the image data of the predetermined field of view The present invention relates to an image storage apparatus and an image storage method for storing image data up to a predetermined period in a time series.
[0002]
[Prior art]
A mechanical device that performs an action similar to that of a human (living body) using an electrical or magnetic action is called a “robot”. Robots have begun to spread in Japan since the late 1960s, but many of them are industrial robots such as manipulators and transfer robots for the purpose of automating and unmanned production work in factories. Met.
[0003]
Recently, practical robots that support life as a human partner, that is, support human activities in various situations in daily life such as the living environment, have been developed. Unlike industrial robots, such practical robots have the ability to learn how to adapt themselves to humans with different personalities or to various environments in various aspects of the human living environment. For example, a “pet-type” robot that mimics the body mechanism and movement of a four-legged animal such as a dog or cat, or a body mechanism or movement of an animal that walks upright on two legs. Legged mobile robots such as “humanoid” or “humanoid” robots are already in practical use.
[0004]
Since these legged mobile robots can perform various operations with an emphasis on entertainment as compared to industrial robots, they are sometimes called entertainment robots. Some legged mobile robots that perform appearance and movement as close as possible to the appearance of animals and humans include a small camera or the like corresponding to an “eye”. In this case, the legged mobile robot can recognize the surrounding environment input as image information by performing image processing on the acquired image.
[0005]
[Problems to be solved by the invention]
However, since the conventional robot apparatus has a limited field of view of the mounted camera, there is a disadvantage that the field of view effective for image recognition is limited. Further, since the memory and CPU resources that can be used for image processing are limited, the image processing speed, the image capacity, and the like are limited.
[0006]
There are several methods for improving the field of view of the mounted camera: a method for obtaining a wide-field image using a fisheye lens, a method for obtaining an omnidirectional image using an omnidirectional camera, and a panoramic image by rotating the camera horizontally. A method of obtaining a flat image, a method of using a wide-angle camera together with a high-resolution camera, and the like have been devised.
[0007]
However, when a fisheye lens or an omnidirectional camera is used, it is necessary to perform processing for correcting image distortion as preprocessing for image analysis for recognition, and this correction processing and image analysis processing take time. Since these robot apparatuses are required to have real-time characteristics, this method is not suitable for causing the robot apparatus to perform a predetermined operation. Further, since the resolution of the image obtained as a result of these processes is relatively low, the degree of authentication is reduced.
[0008]
Further, in the method of generating a panoramic image, it takes time to acquire an image by rotating the camera, so that the time required to recognize the image also increases. Also, the method of using a high-resolution camera and a wide-angle camera together has a problem that a space for mounting both cameras cannot be secured when the space for mounting the camera is very limited as in a robot apparatus.
[0009]
A method is also conceivable in which all acquired images are stored and recognition processing is performed on all images. According to this method, the contents of all image data can be searched. However, extracting information from a large amount of image data is not suitable for a robot apparatus with limited resources.
[0010]
Furthermore, even if the legged mobile robot can collect surrounding image data, it is difficult to recognize the moving object when it is moving because the image acquired during walking is up and down and left and right. . That is, there is a problem that it is impossible to detect whether the image is blurred due to its own movement or due to the movement of the object.
[0011]
Therefore, the present invention has been proposed in view of such a conventional situation, and synthesizes a wide range of images not limited by the viewing angle of the camera, spatially recognizes and stores the surrounding environment, and Provided are a robot apparatus for storing an environment in time series, and an image storage apparatus and an image storage method for synthesizing a wide range of images not limited by the viewing angle of a camera and storing the synthesized image data in time series. For the purpose.
[0012]
[Means for Solving the Problems]
  In order to achieve the above-described object, a robot apparatus according to the present invention includes a moving unit, and in a robot apparatus that autonomously operates according to an internal state,the aboveAn imaging means that is movable in an independent direction with respect to the front surface of the robot apparatus and images a subject at a predetermined angle of view;the aboveImages actively acquired by imaging means, orthe aboveBy sequentially adding images acquired passively via imaging meansthe aboveWide-field image generation means for generating a wide-field image having a wider field of view than the angle of view of the imaging means;the aboveTemporary storage means for temporarily storing a wide-field image;the aboveWide-field image stored in temporary storageTheStore in storageControlWith memory control meansFurther, the storage control means has a change amount obtained by comparing the wide-field image stored in the temporary storage means with the reference wide-field image that is the latest wide-field image stored in the storage means in advance. When the predetermined predetermined threshold value is exceeded, the wide-field image stored in the temporary storage unit is stored in the storage unit, and the wide-field image stored in the storage unit is elapsed from the start of storage. The past wide-field image correlated with the image data is compressed and rewritten to a smaller amount of image data.
[0013]
Such a robot apparatus sequentially adds images acquired actively or passively through the imaging unit to generate a wide-field image having a field of view wider than the angle of view of the imaging unit, and changes in the acquired image Depending on the amount, the wide-field image is stored in the storage unit in time series together with additional information related to the wide-field image, and the wide-field image stored in the storage unit is converted into image data with an information amount correlated with the elapsed time from the start of storage. Compress and rewrite.
[0014]
  An image storage device according to the present invention includes an imaging unit that images a subject at a predetermined angle of view;the aboveAdd images acquired by the imaging means as neededthe aboveWide-field image generation means for generating a wide-field image having a wider field of view than the angle of view of the imaging means;the aboveTemporary storage means for temporarily storing a wide-field image;the aboveWide-field image stored in temporary storageTheStore in storageControlWith memory control meansFurther, the storage control means has a change amount obtained by comparing the wide-field image stored in the temporary storage means with the reference wide-field image that is the latest wide-field image stored in the storage means in advance. When the predetermined predetermined threshold value is exceeded, the wide-field image stored in the temporary storage unit is stored in the storage unit, and the wide-field image stored in the storage unit is elapsed from the start of storage. The past wide-field image correlated with the image data is compressed and rewritten to a smaller amount of image data.
[0015]
Such an image storage device sequentially adds the images acquired through the imaging unit to generate a wide-field image having a field of view wider than the angle of view of the imaging unit, and the image storage device generates the image according to the amount of change in the acquired image. The wide-field image is stored in the storage unit in time series together with the additional information related to the wide-field image, and the wide-field image stored in the storage unit is compressed and rewritten into image data having an information amount correlated with the elapsed time from the start of storage.
[0016]
  An image storage method according to the present invention includes an imaging step of imaging a subject at a predetermined angle of view;the aboveAdd images acquired at any time during the imaging processthe aboveA wide-field image generation step for generating a wide-field image having a wider field of view than the angle of view captured in the imaging step;the aboveWide field imageTemporary storage meansA temporary storage step for temporarily storing;the aboveWide-field image stored in the temporary storage processTheStore in storageControlMemory control processIn the storage control step, the amount of change obtained by comparing the wide-field image stored in the temporary storage unit with the reference wide-field image that is the latest wide-field image stored in the storage unit is previously determined. When the predetermined predetermined threshold value is exceeded, the wide-field image stored in the temporary storage unit is stored in the storage unit, and the wide-field image stored in the storage unit is elapsed from the start of storage. The past wide-field image correlated with the image data is compressed and rewritten to a smaller amount of image data.
[0017]
In such an image storage method, the images acquired in the imaging process are sequentially added to generate a wide-field image having a field of view wider than the angle of view of the imaging unit, and the wide-field of view is determined according to the amount of change in the acquired image. A wide-field image is stored in the storage unit in time series together with additional information related to the image, and the stored wide-field image is compressed and rewritten into image data having an information amount correlated with the elapsed time from the start of storage.
[0018]
  The control program according to the present invention is:On the computer,Imaging processing for imaging a subject at a predetermined angle of view in the imaging means;the aboveBy sequentially adding images acquired as needed by the imaging processthe aboveWide-field image generation processing for generating a wide-field image having a wider field of view than the angle of view captured by the imaging means;the aboveWide field imageTemporary storage meansTemporary storage processing for temporarily storing;Stored in the temporary storage meansWide field imageTheStore in storageAt the time of control, a change amount obtained by comparing the wide-field image stored in the temporary storage unit with the reference wide-field image that is the latest wide-field image stored in the storage unit is determined in advance. When it becomes larger than a predetermined threshold, the wide-field image stored in the temporary storage unit is stored in the storage unit, and the wide-field image stored in the storage unit is correlated with the elapsed time from the start of storage. Compress and rewrite image data with less information as past wide-field imagesStorage control processingTheThis is a program to be executed.
[0019]
Such a control program generates images with a wider field of view than the angle of view captured by the imaging means by sequentially adding images acquired as needed by the imaging process, and according to the amount of change in the acquired images. The wide-field image stored in the storage process is stored in the storage unit in time series as a reference wide-field image together with additional information related to the wide-field image, and the wide-field image stored in the storage unit is correlated with the elapsed time from the start of storage. This series of image storage processing is executed by an electronic device that does not include processing for compressing and rewriting the image data with the amount of information. Also, the above-described control program is provided by being recorded on a recording medium.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
A robot apparatus shown as one configuration example of the present invention is a robot apparatus that autonomously operates according to an internal state. This robot apparatus is a legged mobile robot that includes at least an upper limb, a trunk, and a lower limb, and uses only the upper limb and the lower limb or the lower limb as a moving means. Legged mobile robots include a pet-type robot that mimics the body mechanism and movement of a quadruped animal, and a robot device that mimics the body mechanism and movement of a biped animal that uses only the lower limbs as moving means. However, the robot apparatus shown as the present embodiment is a quadruped walking type legged mobile robot.
[0021]
This robotic device is a practical robot that supports human activities in various situations in daily life such as the living environment, and can act according to internal conditions (anger, sadness, joy, fun, etc.) and walk on four legs It is an entertainment robot that can express the basic movements of animals.
[0022]
In particular, this robot apparatus has a shape imitating a “dog”, and has a head, a torso, an upper limb, a lower limb, a tail, and the like. The number of actuators and potentiometers corresponding to the degree of freedom of movement are provided in the portions corresponding to the connecting parts and joints of each part, and a target action can be expressed by the control of the control part.
[0023]
Furthermore, the robot apparatus includes an imaging unit for acquiring surrounding conditions as image data, various sensors for detecting an action received from the outside, and the like. A small CCD (Charge-Coupled Device) camera is used as the imaging unit. The sensor includes an angular velocity sensor that detects an angular velocity, a distance sensor that measures a distance to a subject imaged by a CCD camera, a touch sensor that detects contact from the outside, and the like. It is installed at an appropriate location.
[0024]
The robot apparatus shown as one configuration example of the present invention generates an image with a wider field of view than the angle of view of the CCD camera from an image with a limited field of view acquired by the CCD camera, and uses the image with the wide field of view. Thus, the surrounding situation can be recognized as a wide space, not as a limited area. Further, by adding additional information such as time information, position information, posture information, etc. to this wide field-of-view image and sequentially storing it, it is possible to recognize the time information in addition to the space information. Here, the time information is, for example, the time when an image with a wide field of view is generated, and the position information is information representing the position where the image was acquired as an absolute position or a relative position from a certain reference point. The posture information is information indicating the posture of the robot apparatus when an image is acquired.
[0025]
This robot apparatus acquires the surrounding situation as an image, generates an image with a wide field of view (hereinafter referred to as a wide field image) from an image with a limited field of view, and further generates the generated wide field image and the wide field image. A process of storing additional information related to time with time will be described with reference to FIG.
[0026]
In step S1, an image is acquired from the CCD camera. At this time, for image acquisition, an active image capturing for the purpose of image recognition and an image that always “flows” from the CCD camera when not for image recognition, that is, during standby or during other operations. There is with passive shooting to get.
[0027]
Subsequently, in step S2, it is detected whether or not the robot apparatus is moving or operating. The movement of the robot apparatus can be detected from the operation of each actuator or a potentiometer.
[0028]
If the robot apparatus is moving, the wide-field image generated so far is changed in step S3. That is, based on the direction data such as the angle information of the CCD camera, the wide-field image is moved in the direction opposite to the changed direction by the amount corresponding to the change, thereby obtaining the imaging direction and the front direction of the wide-field image. Match. If the robot apparatus is not moving in step S2, the process proceeds to step S4.
[0029]
In step S4, the correspondence between the acquired image and the wide-field image is calculated from the direction data of the CCD camera. That is, it is calculated which part of the wide-field image generated by this time the acquired image corresponds to.
[0030]
  Subsequently, in step S5, the robot apparatus determines whether or not the acquired image includes an unstored visual field area. If an unstored visual field area is included, the process proceeds to step S7. If an unstored visual field area is not included, it is determined in step S6 whether or not the obtained image change amount is larger than a threshold value. Here, the amount of change corresponds to, for example, the pixel distribution of the acquired image and this image in the wide-field images generated so far.regionThe amount of change determined based on the difference from the pixel distribution.
[0031]
If the change amount is smaller than the threshold value, the process returns to step S1 and the same processing is repeated for the newly acquired image. If the change amount is larger than the threshold value, the acquired image is combined with the wide-field image in step S7. At this time, the area overlapping the wide-field image generated so far is overwritten, and the area of the wide-field image is expanded by additionally storing the unstored area.
[0032]
In this way, by comparing the change amount of the acquired image with a predetermined threshold value, it is possible to prevent a loss in processing time, storage capacity, and the like due to redundant storage of images with a small change amount. .
[0033]
Subsequently, in step S8, the expanded wide-field image is compared with an image stored in the storage unit as a reference wide-field image. The reference wide-field image indicates a wide-field image before a predetermined time. In the storage unit, the generated wide-field images are stored in order along the time series together with the additional information.
[0034]
In step S9, the robot apparatus determines whether or not the amount of change in the expanded wide-field image is greater than or equal to a threshold value. The threshold value used in step S6 is the threshold value of the change amount in the acquired narrow-field image, whereas the threshold value here indicates, for example, the threshold value of the change amount over the entire generated wide-field image. .
[0035]
When the change amount of the extended wide-field image is smaller than the threshold value, the process returns to step S1 and the same processing is repeated for the newly acquired image. That is, image processing for further expanding the wide-field image is performed. On the other hand, if the change amount is larger than the threshold value, the process proceeds to step S10, where the extended wide-field image is updated as a new reference wide-field image, and all the images that have been used as the reference wide-field image so far are included. Are compressed in accordance with the elapsed time from the start of storage, and stored again in the storage unit.
[0036]
Through the above-described image processing and storage processing, the robot apparatus can use a wide range of images not limited by the viewing angle of the mounted CCD camera as images for image recognition.
[0037]
Further, in the conventional robot apparatus, it is necessary to preliminarily store an attention (capture instruction) with respect to the object to be recognized. However, the robot apparatus shown in the present embodiment can perform active imaging or passive imaging. When retrieving the stored contents by generating a wide-field image from the acquired image and storing the generated wide-field image together with additional information such as position information, posture information, and time information of the robot apparatus. Can search when, where, what, etc. as if a human “remembers” the memory. In particular, an object that has been passively entered in the field of view in the past and an object that has not been given an attention (capture instruction) are also stored, so that it is possible to search even if the object is not specified in advance.
[0038]
Hereinafter, a robot apparatus shown as one configuration example of the present invention will be described with reference to the drawings.
[0039]
In the present embodiment, the robot apparatus 1 is a so-called pet-type robot having a shape imitating a “dog” as shown in FIG. In the robot apparatus 1, leg units 3A, 3B, 3C, and 3D are connected to the front and rear, left and right of the body unit 2, the head unit 4 is connected to the front end of the body unit 2, and the tail unit is connected to the rear end. 5 are connected.
[0040]
As shown in FIG. 3, the body unit 2 includes a CPU (Central Processing Unit) 10, a DRAM (Dynamic Random Access Memory) 11, a flash ROM (Read Only Memory) 12, a PC (Personal Computer) card interface circuit 13 and A control unit 16 formed by connecting the signal processing circuit 14 to each other via the internal bus 15 and a battery 17 as a power source of the robot apparatus 1 are housed. The body unit 2 houses an angular velocity sensor 18 and an acceleration sensor 19 for detecting the orientation of the robot apparatus 1 and acceleration of movement.
[0041]
The head unit 4 detects a pressure received by a CCD (Charge Coupled Device) camera 20 for imaging an external situation and a physical action such as “blow” or “slap” from a user. A touch sensor 21, a distance sensor 22 for measuring a distance to an object located in front, a microphone 23 for collecting external sound, a speaker 24 for outputting sound such as a cry, and a robot apparatus LEDs (Light Emitting Diodes) (not shown) corresponding to one “eye” are arranged at predetermined positions. The CCD camera 20 can take an image of a subject in the direction facing the head unit 4 at a predetermined angle of view.
[0042]
Furthermore, an image having a wider field of view than the angle of view of the CCD camera 20 (hereinafter referred to as a wide-field image) is added to the control unit 16 in the body unit 2 by sequentially adding images acquired by the CCD camera 20. A wide-field image generation unit 30 to generate, and a storage control unit 31 that compresses and stores the wide-field image and additional information related to the wide-field image into image data having an information amount correlated with the elapsed time from the start of storage. I have.
[0043]
The wide-field image generation unit 30 sequentially adds, for example, an image that is actively acquired to acquire surrounding image information, or an image that is passively acquired from the CCD camera 20, and the angle of view of the CCD camera. A wide-field image having a wider field of view is generated.
[0044]
Further, the storage control unit 31 sets the wide-field image and additional information related to the wide-field image as a new reference wide-field image in accordance with the amount of change in the pixel value, feature point, and the like of the image acquired by the CCD camera 20. The reference wide-field image stored in the memory card 28 and stored in the memory card 28 is compressed into image data having an information amount correlated with the elapsed time from the start of storage and stored again. Details regarding this storage control will be described later.
[0045]
Joint portions of the leg units 3A to 3D, connecting portions of the leg units 3A to 3D and the torso unit 2, connecting portions of the head unit 4 and the torso unit 2, the tail unit 5 and the tail 5A Are connected to the actuator 25 by several degrees of freedom.1~ 25nAnd potentiometer 261~ 26nAre arranged respectively. Actuator 251~ 25nHas, for example, a servo motor as a configuration. By driving the servo motor, the leg units 3A to 3D are controlled to make a transition to a target posture or operation.
[0046]
These angular velocity sensor 18, acceleration sensor 19, touch sensor 21, distance sensor 22, microphone 23, speaker 24, and each potentiometer 26.1~ 26nAnd various sensors such as LEDs and actuators 251~ 25nAre respectively corresponding hubs 27.1~ 27nThe CCD camera 20 and the battery 17 are directly connected to the signal processing circuit 14 respectively.
[0047]
The signal processing circuit 14 sequentially takes in sensor data, image data, and audio data supplied from the above-described sensors, and sequentially stores them in a predetermined position in the DRAM 11 via the internal bus 15. In addition, the signal processing circuit 14 sequentially takes in the battery remaining amount data representing the remaining amount of the battery supplied from the battery 17 and stores it in a predetermined position in the DRAM 11.
[0048]
The sensor data, image data, audio data, and battery remaining amount data stored in the DRAM 11 in this way are used when the CPU 10 controls the operation of the robot apparatus 1.
[0049]
The CPU 10 reads out the control program stored in the flash ROM 12 and stores it in the DRAM 11 at the initial time when the power of the robot apparatus 1 is turned on. Alternatively, the CPU 10 reads out a control program stored in a semiconductor memory device, for example, a so-called memory card 28 mounted in a PC card slot of the body unit 2 (not shown in FIG. 2) via the PC card interface circuit 13 and stores it in the DRAM 11. Store.
[0050]
As described above, the CPU 10 determines its own and surrounding conditions, instructions from the user, and actions based on each sensor data, image data, sound data, and battery remaining amount data sequentially stored in the DRAM 11 by the signal processing circuit 14. Judging the presence or absence of.
[0051]
Further, the CPU 10 determines an action based on the determination result and the control program stored in the DRAM 11. The CPU 10 determines the actuator 25 based on the determination result.1~ 25nBy driving the required actuator from among the above, for example, the head unit 4 is swung up and down, left and right, the tail of the tail unit 5 is moved, and each leg unit 3A to 3D is driven to walk. To do. Further, the CPU 10 generates audio data as necessary and supplies the audio data to the speaker 24 via the signal processing circuit 14. Further, the CPU 10 generates a signal instructing to turn on / off the LED, and turns on / off the LED.
[0052]
Thus, the robot apparatus 1 behaves autonomously according to the situation of itself and surroundings, and instructions and actions from the user.
[0053]
Next, a case where the robot apparatus 1 generates an image in a range wider than the viewing angle of the CCD camera from the image obtained from the CCD camera will be described with reference to FIG.
[0054]
FIG. 4A shows how images with a limited angle of view are acquired one after another in accordance with the movement of the CCD camera 20, and FIG. 4B shows a synthesized wide-field image. An image frame 100 in FIGS. 4A and 4B indicates a limit image frame of a wide-field image generated in the robot apparatus 1. Further, the size of each image frame of the image shown in FIG. For example, when the CCD camera 20 moves along an arrow in the figure, images 101a, 101b, 101c,. The visual field of the latest robot apparatus 1 is an image 101g.
[0055]
Each image photographed by the CCD camera 20 indicates each frame photographed every 1/30 second like an image obtained by an imaging device such as a video, so in practice, the interval between the images is Narrow and continuous. However, each image may be a still image taken every predetermined time.
[0056]
The wide-field image generation unit 30 in the robot apparatus 1 performs matching processing (matching) between images acquired from the CCD camera 20 based on the processing shown in FIG. Match. By repeating this process, images are successively added and expanded following the imaging direction of the CCD camera 20. In matching, the range of matching can be limited by using the angle information of the actuator of the robot apparatus. In this way, the wide-field image 102 is generated.
[0057]
When the wide-field image generation unit 30 generates a wide-field image, in the method of superimposing planar images, image distortion becomes a problem as the distance from one point in front of the robot apparatus 1 increases. Therefore, the wide-field image suppression picture unit 30 generates a wide-field image as a spherical image projected on the spherical surface. FIG. 5 shows how a wide-field image is generated by spherically projecting an image from the CCD camera 20. A projection image of the image 103 obtained from the CCD camera 20 on the virtual spherical surface 110 is an image 103a, and a projection image of the image 104 on the spherical surface 110 is an image 104a. The virtual spherical surface 110 has the CCD camera 20 as the center O. Thereby, the wide-field image 105 without the influence of distortion is obtained.
[0058]
Subsequently, generation of a wide-field image when the robot apparatus 1 does not move and only the direction of the CCD camera 20 is changed on the spot is shown in FIGS. The arrows in FIG. 6 indicate the imaging direction of the CCD camera 20. In FIG. 7A, the camera direction is direction D.1FIG. 7B shows the acquired image and the wide-field image when the camera direction is the direction D.2The acquired image and wide-field image at the time of are shown.
[0059]
As shown in FIG. 6, the robot apparatus 1 moves in the direction D.1From direction D2When the direction is changed, the front direction of the robot apparatus 1 changes to the right. Along with the change of direction, the image of the front of the robot apparatus 1 is the imaging direction D of the CCD camera 20 shown in FIG.1The imaging direction D of the CCD camera 20 from the image 106 of2Changes to the image 107. At this time, as shown in FIG. 7B, the wide-field image generation unit 30 moves the generated wide-field image 108 to the left based on the movement direction and the movement amount detected from the movement of the robot apparatus 1. By doing so, the front direction of the robot apparatus 1 and the front direction of the wide-field image 108 are matched. In this state, the wide-field image generation unit 30 continues to generate the wide-field image based on the processing described in FIG. 1, thereby maintaining the image information obtained before changing the posture while maintaining the wide-field image. The image expansion process can be continued.
[0060]
Next, generation of a wide-field image when the robot apparatus 1 moves is shown in FIGS. As shown in FIG. 8, the robot apparatus 1 is in position P.1To position P2Consider the case of moving forward. FIG. 9 (a) shows position P.1FIG. 9B shows the acquired image and the wide-field image in FIG.2The acquired image and wide-field image are shown in FIG.
[0061]
When a subject at a fixed position is imaged, the latter is enlarged and displayed in the image 109 taken before the forward movement and the image 110 taken after the forward movement. Therefore, the wide-field image generation unit 30 performs image matching processing (matching) between the image 110 obtained after the forward movement and the stored wide-field image 111, and calculates the enlargement ratio of the image. By enlarging the entire wide-field image 111 based on the obtained enlargement ratio and obtaining the enlarged wide-field image 112, the image information obtained before the movement is effectively used, and the image is widened at the position after the movement. The field image expansion process can be continued.
[0062]
Also, the robot apparatus 1 is in position P3To position P4FIG. 10 and FIG. 11 show the case of lateral movement. FIG. 11 (a) shows position P.3FIG. 11B shows the acquired image and the wide-field image in FIG.4The acquired image and wide-field image are shown in FIG.
[0063]
When moving in the right direction, the wide-field image generation unit 30 matches an image between the wide-field image 115 in the forward direction of the robot apparatus 1, the image 113 acquired before the movement, and the image 114 acquired after the movement. Thus, the front direction of the robot apparatus 1 and the front of the wide-field image can be matched by moving the wide-field image 115 to the left by the obtained amount of movement.
[0064]
In addition, in the generation of the wide-field image described above, when distance information to the object in the wide-field image can be obtained by a technique such as stereo measurement, the enlargement ratio and the movement distance can be determined by using the distance information. It can also be determined.
[0065]
Next, a case where the wide-field image is expanded using the acquired image will be specifically described with reference to FIG. This corresponds to steps S5 to S7 in the series of processing steps shown in FIG.
[0066]
As shown in FIG. 12A, the wide-field image generation unit 30 constantly compares the image 116 acquired by the CCD camera 20 with the wide-field image 117. When the image 116 does not include or partially includes the information of the wide-field image 117, the wide-field image generation unit 30 expands the wide-field image by the process illustrated in FIG. On the other hand, when the image 116 is an image within the range of the wide-field image 117 that has already been generated, the wide-field image generation unit 30 compares the image region 118 and the image 116 corresponding to the wide-field image 117. When the amount of change is larger than a predetermined threshold value, the image 116 is overwritten on the corresponding area of the wide-field image 117. This change amount is the change amount of the pixel value of the region corresponding to this image of the acquired image and the wide-field image, or the change amount of only the pixel value of the feature point by extracting the feature amount from the image. May be. Thus, only when the amount of change exceeds a predetermined amount, wasteful calculation processing for composition can be omitted by performing image processing.
[0067]
As described above, according to the technique for generating a wide-field image from a limited image and recognizing the image using the wide-field image, recognition when recognizing a moving object when the robot apparatus 1 is moving is performed. There is an advantage that accuracy is improved.
[0068]
FIG. 13 shows images obtained by the CCD camera 20 side by side when the robot apparatus 1 is walking. A mode that the target object 120 which moves to the limited view angle 119 of the CCD camera 20 is imaged is schematically shown. As shown in FIG. 13, the narrow-field image includes a blur component that is not uniform in the vertical and horizontal directions, so it is difficult to distinguish between the movement of the target object 120 and the visual field blur due to the walking motion. However, as shown in FIG. 14, in the robot apparatus 1 according to the present embodiment, the wide-field image generation unit 30 matches these acquired images with the wide-field image 121 to thereby generate an image based on the movement of the robot apparatus 1. The blur component and the moving component of the target object 120 can be separated. In FIG. 14, it can be recognized that the target object 120 is moving in the direction of the arrow shown in the figure. Therefore, the recognition accuracy of the movement of the moving object is improved by generating the wide-field image.
[0069]
In addition, by using a sensor that can detect the orientation of a CCD camera, such as a gyro sensor, it is possible to determine the field of view on a wide-field image, and thus recognize the movement of large objects that are difficult to recognize by matching processing. can do.
[0070]
Next, a method for holding the generated wide-field image will be described. This corresponds to steps S9 to S10 in the series of processing steps shown in FIG. The wide-field image generated from the image acquired by the CCD camera 20 is changed according to the movement of the robot apparatus 1 and the change of the environment, that is, the amount of change of the image. The storage control unit 31 compares the generated wide-field image with the reference wide-field image, and when the amount of change is greater than a predetermined threshold, the latest wide-field image is used as the reference. Save as a wide-field image. By repeating this operation, a wide-field image having a change amount equal to or greater than the threshold is sequentially stored as an image sequence. Since a wide-field image with a small amount of change is not stored, the storage capacity can be saved. Therefore, resources on the robot apparatus 1 can be used effectively.
[0071]
The storage control unit 31 stores the wide-field image in a nonvolatile memory (not shown) provided in the robot apparatus 1. In the robot apparatus 1, in particular, it can be stored in a removable storage medium such as the memory card 28.
[0072]
FIG. 15 shows a wide field image 100.1Wide-field image 1002, ... Wide-field image 100k-1Wide-field image 100k, ... Wide-field image 100m-1Wide-field image 100m, ... Wide-field image 100n-2Wide-field image 100n-1Wide-field image 100nIs conceptually shown in the memory card 28 in time series.
[0073]
The storage control unit 31 converts the wide-field image into the additional information 130 regarding the wide-field image.1, 1302, 130k-1, 130kThe image data is stored together with the compressed image data having the information amount correlated with the elapsed time T from the start of the storage. That is, the past wide-field images are stored with a reduced amount of information. A known compression method such as a so-called JPEG method or MPEG method can be applied to the image compression here. Depending on the elapsed time, the wide-field image 100m-1, 100m, 100n-2To 100nAs described above, for example, only the pixel value of the feature point is converted into another abstract data different from the image data, and the storage capacity is further reduced and stored. The wide-field image is erased after being stored for a predetermined period.
[0074]
As described above, the robot apparatus 1 can efficiently execute the image recognition process and the image storage process within the limited memory and CPU resources by reducing the amount of information as the past wide-field image decreases. In addition, a memory model closer to the “human memory model” that forgets past memories can be realized.
[0075]
Note that the time from storing the wide-field image to erasing and the number of stored wide-field images can be changed according to the resource of the robot apparatus.
[0076]
By the way, the robot apparatus 1 shown as this Embodiment is a robot apparatus which can act autonomously according to an internal state. The software configuration of the control program in the robot apparatus 1 is as shown in FIG. As described above, this control program is stored in the flash ROM 12 in advance, and is read when the robot apparatus 1 is initially turned on.
[0077]
In FIG. 16, the device driver layer 30 is located in the lowest layer of the control program, and includes a device driver set 31 composed of a plurality of device drivers. In this case, each device driver is an object that is allowed to directly access hardware used in a normal computer such as the CCD camera 20 (FIG. 3) or a timer, and receives an interrupt from the corresponding hardware. Process.
[0078]
Further, the robotic server object 32 is located in the lowest layer of the device driver layer 30 and, for example, the various sensors and actuators 25 described above.1~ 25nA virtual robot 33 that is a software group that provides an interface for accessing hardware such as a power manager 34 that is a software group that manages power supply switching, and software that manages various other device drivers The device driver manager 35 includes a group, and the designed robot 36 includes a software group that manages the mechanism of the robot apparatus 1.
[0079]
The manager object 37 includes an object manager 38 and a service manager 39. The object manager 38 is a software group that manages the activation and termination of each software group included in the robotic server object 32, the middleware layer 40, and the application layer 41. The service manager 39 includes: This is a software group for managing the connection of each object based on the connection information between the objects described in the connection file stored in the memory card 28 (FIG. 3).
[0080]
The middleware layer 40 is located in an upper layer of the robotic server object 32, and includes a software group that provides basic functions of the robot apparatus 1 such as image processing and sound processing. In addition, the application layer 41 is located in an upper layer of the middleware layer 40, and determines the behavior of the robot apparatus 1 based on the processing result processed by each software group constituting the middleware layer 40. It is composed of software groups.
[0081]
Note that specific software configurations of the middleware layer 40 and the application layer 41 are shown in FIG.
[0082]
As shown in FIG. 17, the middle wear layer 40 is for noise detection, temperature detection, brightness detection, scale recognition, distance detection, posture detection, touch sensor, motion detection and color recognition. Recognition system 60 having signal processing modules 50 to 58 and input semantic converter module 59 for output, output semantic converter module 68 and attitude management, tracking, motion reproduction, walking, fall recovery, and LED lighting And an output system 69 having signal processing modules 61 to 67 for sound reproduction.
[0083]
Each of the signal processing modules 50 to 58 of the recognition system 60 receives corresponding data among the sensor data, image data, and audio data read from the DRAM 11 (FIG. 3) by the virtual robot 33 of the robotic server object 32. The data is taken in, subjected to predetermined processing based on the data, and the processing result is given to the input semantic converter module 59. Here, for example, the virtual robot 33 is configured as a part for transmitting / receiving or converting signals according to a predetermined communication protocol.
[0084]
Based on the processing result given from each of these signal processing modules 50 to 58, the input semantic converter module 59 is “noisy”, “hot”, “bright”, “ball detected”, “falling detected”, Self and surrounding conditions such as “boiled”, “struck”, “I heard Domiso's scale”, “Detected moving object” or “Detected an obstacle”, and commands from the user And the action is recognized, and the recognition result is output to the application layer 41.
[0085]
As shown in FIG. 18, the application layer 41 includes five modules: a behavior model library 70, a behavior switching module 71, a learning module 72, an emotion model 73, and an instinct model 74.
[0086]
In the behavior model library 70, as shown in FIG. 19, “when the remaining battery level is low”, “returns to fall”, “when avoiding an obstacle”, “when expressing emotions”, “ball” Independent behavior models are provided in correspondence with some preselected condition items such as “When is detected”.
[0087]
These behavior models are used as necessary as described later when a recognition result is given from the input semantic converter module 59 or when a certain time has passed since the last recognition result was given. The following behavior is determined while referring to the corresponding emotion parameter value held in the model 73 and the corresponding desire parameter value held in the instinct model 74, and the determination result is output to the behavior switching module 71. .
[0088]
In the case of this embodiment, each behavior model uses one node (state) NODE as shown in FIG. 20 as a method for determining the next behavior.0~ NODEnTo any other node NODE0~ NODEnEach node NODE0~ NODEnArc ARC connecting between the two1~ ARCn1Transition probability P set for each1~ PnAn algorithm called a finite-probability automaton, which is determined probabilistically based on the above, is used.
[0089]
Specifically, each behavior model is a node NODE that forms its own behavior model.0~ NODEnCorrespond to each of these nodes NODE0~ NODEnEach has a state transition table 80 as shown in FIG.
[0090]
In this state transition table 80, the node NODE0~ NODEnInput events (recognition results) as transition conditions in are listed in priority order in the “input event name” row, and further conditions for the transition conditions are described in the corresponding columns in the “data name” and “data range” rows Has been.
[0091]
Therefore, the node NODE represented by the state transition table 80 in FIG.100Then, when the recognition result “ball detected (BALL)” is given, the “size (SIZE)” of the ball given together with the recognition result is in the range of “0 to 1000”, “ When the recognition result “OBSTACLE” is given, the other node has a “distance” to the obstacle given together with the recognition result within the range of “0 to 100”. It is a condition for transition to.
[0092]
This node NODE100Then, even when there is no input of the recognition result, the emotion model 73 of the emotions and instinct models 74 that the behavior model periodically refers to and the parameters of each emotion and each desire held therein are retained in the emotion model 73. When any of “Joy”, “Surprise” or “Sadness” parameter value is in the range of “50 to 100”, it is possible to transition to another node. Yes.
[0093]
Further, in the state transition table 80, the node NODE appears in the “transition destination node” column in the “transition probability to other node” column.0~ NODEnThe node names that can be transitioned from are listed, and each other node NODE that can transition when all the conditions described in the "input event name", "data name", and "data range" lines are met0~ NODEnThe transition probabilities to are respectively described in the corresponding places in the “transition probabilities to other nodes” column, and the node NODE0~ NODEnThe action to be output when transitioning to is described in the “output action” line in the “transition probability to other node” column. The sum of the probabilities of each row in the “transition probability to other node” column is 100 [%].
[0094]
Therefore, the node NODE represented by the state transition table 80 in FIG.100Then, for example, when the “ball is detected (BALL)” and the recognition result that the “SIZE (size)” of the ball is in the range of “0 to 1000” is given, “30 [%]” The probability of “node NODE120(Node 120) ", and the action of" ACTION 1 "is output at that time.
[0095]
Each behavior model has a node NODE described as such a state transition table 80, respectively.0~ NODEnAre connected to each other, and when the recognition result is given from the input semantic converter module 59, the corresponding node NODE0~ NODEnThe next action is determined probabilistically using the state transition table, and the determination result is output to the action switching module 71.
[0096]
The action switching module 71 shown in FIG. 18 selects an action output from an action model with a predetermined high priority among actions output from each action model of the action model library 70, and executes the action. A command to be performed (hereinafter referred to as an action command) is sent to the output semantic converter module 68 of the middleware layer 40. In this embodiment, the higher priority is set for the behavior model shown on the lower side in FIG.
[0097]
Further, the behavior switching module 71 notifies the learning module 72, the emotion model 73, and the instinct model 74 that the behavior is completed based on the behavior completion information given from the output semantic converter module 68 after the behavior is completed.
[0098]
On the other hand, the learning module 72 inputs the recognition result of the teaching received from the user, such as “struck” or “boiled”, among the recognition results given from the input semantic converter module 59.
[0099]
Then, based on the recognition result and the notification from the behavior switching module 71, the learning module 72 reduces the probability of the behavior when “struck” (struck), and “struck (praised) ) ”, The corresponding transition probability of the corresponding behavior model in the behavior model library 70 is changed so as to increase the probability of occurrence of the behavior.
[0100]
On the other hand, the emotion model 73 is the sum of “Joy”, “Sadness”, “Anger”, “Surprise”, “Disgust” and “Fear”. For each of the six emotions, a parameter indicating the strength of the emotion is held for each emotion. Then, the emotion model 73 uses the parameter values of these emotions as specific recognition results such as “struck” and “boiled” given from the input semantic converter module 59, and the elapsed time and behavior switching module 71. It is updated periodically based on notifications from and so on.
[0101]
Specifically, the emotion model 73 is obtained by a predetermined arithmetic expression based on the recognition result given from the input semantic converter module 59, the behavior of the robot apparatus 1 at that time, the elapsed time since the last update, and the like. ΔE [t] is the amount of fluctuation of the emotion that is calculated at that time, E [t] is the parameter value of the current emotion, and k is a coefficient that represents the sensitivity of the emotion.eThen, the parameter value E [t + 1] of the emotion in the next cycle is calculated by the equation (1), and the parameter value of the emotion is updated so as to replace the parameter value E [t] of the emotion in the next cycle. . In addition, the emotion model 73 updates the parameter values of all emotions in the same manner.
[0102]
[Expression 1]
Figure 0004779226
It should be noted that how much each notification result or notification from the output semantic converter module 68 affects the parameter value variation amount ΔE [t] of each emotion is determined in advance. For example, “struck” The recognition result has a great influence on the fluctuation amount ΔE [t] of the emotion parameter of “anger”, and the recognition result of “boiled” has a fluctuation amount ΔE [t] of the parameter value of the emotion of “joy” It has come to have a big influence on.
[0103]
Here, the notification from the output semantic converter module 68 is so-called action feedback information (behavior completion information), which is information on the appearance result of the action, and the emotion model 73 changes the emotion also by such information. Let This is, for example, that the emotional level of anger is lowered by an action such as “barking”. Note that the notification from the output semantic converter module 68 is also input to the learning module 72 described above, and the learning module 72 changes the corresponding transition probability of the behavior model based on the notification.
[0104]
Note that the feedback of the behavior result may be performed by the output of the behavior switching modulator 71 (the behavior to which the emotion is added).
[0105]
On the other hand, the instinct model 74 has four independent needs for “exercise”, “affection”, “appetite” and “curiosity” for each of these needs. It holds a parameter that represents the strength of the desire. The instinct model 74 periodically updates the parameter values of these desires based on the recognition result given from the input semantic converter module 59, the elapsed time, the notification from the behavior switching module 71, and the like.
[0106]
Specifically, the instinct model 74 uses the predetermined calculation formula for “exercise greed”, “loving lust” and “curiosity” based on the recognition result, elapsed time, notification from the output semantic converter module 68, and the like. ΔI [k] is the fluctuation amount of the desire at that time to be calculated, I [k] is the current parameter value of the desire, and a coefficient k representing the sensitivity of the desireiThe parameter value I [k + 1] of the desire in the next cycle is calculated using the equation (2) at a predetermined cycle, and the calculation result is replaced with the current parameter value I [k] of the desire. Update the desire parameter value. Further, the instinct model 74 updates the parameter values of each desire except “appetite” in the same manner.
[0107]
[Expression 2]
Figure 0004779226
Note that how much the recognition result and the notification from the output semantic converter module 68 affect the fluctuation amount ΔI [k] of each desire parameter value is determined in advance, for example, from the output semantic converter module 68. This notification has a great influence on the fluctuation amount ΔI [k] of the parameter value of “fatigue”.
[0108]
In the present embodiment, the parameter values of each emotion and each desire (instinct) are regulated so as to fluctuate in the range from 0 to 100, respectively, and the coefficient ke, KiThe value of is also set individually for each emotion and each desire.
[0109]
On the other hand, the output semantics converter module 68 of the middleware layer 40, as shown in FIG. 17, “forward”, “joy”, “ring” given from the behavior switching module 71 of the application layer 41 as described above. "Or" tracking (following the ball) "is given to the corresponding signal processing modules 61-67 of the output system 69.
[0110]
When the action command is given, these signal processing modules 61 to 67 are based on the action command, and the corresponding actuator 25 to take the action.1~ 25nThe servo command value to be given to (FIG. 3), the sound data of the sound output from the speaker 24 (FIG. 3) and / or the drive data to be given to the “eye” LED are generated, and these data are stored in the robotic server object. Corresponding actuator 25 through 32 virtual robots 33 and signal processing circuit 14 (FIG. 3) in sequence.1~ 25nOr it sends out sequentially to the speaker 24 or LED.
[0111]
In this way, the robot apparatus 1 can perform an autonomous action according to its own (inside) and surrounding (outside) situations, and instructions and actions from the user, based on the control program. Therefore, a robot in which a control program for executing a series of image storage processing for generating a wide-field image and compressing and storing the wide-field image and additional information into an information amount correlated with time is not incorporated in advance. Even the apparatus can execute the image storage process shown in FIG. 1 by reading the control program.
[0112]
Such a control program is provided via a recording medium recorded in a format readable by the robot apparatus. As a recording medium for recording the control program, a magnetic reading type recording medium (for example, magnetic tape, floppy disk, magnetic card), an optical reading type recording medium (for example, CD-ROM, MO, CD-R, DVD) Etc. are considered. The recording medium also includes a storage medium such as a semiconductor memory (a so-called memory card (regardless of a rectangular shape, a square shape or the like), an IC card). The control program may be provided via the so-called Internet.
[0113]
These control programs are reproduced via a dedicated read driver device or a personal computer, and transmitted to the robot device 1 through a wired or wireless connection for reading. Further, when the robot apparatus includes a drive device for a miniaturized storage medium such as a semiconductor memory or an IC card, the control program can be directly read from the storage medium. The robot apparatus 1 can read from the memory card 28.
[0114]
It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention. Although the present embodiment has been described with respect to a quadruped legged mobile robot, the robot apparatus can be applied as long as it operates according to the internal state, and the moving means can be a quadruped walking, It is not limited to the legged movement method.
[0115]
【The invention's effect】
As described above in detail, the robot apparatus according to the present invention includes a moving unit, and is a robot apparatus that autonomously operates according to an internal state. The robot apparatus is movable in an independent direction with respect to the front surface of the robot apparatus and has a predetermined angle of view. A wide field of view with a wider field of view than the angle of view of the imaging means by sequentially adding an imaging means for imaging a subject and an image actively acquired by the imaging means, or an image passively acquired via the imaging means Wide-field image generation means for generating an image, temporary storage means for temporarily storing the wide-field image, and the wide-field image stored in the temporary storage means according to the amount of change in the acquired image Along with additional information about the image, it is stored in the storage means as a reference wide-field image in time series, and the wide-field image stored in the storage means is compressed into image data with an information amount correlated with the elapsed time from the start of storage And a storage control means for changing.
[0116]
Therefore, the robot apparatus according to the present invention sequentially adds images acquired actively or passively through the imaging unit to generate a wide-field image having a wider field of view than the angle of view of the imaging unit, thereby generating an image. The visual field range effective for recognition can be expanded, and high image recognition performance can be achieved in a wider environment. Thereby, the recognition accuracy of the target object, in particular, the moving object is improved.
[0117]
In addition, the robot apparatus according to the present invention can be obtained in the past in time by storing the wide-field image together with additional information related to the wide-field image in the storage unit in time series according to the obtained image change amount. The image recognition result can be extracted from the obtained image information. In particular, it is not necessary to specify an attention (capture instruction) for the target object.
[0118]
Furthermore, the robot apparatus according to the present invention can save the storage capacity by compressing and rewriting the wide-field image stored in the storage means into image data having an information amount correlated with the elapsed time from the start of storage. Therefore, resources can be used effectively, and image processing with an emphasis on real time can be performed according to the resources. In addition, since a memory model closer to humans can be realized, abundant user interaction is possible and entertainment is improved.
[0119]
The image storage device according to the present invention includes an imaging unit that images a subject at a predetermined angle of view, and a wide-field image having a field of view wider than the angle of view of the imaging unit by sequentially adding images acquired by the imaging unit as needed. A wide-field image generating unit that generates a temporary image, a temporary storage unit that temporarily stores the wide-field image, and a wide-field image stored in the temporary storage unit according to the amount of change in the acquired image. Storage control means for storing the reference wide-field image in a time series as a reference wide-field image together with additional information relating to the image, and compressing and rewriting the wide-field image stored in the storage means into image data having an information amount correlated with the elapsed time from the start of storage With.
[0120]
Therefore, the image storage device according to the present invention sequentially adds the images acquired through the imaging unit to generate a wide-field image having a field of view wider than the angle of view of the imaging unit, thereby enabling an effective visual field for image recognition. The range can be expanded and high image recognition performance can be achieved in a wider range of environments. Thereby, the recognition accuracy of the target object, in particular, the moving object is improved.
[0121]
In addition, the image storage device according to the present invention stores the wide-field image in time series in the storage unit together with the additional information related to the wide-field image according to the obtained image change amount, thereby obtaining in the past in time. An image recognition result can be extracted from the obtained image information. In particular, it is not necessary to specify an attention (capture instruction) for the target object.
[0122]
Furthermore, the image storage device according to the present invention can save the storage capacity by compressing and rewriting the wide-field image stored in the storage means into image data having an information amount correlated with the elapsed time from the start of storage. Therefore, resources can be used effectively, and image processing with an emphasis on real time can be performed according to the resources.
[0123]
In addition, the image storage method according to the present invention includes an imaging process for imaging a subject at a predetermined angle of view, and a field of view wider than the angle of view captured in the imaging process by sequentially adding images acquired at any time in the imaging process. A wide-field image generation step for generating a wide-field image, a temporary storage step for temporarily storing the wide-field image, and the wide-field image stored in the temporary storage step according to the amount of change in the acquired image Along with the additional information related to the wide-field image, a reference wide-field image is stored in the storage unit in time series, and the wide-field image stored in the storage unit is compressed and rewritten into image data with an information amount correlated with the elapsed time from the start of storage. A storage control step.
[0124]
Therefore, according to the image storage method of the present invention, image recognition is performed by sequentially adding the images acquired in the imaging process and generating a wide-field image having a wider field of view than the angle of view captured in the imaging process. The effective visual field range is expanded, and high image recognition performance is achieved in a wider environment. Thereby, the recognition accuracy of the target object, in particular, the moving object is improved.
[0125]
Further, according to the image storage method of the present invention, the wide-field image is stored in time series together with the additional information related to the wide-field image according to the amount of change of the acquired image, so that it can be obtained in the past in time. An image recognition result can be extracted from the obtained image information. In particular, it is not necessary to specify an attention (capture instruction) for the target object.
[0126]
Furthermore, according to the image storage method of the present invention, the wide-field image stored in the storage means is compressed and rewritten into image data having an information amount correlated with the elapsed time from the start of storage, thereby saving storage capacity. it can. Therefore, resources can be used effectively, and image processing with an emphasis on real time can be performed according to the resources.
[0127]
The control program according to the present invention has an imaging process in which an imaging unit captures an image of a subject at a predetermined angle of view, and an image acquired by the imaging process as needed, and a field of view wider than the angle of view captured by the imaging unit. Wide-field image generation processing for generating a wide-field image, storage processing for temporarily storing the wide-field image, and the wide-field image stored in the storage processing according to the amount of change in the acquired image Storage control processing for storing a wide-field image as a reference wide-field image in time series together with additional information related to the image, and compressing and rewriting the wide-field image stored in the storage unit into image data with an amount of information correlated with the elapsed time from the start of storage Is executed by an electronic device having an image processing function.
[0128]
Therefore, according to the control program of the present invention, an electronic device having an image processing function has a field of view wider than the angle of view captured by the imaging unit by sequentially adding images acquired as needed by the imaging process. By executing the process of generating a wide-field image, an effective visual field range for the electronic device to perform image recognition is expanded, and high image recognition performance is achieved in a wider environment. Thereby, the recognition accuracy of the target object, in particular, the moving object is improved.
[0129]
In addition, according to the control program of the present invention, a wide-field image is stored in time series together with additional information related to the wide-field image in accordance with the amount of change in the acquired image for an electronic device having an image processing function. By executing the processing, the electronic device can extract the image recognition result from the image information obtained in the past in terms of time. In particular, it is not necessary to specify an attention (capture instruction) for the target object.
[0130]
Further, according to the control program of the present invention, for an electronic device having an image processing function, the wide-field image stored in the storage unit is compressed into image data having an information amount correlated with the elapsed time from the start of storage. By executing the rewriting process, the image storage capacity of the electronic device is saved. Therefore, the electronic device can effectively use the resource, and can execute image processing with an emphasis on real-time property according to the resource.
[Brief description of the drawings]
FIG. 1 shows a configuration example of a robot apparatus according to an embodiment of the present invention in which a surrounding situation is acquired as an image, a wide-field image is generated from an image with a limited field of view, and the generated wide-field image and the wide-field image It is a flowchart which shows the process which memorize | stores the additional information regarding with time passage.
FIG. 2 is an external view showing an external appearance of a robot apparatus shown as an example of the configuration of the present invention.
FIG. 3 is a configuration diagram showing a configuration of a robot apparatus shown as one configuration example of the present invention.
FIG. 4A is a schematic diagram showing a state in which images with a limited angle of view are acquired one after another according to the movement of the CCD camera of the robot apparatus shown as an example of the present invention; FIG. 4B is a schematic diagram showing a wide-field image synthesized from the acquired image.
FIG. 5 is a schematic diagram for explaining how a wide-field image is generated by spherical projection of an image acquired by a robot apparatus shown as an example of the configuration of the present invention.
FIG. 6 is a diagram showing how the robot apparatus shown as an example of the present invention changes only the direction of the CCD camera on the spot.
FIG. 7 (a) shows the direction of the camera D of the robot apparatus shown as an example of the configuration of the present invention.1FIG. 7B is a diagram showing an acquired image and a wide-field image in the case of FIG. 7, and FIG.2It is a figure which shows the acquired image and wide-field image at the time of.
FIG. 8 shows a robot apparatus shown as a configuration example of the present invention in a position P.1To position P2It is a figure which shows a mode that it advances to.
FIG. 9 (a) shows a robot apparatus shown as one configuration example of the present invention in a position P.1FIG. 9B is a diagram showing an acquired image and a wide-field image when the robot apparatus shown in FIG.2It is a figure which shows an acquired image when it exists in, and a wide-field image.
FIG. 10 shows a robot apparatus shown as an example of the present invention in a position P.3To position P4FIG.
FIG. 11 (a) shows a position P of the robot apparatus shown as an example of the configuration of the present invention.3FIG. 11B is a diagram showing an acquired image and a wide-field image when the robot apparatus shown in FIG.4It is a figure which shows an acquired image when it exists in, and a wide-field image.
12A is a diagram schematically showing a state in which the robot apparatus shown as an example of the configuration of the present invention compares an image acquired by a CCD camera with a wide-field image, and FIG. ) Is a diagram for explaining a state in which the image compared by the robot apparatus is overwritten on the wide-field image.
FIG. 13 is a view showing images obtained by a CCD camera side by side when the robot apparatus shown as an example of the configuration of the present invention is walking.
FIG. 14 is a diagram for explaining the movement of a target object represented on a wide-field image generated by a robot apparatus shown as an example of the configuration of the present invention.
FIG. 15 is a diagram illustrating a concept in which a wide-field image is stored in a memory card in time series in the robot apparatus shown as an example of the configuration of the present invention.
FIG. 16 is a configuration diagram showing a software configuration of a control program of the robot apparatus shown as one configuration example of the present invention.
FIG. 17 is a configuration diagram showing a configuration of a middleware layer in a control program for a robot apparatus shown as an example configuration of the present invention.
FIG. 18 is a configuration diagram showing a configuration of an application layer in a control program for a robot apparatus shown as one configuration example of the present invention.
FIG. 19 is a configuration diagram showing a configuration of an action model library in a control program for a robot apparatus shown as an example configuration of the present invention.
FIG. 20 is a schematic diagram illustrating a finite probability automaton that is an algorithm for determining the behavior of the robot apparatus shown as an example of the configuration of the present invention.
FIG. 21 is a diagram showing a state transition condition for determining the behavior of the robot apparatus shown as one configuration example of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Robot apparatus, 2 trunk | drum unit, 3A, 3B, 3C, 3D Leg unit, 4 head unit, 5 tail unit, 10 CPU, 11 DRAM, 12 Flash ROM, 13 PC card interface circuit, 14 Signal processing circuit , 15 Internal bus, 16 Control unit, 17 Battery, 18 Angular velocity sensor, 19 Acceleration sensor, 20 CCD camera, 21 Touch sensor, 22 Distance sensor, 23 Microphone, 24 Speaker, 251~ 25n  Actuator, 261~ 26n  Potentiometer, 271~ 27n  Hub, 28 Memory card, 30 Wide-field image generator, 31 Storage controller

Claims (10)

移動手段を備え、内部状態に応じて自律動作するロボット装置において、
上記ロボット装置正面に対して独立した方向に可動とされ所定の画角で被写体を撮像する撮像手段と、
上記撮像手段によって能動的に取得された画像、又は上記撮像手段を介して受動的に取得された画像を逐次付加して上記撮像手段の画角よりも広い視野の広視野画像を生成する広視野画像生成手段と、
上記広視野画像を一時的に記憶する一時記憶手段と、
上記一時記憶手段に記憶された広視野画像を記憶手段に記憶制御する記憶制御手段とを備え、
上記記憶制御手段は、上記一時記憶手段に記憶された広視野画像と、上記記憶手段に記憶された最新の広視野画像である基準広視野画像とを比較して得られる変化量が予め決められた所定の閾値よりも大きくなったとき、上記一時記憶手段に記憶された広視野画像を上記記憶手段に記憶するとともに、上記記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した過去の広視野画像ほど少ない情報量の画像データに圧縮して書き換えるロボット装置。In a robot apparatus that includes moving means and operates autonomously according to the internal state,
An imaging means that is movable in an independent direction with respect to the front surface of the robot apparatus and images a subject at a predetermined angle of view;
Wide field of view that generates images with a wider field of view than the angle of view of the imaging unit by sequentially adding images acquired actively by the imaging unit or passively acquired via the imaging unit Image generating means;
Temporary storage means for temporarily storing the wide-field image,
E Bei and storage control means for storing control in the storage means wide-field image stored in the temporary storage means,
The storage control unit has a predetermined amount of change obtained by comparing the wide-field image stored in the temporary storage unit with the reference wide-field image that is the latest wide-field image stored in the storage unit. When the predetermined threshold value is exceeded, the wide-field image stored in the temporary storage unit is stored in the storage unit, and the wide-field image stored in the storage unit is correlated with the elapsed time from the start of storage. A robot device that compresses and rewrites image data with a smaller amount of information as the past wide-field image becomes smaller . 上記広視野画像生成手段は、上記撮像手段によって取得された画像を上記一時記憶手段に記憶された広視野画像と比較し、上記取得された画像に対応する領域が上記広視野画像に含まれない場合若しくは一部含まれる場合には、重複する領域を上書きし、未記憶領域を追加記憶することにより広視野画像を拡張し、上記取得された画像に対応する領域が上記広視野画像の範囲内の場合には、上記広視野画像の対応する領域の画像に対する上記取得された画像の変化量が予め決められた所定の閾値よりも大きいとき、上記取得された画像を上記広視野画像の対応する領域に上書きする請求項１記載のロボット装置。The wide field image generation means, an image acquired by the imaging unit compared to wide-field image stored in the temporary storage means, the area corresponding to the upper SL acquired image is included in the wide-field image If not or partly included, the wide-field image is expanded by overwriting the overlapping area and additionally storing the unstored area, and the area corresponding to the acquired image is the range of the wide-field image. If the change amount of the acquired image with respect to the image of the corresponding region of the wide-field image is larger than a predetermined threshold value, the acquired image is associated with the wide-field image. The robot apparatus according to claim 1 , wherein an area to be overwritten is overwritten . 上記広視野画像生成手段は、前方への移動に対して、移動後に上記撮像手段によって取得された画像と上記一時記憶手段に記憶された広視野画像とを比較して拡大率を算出し、上記拡大率に基づいて上記広視野画像を拡大する請求項２記載のロボット装置。The wide-field image generation unit calculates an enlargement ratio by comparing the image acquired by the imaging unit after movement with the wide-field image stored in the temporary storage unit with respect to the forward movement, magnification robot apparatus according to claim 2, wherein you expand the wide-field image based on. 上記撮像手段の撮像方向を検出する検出手段を備え、
上記広視野画像生成手段は、上記検出手段によって検出された撮像方向情報に基づいて、上記撮像方向の変更方向とは反対方向に変更分に相当するだけ上記一時記憶手段に記憶された広視野画像を移動することによって、撮像方向と広視野画像の正面方向とを一致させる請求項２記載のロボット装置。Detecting means for detecting the imaging direction of the imaging means,
The wide-field image generation means stores the wide-field image stored in the temporary storage means corresponding to the change in the direction opposite to the change direction of the image pickup direction based on the image pickup direction information detected by the detection means. The robot apparatus according to claim 2 , wherein the imaging direction is matched with the front direction of the wide-field image by moving the. 上記記憶制御手段は、上記記憶手段に記憶され所定期間経過した広視野画像を消去する請求項１記載のロボット装置。It said storage control means, a robot apparatus according to claim 1, wherein you erase a wide-field image with the lapse of a predetermined time period stored in the storage means. 上記広視野画像は、上記撮像手段を中心とする３次元空間の球面に投影した画像である請求項１記載のロボット装置。The wide-field image, the robot device of the image der projected on the spherical surface of the three-dimensional space Ru claim 1, wherein the center of the image pickup means. 所定の画角で被写体を撮像する撮像手段と、
上記撮像手段によって随時取得された画像を逐次付加して上記撮像手段の画角よりも広い視野の広視野画像を生成する広視野画像生成手段と、
上記広視野画像を一時的に記憶する一時記憶手段と、
上記一時記憶手段に記憶された広視野画像を記憶手段に記憶制御する記憶制御手段とを備え、
上記記憶制御手段は、上記一時記憶手段に記憶された広視野画像と、上記記憶手段に記憶された最新の広視野画像である基準広視野画像とを比較して得られる変化量が予め決められた所定の閾値よりも大きくなったとき、上記一時記憶手段に記憶された広視野画像を上記記憶手段に記憶するとともに、上記記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した過去の広視野画像ほど少ない情報量の画像データに圧縮して書き換える画像記憶装置。Imaging means for imaging a subject at a predetermined angle of view;
Wide-field image generation means for sequentially adding images acquired at any time by the imaging means to generate a wide-field image having a wider field of view than the angle of view of the imaging means;
Temporary storage means for temporarily storing the wide-field image,
E Bei and storage control means for storing control in the storage means wide-field image stored in the temporary storage means,
The storage control unit has a predetermined amount of change obtained by comparing the wide-field image stored in the temporary storage unit with the reference wide-field image that is the latest wide-field image stored in the storage unit. When the predetermined threshold value is exceeded, the wide-field image stored in the temporary storage unit is stored in the storage unit, and the wide-field image stored in the storage unit is correlated with the elapsed time from the start of storage. An image storage device that compresses and rewrites image data with a smaller amount of information as the past wide-field image is reduced . 所定の画角で被写体を撮像する撮像工程と、
上記撮像工程において随時取得された画像を逐次付加して上記撮像工程で撮像される画角よりも広い視野の広視野画像を生成する広視野画像生成工程と、
上記広視野画像を一時記憶手段に一時的に記憶する一時記憶工程と、
上記一時記憶工程で記憶された広視野画像を記憶手段に記憶制御する記憶制御工程とを備え、
上記記憶制御工程では、上記一時記憶手段に記憶された広視野画像と、上記記憶手段に記憶された最新の広視野画像である基準広視野画像とを比較して得られる変化量が予め決められた所定の閾値よりも大きくなったとき、上記一時記憶手段に記憶された広視野画像を上記記憶手段に記憶するとともに、上記記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した過去の広視野画像ほど少ない情報量の画像データに圧縮して書き換える画像記憶方法。An imaging step of imaging a subject at a predetermined angle of view;
A wide-field image generation step of sequentially adding images acquired at any time in the imaging step to generate a wide-field image with a wider field of view than the angle of view captured in the imaging step;
A temporary storage step of temporarily storing the wide-field image in a temporary storage means ;
E Bei a storage control step of storing control in the storage means a wide viewing images stored in the temporary storage step,
In the storage control step, a change amount obtained by comparing the wide-field image stored in the temporary storage unit with the reference wide-field image that is the latest wide-field image stored in the storage unit is determined in advance. When the predetermined threshold value is exceeded, the wide-field image stored in the temporary storage unit is stored in the storage unit, and the wide-field image stored in the storage unit is correlated with the elapsed time from the start of storage. An image storage method in which a past wide-field image is compressed and rewritten into image data with a smaller amount of information . コンピュータに、
撮像手段において所定の画角で被写体を撮像する撮像処理と、
上記撮像処理によって随時取得される画像を逐次付加して上記撮像手段で撮像される画角よりも広い視野の広視野画像を生成する広視野画像生成処理と、
上記広視野画像を一時記憶手段に一時的に記憶する一時記憶処理と、
上記一時記憶手段に記憶された広視野画像を記憶手段に記憶制御する際に、上記一時記憶手段に記憶された広視野画像と、上記記憶手段に記憶された最新の広視野画像である基準広視野画像とを比較して得られる変化量が予め決められた所定の閾値よりも大きくなったとき、上記一時記憶手段に記憶された広視野画像を上記記憶手段に記憶するとともに、上記記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した過去の広視野画像ほど少ない情報量の画像データに圧縮して書き換える記憶制御処理と
を実行させるための制御プログラム。 On the computer,
Imaging processing for imaging a subject at a predetermined angle of view in the imaging means;
A wide-field image generation process for generating a wide-field image having a wider field of view than the angle of view captured by the imaging unit by sequentially adding images acquired as needed by the imaging process;
Temporary storage processing for temporarily storing the wide-field image in a temporary storage means ;
When the storage control in the storage means wide-field image stored in the temporary storage means, a wide-field image stored in the temporary storage means, the reference size is the latest wide-field image stored in the storage means When the amount of change obtained by comparing with the visual field image becomes larger than a predetermined threshold value, the wide-field image stored in the temporary storage unit is stored in the storage unit, and the storage unit control program order to execute a storage control process of rewriting by compressing the stored wide-field image to the image data of the smaller information amount past wide-field image correlated with the elapsed time from the storage start. コンピュータに、
撮像手段において所定の画角で被写体を撮像する撮像処理と、
上記撮像処理によって随時取得された画像を逐次付加して上記撮像手段で撮像される画角よりも広い視野の広視野画像を生成する広視野画像生成処理と、
上記広視野画像を一時記憶手段に一時的に記憶する記憶処理と、
上記一時記憶手段に記憶された広視野画像を記憶手段に記憶制御する際に、上記一時記憶手段に記憶された広視野画像と、上記記憶手段に記憶された最新の広視野画像である基準広視野画像とを比較して得られる変化量が予め決められた所定の閾値よりも大きくなったとき、上記一時記憶手段に記憶された広視野画像を上記記憶手段に記憶するとともに、上記記憶手段に記憶された広視野画像を記憶開始からの経過時間に相関した過去の広視野画像ほど少ない情報量の画像データに圧縮して書き換える記憶制御処理と
を実行させるための制御プログラムが記録された記録媒体。 On the computer,
Imaging processing for imaging a subject at a predetermined angle of view in the imaging means;
A wide-field image generation process for generating a wide-field image having a wider field of view than the angle of view captured by the imaging unit by sequentially adding images acquired as needed by the imaging process;
A storage process for temporarily storing the wide-field image in a temporary storage unit ;
When the storage control in the storage means wide-field image stored in the temporary storage means, a wide-field image stored in the temporary storage means, the reference size is the latest wide-field image stored in the storage means When the amount of change obtained by comparing with the visual field image becomes larger than a predetermined threshold value, the wide-field image stored in the temporary storage unit is stored in the storage unit, and the storage unit A recording medium recorded with a control program for executing a storage control process for compressing and rewriting a stored wide-field image into image data with a smaller amount of information as the past wide-field image correlates with the elapsed time from the start of storage .
JP2001128196A 2001-04-25 2001-04-25 ROBOT DEVICE, IMAGE STORAGE METHOD, IMAGE STORAGE DEVICE, CONTROL PROGRAM, AND RECORDING MEDIUM Expired - Fee Related JP4779226B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001128196A JP4779226B2 (en) 2001-04-25 2001-04-25 ROBOT DEVICE, IMAGE STORAGE METHOD, IMAGE STORAGE DEVICE, CONTROL PROGRAM, AND RECORDING MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001128196A JP4779226B2 (en) 2001-04-25 2001-04-25 ROBOT DEVICE, IMAGE STORAGE METHOD, IMAGE STORAGE DEVICE, CONTROL PROGRAM, AND RECORDING MEDIUM

Publications (2)

Publication Number Publication Date
JP2002326176A JP2002326176A (en) 2002-11-12
JP4779226B2 true JP4779226B2 (en) 2011-09-28

Family

ID=18976936

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001128196A Expired - Fee Related JP4779226B2 (en) 2001-04-25 2001-04-25 ROBOT DEVICE, IMAGE STORAGE METHOD, IMAGE STORAGE DEVICE, CONTROL PROGRAM, AND RECORDING MEDIUM

Country Status (1)

Country Link
JP (1) JP4779226B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4010161B2 (en) * 2002-03-07 2007-11-21 ソニー株式会社 Acoustic presentation system, acoustic reproduction apparatus and method, computer-readable recording medium, and acoustic presentation program.
JP4238679B2 (en) * 2003-09-12 2009-03-18 ソニー株式会社 Video recording / playback device
JP5850958B2 (en) 2014-01-24 2016-02-03 ファナック株式会社 Robot programming device for creating a robot program for imaging a workpiece
JP6413510B2 (en) * 2014-09-03 2018-10-31 村田機械株式会社 Carrier vehicle system and route periphery monitoring method
JP6443419B2 (en) 2016-10-04 2018-12-26 トヨタ自動車株式会社 Spoken dialogue apparatus and control method thereof
CN111866396B (en) * 2020-08-27 2022-04-12 路邦数码有限公司 Shooting assisting robot

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6224988A (en) * 1985-07-23 1987-02-02 志井田　孝 Robot having feeling
JPS63236108A (en) * 1987-03-25 1988-10-03 Hitachi Ltd Guiding device for moving object
JP2989617B2 (en) * 1989-09-29 1999-12-13 マツダ株式会社 Mobile vehicle environment recognition device
JPH04365104A (en) * 1991-06-13 1992-12-17 Toshiba Corp Optimum course planning device and autonomously moving robot
JPH07271434A (en) * 1994-03-30 1995-10-20 Nippon Telegr & Teleph Corp <Ntt> Environment map preparing method by plural mobile robots
JP4235858B2 (en) * 1999-05-07 2009-03-11 ソニー株式会社 Robot apparatus and obstacle map generation method for robot apparatus

Also Published As

Publication number Publication date
JP2002326176A (en) 2002-11-12

Similar Documents

Publication Publication Date Title
JP3855812B2 (en) Distance measuring method, apparatus thereof, program thereof, recording medium thereof, and robot apparatus mounted with distance measuring apparatus
JP4609584B2 (en) Robot device, face recognition method, and face recognition device
JP4032793B2 (en) Charging system, charging control method, robot apparatus, charging control program, and recording medium
JP3714268B2 (en) Robot device
KR100898435B1 (en) Robot apparatus and control method thereof
JP2004133637A (en) Face detector, face detection method and program, and robot apparatus
JP2004298977A (en) Action control device, action control method, action control program and mobile robot device
JP2005078376A (en) Object detection device, object detection method, and robot device
JP2006082150A (en) Robot device and its action controlling method
JP2003266345A (en) Path planning device, path planning method, path planning program, and moving robot device
JP7417356B2 (en) robot control system
JP4779226B2 (en) ROBOT DEVICE, IMAGE STORAGE METHOD, IMAGE STORAGE DEVICE, CONTROL PROGRAM, AND RECORDING MEDIUM
JP2004298975A (en) Robot device and obstacle searching method
JP2003136456A (en) Robot device, brightness detection method of robot device, brightness detection program and recording medium
JP7309371B2 (en) robot control system
JP2003271958A (en) Method and processor for processing image, program therefor, recording medium therefor, and robot system of type mounted with image processor
JP2004130427A (en) Robot device and method for controling operation of robot device
JP4281286B2 (en) Robot apparatus and control method thereof
JP4379052B2 (en) Moving object detection apparatus, moving object detection method, and robot apparatus
JP2020017206A (en) Information processing apparatus, action determination method, and program
JP2002239952A (en) Robot device, action control method for robot device, program, and recording medium
JP2004130426A (en) Robot device and its operation control method
JP2003346150A (en) Floor surface recognition device, floor surface recognition method, and robot device
JP2004054610A (en) Tracking device, its method and robot device
JP2004229003A (en) Robotic device and imaging direction switching method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110620

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140715

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees