JP2002326176A - ロボット装置、並びに、画像記憶方法及び画像記憶装置、並びに、制御プログラム及び記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 カメラの視野角に制限されない広範囲の画像
を合成し、合成した画像を時系列に沿って記憶する。 【解決手段】 広視野画像生成部３０において、周囲の
画像情報を取得するために能動的に取得された画像、ま
た、ＣＣＤカメラ２０から受動的に取得される画像を逐
次付加してＣＣＤカメラの画角よりも広い視野の広視野
画像を生成し、記憶制御部３１において、ＣＣＤカメラ
２０で取得された画像の画素値、特徴点等の変化量に応
じて広視野画像とこの広視野画像に関する付加情報とを
新たな基準広視野画像としてメモリカード２８に記憶
し、それまでメモリカード２８に記憶されてた基準広視
野画像を記憶開始からの経過時間に相関した情報量の画
像データに圧縮して記憶し直す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、内部状態に基づい
て行動するロボット装置、並びに、画像記憶装置及び画
像記憶方法に関し、特に、撮像手段において受動的又は
能動的に取得された狭視野画像から広視野画像を合成し
周囲の環境を空間的に認識して記憶するとともに、所定
期間前までの周囲の環境を時系列に沿って記憶するロボ
ット装置、並びに、所定の視野の画像データから広視野
画像データを合成し空間的に認識して記憶するととも
に、所定期間前までの画像データを時系列に沿って記憶
する画像記憶装置及び画像記憶方法に関する。

【０００２】

【従来の技術】電気的又は磁気的な作用を用いて人間
（生物）の動作に似た運動を行う機械装置を「ロボッ
ト」という。我が国においてロボットが普及し始めたの
は、１９６０年代末からであるが、その多くは、工場に
おける生産作業の自動化・無人化等を目的としたマニピ
ュレータや搬送ロボット等の産業用ロボット（Industri
al Robot）であった。

【０００３】最近では、人間のパートナーとして生活を
支援する、すなわち住環境その他の日常生活上の様々な
場面における人的活動を支援する実用ロボットの開発が
進められている。このような実用ロボットは、産業用ロ
ボットとは異なり、人間の生活環境の様々な局面におい
て、個々に個性の相違した人間、又は様々な環境への適
応方法を自ら学習する能力を備えている。例えば、犬、
猫のように４足歩行の動物の身体メカニズムやその動作
を模した「ペット型」ロボット、或いは、２足直立歩行
を行う動物の身体メカニズムや動作をモデルにしてデザ
インされた「人間型」又は「人間形」ロボット（Humano
id Robot）等の脚式移動ロボットは、既に実用化されつ
つある。

【０００４】これらの脚式移動ロボットは、産業用ロボ
ットと比較してエンターテインメント性を重視した様々
な動作を行うことができるため、エンターテインメント
ロボットと呼称される場合もある。動物や人間の容姿に
できるだけ近い外観形状や動作を行う脚式移動ロボット
は、「目」に相当する小型カメラ等を備えているものも
ある。この場合、脚式移動ロボットは、取得した画像に
対して画像処理を施すことによって、画像情報として入
力した周囲の環境を認識することができる。

【０００５】

【発明が解決しようとする課題】ところが、従来のロボ
ット装置は、搭載されたカメラの視野が限られているた
め、画像認識に有効な視野範囲が限定されるという欠点
がある。また、画像処理のために使用できるメモリ及び
ＣＰＵのリソースが限定されているため画像処理速度、
画像容量等に限界があった。

【０００６】搭載されたカメラの視野を改善する方法と
しては、魚眼レンズを用いて広視野画像を得る方法、全
方位カメラを用いて全方位の画像を取得する方法、カメ
ラを水平方向に回転させてパノラマ画像を平面画像とし
て得る方法、高解像度カメラとともに広角カメラを併用
する方法等が考案されている。

【０００７】しかし、魚眼レンズや全方位カメラを用い
る場合、認識のための画像解析の前処理として、画像の
歪みを補正する処理を施す必要があり、この補正処理と
画像解析処理には時間がかかる。これらのロボット装置
には、リアルタイム性が要求されるため、この方法は、
ロボット装置に所定の動作を行わせるには、不適合であ
る。また、これらの処理の結果として得られる画像の解
像度は、相対的に低くなるため認証の程度が低下する。

【０００８】また、パノラマ画像を生成する方法は、カ
メラを回転させて画像を取得する動作に時間がかかるた
め、画像を認識するまでに要する時間も増大してしま
う。また、高解像度カメラと広角カメラとを併用する方
法は、ロボット装置のようにカメラを搭載するスペース
が非常に限られている場合、両カメラを搭載するスペー
スが確保できないという問題点がある。

【０００９】取得した画像を全て記憶しておき、全ての
画像に対して認識処理を施す方法も考えられる。この方
法によれば全画像データの内容を検索することができる
が、膨大な画像データの中から情報を抽出することは、
リソースの限られたロボット装置には不適合である。

【００１０】さらに、脚式移動ロボットは、周囲の画像
データが収集できたとしても、歩行時に取得される画像
が上下左右にぶれるため自らが移動している際は、移動
する対象物の認識が困難である。つまり、自身の動きに
よる画像のぶれか、対象物の移動によるぶれかを検出で
きないという問題点があった。

【００１１】そこで本発明は、このような従来の実情に
鑑みて提案されたものであり、カメラの視野角に制限さ
れない広範囲の画像を合成し周囲の環境を空間的に認識
して記憶するとともに、周囲の環境を時系列に沿って記
憶するロボット装置、並びに、カメラの視野角に制限さ
れない広範囲の画像を合成し、合成した画像データを時
系列に沿って記憶する画像記憶装置及び画像記憶方法を
提供することを目的とする。

【００１２】

【課題を解決するための手段】上述した目的を達成する
ために、本発明にかかるロボット装置は、移動手段を備
え、内部状態に応じて自律動作するロボット装置におい
て、ロボット装置正面に対して独立した方向に可動とさ
れ所定の画角で被写体を撮像する撮像手段と、撮像手段
によって能動的に取得された画像、又は撮像手段を介し
て受動的に取得された画像を逐次付加して撮像手段の画
角よりも広い視野の広視野画像を生成する広視野画像生
成手段と、広視野画像を一時的に記憶する一時記憶手段
と、取得された画像の変化量に応じて、一時記憶手段に
記憶された広視野画像を該広視野画像に関する付加情報
とともに基準広視野画像として時系列で記憶手段に記憶
し、記憶手段に記憶された広視野画像を記憶開始からの
経過時間に相関した情報量の画像データに圧縮して書き
換える記憶制御手段とを備える。

【００１３】このようなロボット装置は、撮像手段を介
して能動的又は受動的に取得された画像を逐次付加して
撮像手段の画角よりも広い視野の広視野画像を生成し、
取得された画像の変化量に応じて該広視野画像に関する
付加情報とともに広視野画像を記憶手段に時系列で記憶
し、記憶手段に記憶された広視野画像を記憶開始からの
経過時間に相関した情報量の画像データに圧縮して書き
換える。

【００１４】また、本発明にかかる画像記憶装置は、所
定の画角で被写体を撮像する撮像手段と、撮像手段によ
って随時取得された画像を逐次付加して撮像手段の画角
よりも広い視野の広視野画像を生成する広視野画像生成
手段と、広視野画像を一時的に記憶する一時記憶手段
と、取得された画像の変化量に応じて、一時記憶手段に
記憶された広視野画像を該広視野画像に関する付加情報
とともに基準広視野画像として時系列で記憶手段に記憶
し、記憶手段に記憶された広視野画像を記憶開始からの
経過時間に相関した情報量の画像データに圧縮して書き
換える記憶制御手段とを備える。

【００１５】このような画像記憶装置は、撮像手段を介
して取得された画像を逐次付加して撮像手段の画角より
も広い視野の広視野画像を生成し、取得された画像の変
化量に応じて該広視野画像に関する付加情報とともに広
視野画像を記憶手段に時系列で記憶し、記憶手段に記憶
された広視野画像を記憶開始からの経過時間に相関した
情報量の画像データに圧縮して書き換える。

【００１６】また、本発明にかかる画像記憶方法は、所
定の画角で被写体を撮像する撮像工程と、撮像工程にお
いて随時取得された画像を逐次付加して撮像工程で撮像
される画角よりも広い視野の広視野画像を生成する広視
野画像生成工程と、広視野画像を一時的に記憶する一時
記憶工程と、取得された画像の変化量に応じて、一時記
憶工程で記憶された広視野画像を該広視野画像に関する
付加情報とともに基準広視野画像として時系列で記憶手
段に記憶し、記憶手段に記憶された広視野画像を記憶開
始からの経過時間に相関した情報量の画像データに圧縮
して書き換える記憶制御工程とを備える。

【００１７】このような画像記憶方法では、撮像工程に
おいて取得された画像を逐次付加して撮像手段の画角よ
りも広い視野の広視野画像を生成し、取得された画像の
変化量に応じて該広視野画像に関する付加情報とともに
広視野画像を時系列で記憶手段に記憶し、記憶された広
視野画像を記憶開始からの経過時間に相関した情報量の
画像データに圧縮して書き換える。

【００１８】本発明にかかる制御プログラムは、撮像手
段において所定の画角で被写体を撮像する撮像処理と、
撮像処理によって随時取得される画像を逐次付加して撮
像手段で撮像される画角よりも広い視野の広視野画像を
生成する広視野画像生成処理と、広視野画像を一時的に
記憶する記憶処理と、取得された画像の変化量に応じ
て、記憶処理で記憶した広視野画像を該広視野画像に関
する付加情報とともに基準広視野画像として時系列で記
憶手段に記憶し、記憶手段に記憶された広視野画像を記
憶開始からの経過時間に相関した情報量の画像データに
圧縮して書き換える記憶制御処理とを画像処理機能を備
える電子機器に実行させるためのプログラムである。

【００１９】このような制御プログラムは、撮像処理に
よって随時取得される画像を逐次付加して撮像手段で撮
像される画角よりも広い視野の広視野画像を生成し、取
得された画像の変化量に応じて、記憶処理で記憶した広
視野画像を該広視野画像に関する付加情報とともに基準
広視野画像として時系列で記憶手段に記憶し、記憶手段
に記憶された広視野画像を記憶開始からの経過時間に相
関した情報量の画像データに圧縮して書き換える処理を
備えていない電子機器に、この一連の画像記憶処理を実
行させる。また、上述の制御プログラムを記録媒体に記
録して提供する。

【００２０】

【発明の実施の形態】本発明の一構成例として示すロボ
ット装置は、内部状態に応じて自律動作するロボット装
置である。このロボット装置は、少なくとも上肢と体幹
部と下肢とを備え、上肢及び下肢、又は下肢のみを移動
手段とする脚式移動ロボットである。脚式移動ロボット
には、４足歩行の動物の身体メカニズムやその動きを模
倣したペット型ロボットや、下肢のみを移動手段として
使用する２足歩行の動物の身体メカニズムやその動きを
模倣したロボット装置があるが、本実施の形態として示
すロボット装置は、４足歩行タイプの脚式移動ロボット
である。

【００２１】このロボット装置は、住環境その他の日常
生活上の様々な場面における人的活動を支援する実用ロ
ボットであり、内部状態（怒り、悲しみ、喜び、楽しみ
等）に応じて行動できるほか、４足歩行の動物が行う基
本的な動作を表出できるエンターテインメントロボット
である。

【００２２】このロボット装置は、特に、「犬」を模し
た形体であり、頭部、胴体部、上肢部、下肢部、尻尾部
等を有している。各部の連結部分及び関節に相当する部
位には、運動の自由度に応じた数のアクチュエータ及び
ポテンショメータが備えられており、制御部の制御によ
って目標とする動作を表出できる。

【００２３】さらに、ロボット装置は、周囲の状況を画
像データとして取得するための撮像部や、外部から受け
る作用を検出するための各種センサ等を備えている。撮
像部としては、小型のＣＣＤ（Charge-Coupled Devic
e）カメラを使用する。また、センサには、角速度を検
出する角速度センサ、ＣＣＤカメラによって撮像した被
写体までの距離を計測する距離センサ、外部からの接触
を検出するタッチセンサ等があり、これらは、ロボット
装置外部又は内部の適切な箇所に設置されている。

【００２４】本発明の一構成例として示すロボット装置
は、ＣＣＤカメラによって取得された限られた視野角の
画像から、ＣＣＤカメラの画角よりも広い視野の画像を
生成し、この広い視野の画像を使用することによって、
周囲の状況を、限られた領域としてではなく、広い空間
として認識できる。また、この広い視野の画像に時刻情
報、位置情報、姿勢情報等の付加情報を付加して順次記
憶することによって、空間の情報に時間情報を加味して
認識することができる。ここで、時刻情報とは、例え
ば、広い視野の画像を生成したときの時刻であり、位置
情報とは、画像を取得した位置を絶対位置、又は、ある
基準地点からの相対位置で表した情報であり、姿勢情報
とは、画像を取得したときのロボット装置の姿勢を示す
情報である。

【００２５】このロボット装置が周囲の状況を画像とし
て取得し、限られた視野の画像から広い視野の画像（以
下、広視野画像と記す。）を生成し、さらに、生成した
広視野画像とこの広視野画像に関する付加情報とを時間
経過とともに記憶する処理について、図１を用いて説明
する。

【００２６】ステップＳ１において、ＣＣＤカメラから
画像を取得する。このとき、画像の取得には、画像認識
を目的として撮影する能動的撮影と、画像認識を目的と
する撮影ではないとき、すなわち、待機中或いは他の動
作中にＣＣＤカメラから常に「流れ込む」画像を取得す
る受動的撮影とがある。

【００２７】続いてステップＳ２では、ロボット装置が
移動しているか否か、動作しているか否かが検出され
る。ロボット装置の移動は、各アクチュエータの動作や
ポテンショメータから検出できる。

【００２８】ロボット装置が移動している場合、ステッ
プＳ３において、これまでに生成された広視野画像を変
更する。すなわち、ＣＣＤカメラの角度情報等の方向デ
ータに基づいて、変更された方向とは反対の方向に変更
分に相当するだけ広視野画像を移動することによって、
撮像方向と広視野画像の正面方向とを一致させる。ステ
ップＳ２において、ロボット装置が移動していない場合
は、ステップＳ４へと移る。

【００２９】ステップＳ４において、ＣＣＤカメラの方
向データより、取得した画像と広視野画像との対応関係
を算出する。つまり、取得した画像がこのときまでに生
成された広視野画像のどの部分に対応するかを算出す
る。

【００３０】続いて、ロボット装置は、ステップＳ５に
おいて、取得した画像が未記憶の視野領域を含むか否か
を判別する。未記憶の視野領域を含む場合、ステップＳ
７へ移る。未記憶の視野領域を含まない場合、ステップ
Ｓ６において、取得した画像の変化量が閾値より大きい
か否かを判別する。ここで変化量とは、例えば、取得し
た画像の画素分布と、これまでに生成された広視野画像
内における、この画像に対応するの画素分布との差異等
から判別される変化量である。

【００３１】変化量が閾値より小さい場合、ステップＳ
１に戻って新たに取得した画像に対して同様の処理を繰
り返す。また、変化量が閾値より大きい場合、ステップ
Ｓ７において、取得画像を広視野画像に合成する。この
とき、これまでに生成された広視野画像と重複する領域
は、上書きし、未記憶領域は、追加記憶することで広視
野画像の領域を拡張する。

【００３２】このように、取得画像の変化量と予め決定
された所定の閾値とを比較することによって、変化量の
少ない画像を重複して記憶することによる処理時間や記
憶容量等の損失を防ぐことができる。

【００３３】続いて、ステップＳ８において、拡張され
た後の広視野画像を基準広視野画像として記憶部に記憶
されている画像と比較する。基準広視野画像とは、所定
時間前の広視野画像を示している。記憶部には、生成さ
れた広視野画像が付加情報とともに時系列に沿って順番
に記憶されている。

【００３４】ロボット装置は、ステップＳ９において、
拡張された広視野画像の変化量が閾値以上であるか否か
判別する。ステップＳ６で使用した閾値が取得した狭視
野の画像における変化量の閾値であるのに対して、ここ
での閾値は、例えば、生成された広視野画像全体に亘る
変化量の閾値を示している。

【００３５】拡張された広視野画像の変化量が閾値より
小さい場合、ステップＳ１に戻って、新たに取得された
画像に対して同様の処理を繰り返す。すなわち、広視野
画像をさらに拡張するための画像処理を行う。一方、変
化量が閾値より大きい場合、ステップＳ１０へ移って、
拡張された広視野画像を新規の基準広視野画像として更
新するとともに、これまで基準広視野画像として使用し
ていた画像を含めた全ての広視野画像を記憶開始からの
経過時間に応じて圧縮し記憶部に保存し直す。

【００３６】上述の画像処理及び記憶処理によって、ロ
ボット装置は、搭載されたＣＣＤカメラの視野角に制限
されない広い範囲の画像を画像認識のための画像として
利用できる。

【００３７】また、従来のロボット装置では、認識させ
る物体に対するアテンション（捕捉指示）を予め与えて
積極的に記憶させる必要があったが、本実施の形態とし
て示すロボット装置は、能動的撮影又は受動的撮影によ
って取得した画像から広視野画像を生成し、生成した広
視野画像にロボット装置の位置情報、姿勢情報、時間情
報等の付加情報を添付して併せて記憶することによっ
て、記憶内容を検索する際には、いつ、何処で、何を見
たか等を、人間が記憶を「思い出す」かのように検索す
ることができる。特に、過去に受動的に視野に入った物
体やアテンション（捕捉指示）を与えていない物体も記
憶していることになるため、予め指定された物体でなく
とも検索できる。

【００３８】以下、本発明の一構成例として示すロボッ
ト装置について、図面を参照して説明する。

【００３９】本実施の形態では、ロボット装置１は、図
２に示すように、「犬」を模した形状のいわゆるペット
型ロボットである。ロボット装置１は、胴体部ユニット
２の前後左右に脚部ユニット３Ａ、３Ｂ、３Ｃ、３Ｄが
連結され、胴体部ユニット２の前端部に頭部ユニット４
が連結され、後端部に尻尾部ユニット５が連結されて構
成されている。

【００４０】胴体部ユニット２には、図３に示すよう
に、ＣＰＵ（Central Processing Unit）１０、ＤＲＡ
Ｍ（Dynamic Random Access Memory）１１、フラッシュ
ＲＯＭ（Read Only Memory）１２、ＰＣ（Personal Com
puter）カードインターフェイス回路１３及び信号処理
回路１４が内部バス１５を介して相互に接続されること
により形成されたコントロール部１６と、このロボット
装置１の動力源としてのバッテリ１７とが収納されてい
る。また、胴体部ユニット２には、ロボット装置１の向
きや動きの加速度を検出するための角速度センサ１８及
び加速度センサ１９が収納されている。

【００４１】頭部ユニット４には、外部の状況を撮像す
るためのＣＣＤ（Charge Coupled Device）カメラ２０
と、使用者からの「撫でる」や「叩く」といった物理的
な働きかけにより受けた圧力を検出するためのタッチセ
ンサ２１と、前方に位置する物体までの距離を測定する
ための距離センサ２２と、外部音を集音するためのマイ
ク２３と、鳴き声等の音声を出力するためのスピーカ２
４と、ロボット装置１の「目」に相当するＬＥＤ（Ligh
t Emitting Diode）（図示せず）等が所定位置にそれぞ
れ配置されている。ＣＣＤカメラ２０は、頭部ユニット
４の向く方向にある被写体を所定の画角で撮像すること
ができる。

【００４２】さらに、胴体部ユニット２におけるコント
ロール部１６には、ＣＣＤカメラ２０によって取得され
た画像を逐次付加することによってＣＣＤカメラ２０の
画角よりも広い視野の画像（以下、広視野画像と記
す。）を生成する広視野画像生成部３０と、広視野画像
とこの広視野画像に関する付加情報とを記憶開始からの
経過時間に相関した情報量の画像データに圧縮して記憶
し直す記憶制御部３１とを備えている。

【００４３】広視野画像生成部３０は、例えば、周囲の
画像情報を取得するために能動的に取得された画像、ま
た、ＣＣＤカメラ２０から受動的に取得される画像を逐
次付加してＣＣＤカメラの画角よりも広い視野の広視野
画像を生成する。

【００４４】また、記憶制御部３１は、ＣＣＤカメラ２
０で取得された画像の画素値、特徴点等の変化量に応じ
て、広視野画像とこの広視野画像に関する付加情報とを
新たな基準広視野画像としてメモリカード２８に記憶
し、それまでメモリカード２８に記憶されてた基準広視
野画像を記憶開始からの経過時間に相関した情報量の画
像データに圧縮して記憶し直す。この記憶制御に関する
詳細は、後述する。

【００４５】各脚部ユニット３Ａ〜３Ｄの関節部分、各
脚部ユニット３Ａ〜３Ｄと胴体部ユニット２との連結部
分、頭部ユニット４と胴体部ユニット２との連結部分、
尻尾部ユニット５と尻尾５Ａとの連結部分には、自由度
数分のアクチュエータ２５_１〜２５_ｎ及びポテンショメ
ータ２６_１〜２６_ｎがそれぞれ配設されている。アクチ
ュエータ２５_１〜２５_ｎは、例えば、サーボモータを構
成として有している。サーボモータの駆動により、脚部
ユニット３Ａ〜３Ｄが制御されて目標の姿勢、或いは動
作に遷移する。

【００４６】これら角速度センサ１８、加速度センサ１
９、タッチセンサ２１、距離センサ２２、マイク２３、
スピーカ２４及び各ポテンショメータ２６_１〜２６_ｎな
どの各種センサ並びにＬＥＤ及び各アクチュエータ２５
_１〜２５_ｎは、それぞれ対応するハブ２７_１〜２７_ｎを
介してコントロール部１６の信号処理回路１４と接続さ
れ、ＣＣＤカメラ２０及びバッテリ１７は、それぞれ信
号処理回路１４と直接接続されている。

【００４７】信号処理回路１４は、上述の各センサから
供給されるセンサデータや画像データ及び音声データを
順次取り込み、これらをそれぞれ内部バス１５を介して
ＤＲＡＭ１１内の所定位置に順次格納する。また信号処
理回路１４は、これとともにバッテリ１７から供給され
るバッテリ残量を表すバッテリ残量データを順次取り込
み、これをＤＲＡＭ１１内の所定位置に格納する。

【００４８】このようにしてＤＲＡＭ１１に格納された
各センサデータ、画像データ、音声データ及びバッテリ
残量データは、ＣＰＵ１０が当該ロボット装置１の動作
制御を行う際に使用される。

【００４９】ＣＰＵ１０は、ロボット装置１の電源が投
入された初期時において、フラッシュＲＯＭ１２に格納
された制御プログラムを読み出して、ＤＲＡＭ１１に格
納する。又は、ＣＰＵ１０は、図２に図示しない胴体部
ユニット２のＰＣカードスロットに装着された半導体メ
モリ装置、例えばいわゆるメモリカード２８に格納され
た制御プログラムをＰＣカードインターフェイス回路１
３を介して読み出してＤＲＡＭ１１に格納する。

【００５０】ＣＰＵ１０は、上述のように信号処理回路
１４よりＤＲＡＭ１１に順次格納される各センサデー
タ、画像データ、音声データ、及びバッテリ残量データ
に基づいて自己及び周囲の状況や、使用者からの指示及
び働きかけの有無を判断している。

【００５１】さらに、ＣＰＵ１０は、この判断結果とＤ
ＲＡＭ１１に格納した制御プログラムとに基づく行動を
決定する。ＣＰＵ１０は、当該決定結果に基づいてアク
チュエータ２５_１〜２５_ｎの中から必要とするアクチュ
エータを駆動することによって、例えば頭部ユニット４
を上下左右に振らせたり、尻尾部ユニット５の尻尾を動
かしたり、各脚部ユニット３Ａ乃至３Ｄを駆動して歩行
させたりする。また、ＣＰＵ１０は、必要に応じて音声
データを生成し、信号処理回路１４を介してスピーカ２
４に供給する。また、ＣＰＵ１０は、上述のＬＥＤの点
灯・消灯を指示する信号を生成し、ＬＥＤを点灯したり
消灯したりする。

【００５２】このように、ロボット装置１は、自己及び
周囲の状況や、使用者からの指示及び働きかけに応じて
自律的に行動する。

【００５３】続いて、ロボット装置１が、ＣＣＤカメラ
から得られた画像からＣＣＤカメラの視野角よりも広い
範囲の画像を生成する場合を、図４を用いて説明する。

【００５４】図４（ａ）に、ＣＣＤカメラ２０の動きに
合わせて限られた画角の画像が次々と取得される様子を
示し、図４（ｂ）に合成された広視野画像を示す。図４
（ａ）及び図４（ｂ）における画枠１００は、ロボット
装置１において生成される広視野画像の限界画枠を示し
ている。また、図４（ａ）に示す画像の１つ１つの画枠
の大きさは、ＣＣＤカメラ２０の視野に相当する。例え
ば、ＣＣＤカメラ２０が図中矢印に沿って動くとき、Ｃ
ＣＤカメラ２０から画像１０１ａ、１０１ｂ、１０１
ｃ、・・・、１０１ｆが撮像される。最新のロボット装
置１の視野が画像１０１ｇである。

【００５５】ＣＣＤカメラ２０によって撮影される各画
像は、ビデオ等の撮像機器で得られる画像のように、例
えば、３０分の１秒毎に撮影される各フレームを示すた
め、実際は、各画像の間隔は、狭く連続的である。ただ
し、各画像は、所定時間毎に撮影される静止画像であっ
てもよい。

【００５６】ロボット装置１における広視野画像生成部
３０は、図１に示した処理に基づいて、ＣＣＤカメラ２
０から取得した画像を画像間で適合処理（マッチング）
し、マッチングした位置で画像を合成して繋ぎ合わせ
る。この処理を繰り返すことにより、ＣＣＤカメラ２０
の撮像方向に追従して次々と画像が付加されて拡張され
ていく。マッチングの際には、ロボット装置のアクチュ
エータの角度情報を用いることによって、マッチングの
範囲を限定することができる。このようにして広視野画
像１０２が生成される。

【００５７】広視野画像生成部３０が広視野画像を生成
する際、平面画像を重ね合わせる手法では、ロボット装
置１の正面の一点から離れるにしたがって画像の歪みが
問題となる。そこで、広視野画像制止絵部３０は、球面
上に投影した球面画像として広視野画像を生成する。図
５に、ＣＣＤカメラ２０からの画像を球面投影して広視
野画像を生成する様子を示す。ＣＣＤカメラ２０から得
られた画像１０３の仮想球面１１０上への投影画像を画
像１０３ａとし、画像１０４の球面１１０上への投影画
像を画像１０４ａとする。仮想球面１１０は、ＣＣＤカ
メラ２０を中心Ｏとしている。これにより、歪みの影響
のない広視野画像１０５が得られる。

【００５８】続いて、ロボット装置１が移動せず、その
場でＣＣＤカメラ２０の向きだけを変えたときの広視野
画像の生成を図６及び図７に示す。図６における矢印
は、ＣＣＤカメラ２０の撮像方向を示している。図７
（ａ）には、カメラ方向が方向Ｄ _１のときの取得画像及
び広視野画像を示し、図７（ｂ）には、カメラ方向が方
向Ｄ_２のときの取得画像及び広視野画像を示す。

【００５９】図６に示すように、ロボット装置１が方向
Ｄ_１から方向Ｄ_２へと向きを変えた場合、ロボット装置
１の正面方向が右方に変わる。方向の変更に伴って、ロ
ボット装置１の正面の画像は、図７（ａ）に示すＣＣＤ
カメラ２０の撮像方向Ｄ_１の画像１０６からＣＣＤカメ
ラ２０の撮像方向Ｄ_２の画像１０７へと変化する。この
とき広視野画像生成部３０は、図７（ｂ）に示すよう
に、ロボット装置１の動きから検出される移動方向と移
動量に基づいて、生成された広視野画像１０８を左方に
移動することによって、ロボット装置１の正面方向と広
視野画像１０８の正面方向とを一致させる。この状態
で、広視野画像生成部３０は、引き続き、図１に説明し
た処理に基づいて広視野画像を生成することによって、
姿勢を変える前に得られていた画像情報を保持したま
ま、広視野画像の拡張処理を続けることができる。

【００６０】続いて、ロボット装置１が移動した場合の
広視野画像の生成を図８及び図９に示す。図８に示すよ
うに、ロボット装置１がポジションＰ_１からポジション
Ｐ_２へと前進した場合を考える。図９（ａ）にポジショ
ンＰ_１における取得画像及び広視野画像を示し、図９
（ｂ）にポジションＰ_２における取得画像及び広視野画
像を示す。

【００６１】定位置にある被写体を撮像した場合、前進
前に撮影された画像１０９と前進後に撮影される画像１
１０とでは、後者の方が被写体が拡大されて表示され
る。したがって、広視野画像生成部３０は、前進後に得
られた画像１１０と、記憶している広視野画像１１１と
の間で画像の適合処理（マッチング）を行って、画像の
拡大率を算出する。得られた拡大率に基づいて広視野画
像１１１の全体を拡大し、拡大広視野画像１１２を得る
ことによって、移動前に得られていた画像情報を有効に
利用して、移動後の位置で広視野画像の拡張処理を続け
ることができる。

【００６２】また、ロボット装置１がポジションＰ_３か
らポジションＰ_４へと横移動した場合について図１０及
び図１１に示す。図１１（ａ）にポジションＰ_３におけ
る取得画像及び広視野画像を示し、図１１（ｂ）にポジ
ションＰ_４における取得画像及び広視野画像を示す。

【００６３】右方向に移動した場合、広視野画像生成部
３０は、ロボット装置１の前方方向の広視野画像１１５
と移動前に取得した画像１１３と移動後に取得した画像
１１４との間で画像をマッチングすることにより、得ら
れた移動分だけ広視野画像１１５を左方に移動させるこ
とによって、ロボット装置１の正面方向と広視野画像の
正面とを一致させることができる。

【００６４】なお、以上説明した広視野画像の生成にお
いて、ステレオ計測等の手法によって、広視野画像中の
対象物までの距離情報を得られる場合には、その距離情
報を用いることで拡大率及び移動距離を決定することも
できる。

【００６５】次に、取得した画像を用いて広視野画像を
拡張する場合について、図１２を用いて具体的に説明す
る。これは、図１に示した一連の処理工程のうち、ステ
ップＳ５乃至ステップＳ７に相当する。

【００６６】広視野画像生成部３０は、図１２（ａ）に
示すように、ＣＣＤカメラ２０によって取得される画像
１１６と広視野画像１１７とを常に比較している。画像
１１６が広視野画像１１７の情報を含まない場合、若し
くは一部含む場合には、広視野画像生成部３０は、図１
に示した処理によって広視野画像を拡張する。一方、画
像１１６が既に生成されている広視野画像１１７の範囲
内の画像である場合、広視野画像生成部３０は、広視野
画像１１７の対応箇所の画像領域１１８と画像１１６と
を比較する。その変化量が予め決められた所定の閾値よ
りも大きい場合は、広視野画像１１７の対応する領域に
画像１１６を上書きする。この変化量は、取得画像と広
視野画像のこの画像に対応する領域の画素値の変化量で
あるほかに、画像から特徴量を抽出して、その特徴点の
画素値のみの変化量であってもよい。このように変化量
が所定量を超える場合にのみ、画像処理することにより
合成のための無駄な演算処理を省くことができる。

【００６７】以上説明したように、限られた画像から広
視野画像を生成して広視野画像を用いて画像認識する手
法によれば、ロボット装置１が移動しているときに移動
物体を認識する際の認識精度が向上するという利点があ
る。

【００６８】図１３には、ロボット装置１が歩行動作を
しているとき、ＣＣＤカメラ２０において取得される画
像を並べて示してある。ＣＣＤカメラ２０の限られた画
角１１９に移動する対象物体１２０が撮像されている様
子を模式的に示している。狭視野の画像では、図１３に
示すように、上下左右方向に一様でないぶれ成分を含む
ため、対象物体１２０の動きか歩行動作による視野ぶれ
かを区別することは困難であった。しかし、図１４に示
すように、本実施の形態のロボット装置１では、広視野
画像生成部３０において、これらの取得画像と広視野画
像１２１とをマッチングすることによって、ロボット装
置１の動きによる画像のぶれ成分と対象物体１２０の移
動成分とを分離することができる。図１４では、対象物
体１２０が図中に示す矢印方向に移動していることが認
識できる。したがって、広視野画像を生成することによ
って、移動物体の動きの認識精度が向上する。

【００６９】さらに、ジャイロセンサ等のＣＣＤカメラ
の向きを検出できるセンサを用いることにより、広視野
画像上の視野領域を決定することができるため、マッチ
ング処理では認識することが困難な大きな対象物の動き
も認識することができる。

【００７０】次に、生成された広視野画像の保持方法に
ついて説明する。これは、図１に示した一連の処理工程
におけるステップＳ９乃至ステップＳ１０に相当する。
ＣＣＤカメラ２０において取得された画像から生成され
た広視野画像は、ロボット装置１の移動や環境の変化、
つまり画像の変化量に伴って変更される。記憶制御部３
１は、生成された広視野画像と基準となる広視野画像と
を比較し、変化量が予め決められた所定の閾値よりも大
となったとき、その最新の広視野画像が基準広視野画像
として保存する。この操作を繰り返すことによって、閾
値以上の変化量を持つ広視野画像が画像列として逐次記
憶される。変化量の小さい広視野画像は、記憶されない
ため、記憶容量が節約できる。したがって、ロボット装
置１上のリソースを有効に利用することができる。

【００７１】記憶制御部３１は、広視野画像をロボット
装置１内に設けられた図示しない不揮発性メモリに記憶
する。ロボット装置１では、特に、メモリカード２８の
ような着脱可能な記憶媒体に記憶することもできる。

【００７２】図１５には、広視野画像１００_１、広視野
画像１００_２、・・・、広視野画像１００_ｋ−１、広視
野画像１００_ｋ、・・・、広視野画像１００_ｍ−１、広
視野画像１００_ｍ、・・・、広視野画像１００_ｎ−２、
広視野画像１００_ｎ−１、広視野画像１００_ｎが時系列
に沿ってメモリカード２８に記憶されている様子を概念
的に示してある。

【００７３】記憶制御部３１は、広視野画像を広視野画
像に関する付加情報１３０_１、１３０_２、１３
０_ｋ−１、１３０_ｋとともに記憶し、記憶開始からの経
過時間Ｔに相関した情報量の画像データに圧縮して記憶
する。つまり、過去の広視野画像ほど情報量を抑えて記
憶する。ここでの画像圧縮には、いわゆるＪＰＥＧ方
式、ＭＰＥＧ方式等、既知の圧縮方法が適用できる。ま
た、経過時間によっては、広視野画像１００_ｍ−１、１
００_ｍ、１００_ｎ−２乃至１００_ｎのように、例えば、
特徴点の画素値のみを画像データとは異なる別の抽象的
なデータに変換して、さらに記憶容量を小さくして記憶
する。広視野画像は、所定の期間記憶された後、消去さ
れる。

【００７４】このように、ロボット装置１では、過去の
広視野画像ほど情報量を少なくすることによって、限ら
れたメモリ及びＣＰＵのリソースの中で効率的に画像認
識処理及び画像記憶処理を実行できる。また、過去の記
憶を忘れていく「人間の記憶モデル」に、より近い記憶
モデルを実現することができる。

【００７５】なお、広視野画像を記憶してから消去する
までの時間及び記憶する広視野画像の枚数は、ロボット
装置のリソースに応じて変更できる。

【００７６】ところで、本実施の形態として示すロボッ
ト装置１は、内部状態に応じて自律的に行動できるロボ
ット装置である。ロボット装置１における制御プログラ
ムのソフトウェア構成は、図１６に示すようになる。こ
の制御プログラムは、上述したように、予めフラッシュ
ＲＯＭ１２に格納されており、ロボット装置１の電源投
入初期時において読み出される。

【００７７】図１６において、デバイス・ドライバ・レ
イヤ３０は、制御プログラムの最下位層に位置し、複数
のデバイス・ドライバからなるデバイス・ドライバ・セ
ット３１から構成されている。この場合、各デバイス・
ドライバは、ＣＣＤカメラ２０（図３）やタイマ等の通
常のコンピュータで用いられるハードウェアに直接アク
セスすることを許されたオブジェクトであり、対応する
ハードウェアからの割り込みを受けて処理を行う。

【００７８】また、ロボティック・サーバ・オブジェク
ト３２は、デバイス・ドライバ・レイヤ３０の最下位層
に位置し、例えば上述の各種センサやアクチュエータ２
５_１〜２５_ｎ等のハードウェアにアクセスするためのイ
ンターフェイスを提供するソフトウェア群でなるバーチ
ャル・ロボット３３と、電源の切換えなどを管理するソ
フトウェア群でなるパワーマネージャ３４と、他の種々
のデバイス・ドライバを管理するソフトウェア群でなる
デバイス・ドライバ・マネージャ３５と、ロボット装置
１の機構を管理するソフトウェア群でなるデザインド・
ロボット３６とから構成されている。

【００７９】マネージャ・オブジェクト３７は、オブジ
ェクト・マネージャ３８及びサービス・マネージャ３９
から構成されている。オブジェクト・マネージャ３８
は、ロボティック・サーバ・オブジェクト３２、ミドル
・ウェア・レイヤ４０、及びアプリケーション・レイヤ
４１に含まれる各ソフトウェア群の起動や終了を管理す
るソフトウェア群であり、サービス・マネージャ３９
は、メモリカード２８（図３）に格納されたコネクショ
ンファイルに記述されている各オブジェクト間の接続情
報に基づいて各オブジェクトの接続を管理するソフトウ
ェア群である。

【００８０】ミドル・ウェア・レイヤ４０は、ロボティ
ック・サーバ・オブジェクト３２の上位層に位置し、画
像処理や音声処理などのこのロボット装置１の基本的な
機能を提供するソフトウェア群から構成されている。ま
た、アプリケーション・レイヤ４１は、ミドル・ウェア
・レイヤ４０の上位層に位置し、当該ミドル・ウェア・
レイヤ４０を構成する各ソフトウェア群によって処理さ
れた処理結果に基づいてロボット装置１の行動を決定す
るためのソフトウェア群から構成されている。

【００８１】なお、ミドル・ウェア・レイヤ４０及びア
プリケーション・レイヤ４１の具体なソフトウェア構成
をそれぞれ図１７に示す。

【００８２】ミドル・ウェア・レイヤ４０は、図１７に
示すように、騒音検出用、温度検出用、明るさ検出用、
音階認識用、距離検出用、姿勢検出用、タッチセンサ
用、動き検出用及び色認識用の各信号処理モジュール５
０〜５８並びに入力セマンティクスコンバータモジュー
ル５９などを有する認識系６０と、出力セマンティクス
コンバータモジュール６８並びに姿勢管理用、トラッキ
ング用、モーション再生用、歩行用、転倒復帰用、ＬＥ
Ｄ点灯用及び音再生用の各信号処理モジュール６１〜６
７などを有する出力系６９とから構成されている。

【００８３】認識系６０の各信号処理モジュール５０〜
５８は、ロボティック・サーバ・オブジェクト３２のバ
ーチャル・ロボット３３によりＤＲＡＭ１１（図３）か
ら読み出される各センサデータや画像データ及び音声デ
ータのうちの対応するデータを取り込み、当該データに
基づいて所定の処理を施して、処理結果を入力セマンテ
ィクスコンバータモジュール５９に与える。ここで、例
えば、バーチャル・ロボット３３は、所定の通信規約に
よって、信号の授受或いは変換をする部分として構成さ
れている。

【００８４】入力セマンティクスコンバータモジュール
５９は、これら各信号処理モジュール５０〜５８から与
えられる処理結果に基づいて、「うるさい」、「暑
い」、「明るい」、「ボールを検出した」、「転倒を検
出した」、「撫でられた」、「叩かれた」、「ドミソの
音階が聞こえた」、「動く物体を検出した」又は「障害
物を検出した」などの自己及び周囲の状況や、使用者か
らの指令及び働きかけを認識し、認識結果をアプリケー
ション・レイヤ４１に出力する。

【００８５】アプリケーション・レイヤ４１は、図１８
に示すように、行動モデルライブラリ７０、行動切換え
モジュール７１、学習モジュール７２、感情モデル７３
及び本能モデル７４の５つのモジュールから構成されて
いる。

【００８６】行動モデルライブラリ７０には、図１９に
示すように、「バッテリ残量が少なくなった場合」、
「転倒復帰する」、「障害物を回避する場合」、「感情
を表現する場合」、「ボールを検出した場合」などの予
め選択されたいくつかの条件項目にそれぞれ対応させ
て、それぞれ独立した行動モデルが設けられている。

【００８７】そして、これら行動モデルは、それぞれ入
力セマンティクスコンバータモジュール５９から認識結
果が与えられたときや、最後の認識結果が与えられてか
ら一定時間が経過したときなどに、必要に応じて後述の
ように感情モデル７３に保持されている対応する情動の
パラメータ値や、本能モデル７４に保持されている対応
する欲求のパラメータ値を参照しながら続く行動をそれ
ぞれ決定し、決定結果を行動切換えモジュール７１に出
力する。

【００８８】なお、この実施の形態の場合、各行動モデ
ルは、次の行動を決定する手法として、図２０に示すよ
うな１つのノード（状態）ＮＯＤＥ_０〜ＮＯＤＥ_ｎから
他のどのノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移するかを
各ノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに間を接続するアーク
ＡＲＣ_１〜ＡＲＣ_ｎ１に対してそれぞれ設定された遷移
確率Ｐ_１〜Ｐ_ｎに基づいて確率的に決定する有限確率オ
ートマトンと呼ばれるアルゴリズムを用いる。

【００８９】具体的に、各行動モデルは、それぞれ自己
の行動モデルを形成するノードＮＯＤＥ_０〜ＮＯＤＥ_ｎ
にそれぞれ対応させて、これらノードＮＯＤＥ_０〜ＮＯ
ＤＥ _ｎ毎に図２１に示すような状態遷移表８０を有して
いる。

【００９０】この状態遷移表８０では、そのノードＮＯ
ＤＥ_０〜ＮＯＤＥ_ｎにおいて遷移条件とする入力イベン
ト（認識結果）が「入力イベント名」の行に優先順に列
記され、その遷移条件についてのさらなる条件が「デー
タ名」及び「データ範囲」の行における対応する列に記
述されている。

【００９１】したがって、図２１の状態遷移表８０で表
されるノードＮＯＤＥ_１００では、「ボールを検出（Ｂ
ＡＬＬ）」という認識結果が与えられた場合に、当該認
識結果とともに与えられるそのボールの「大きさ（ＳＩ
ＺＥ）」が「0から1000」の範囲であることや、「障害
物を検出（ＯＢＳＴＡＣＬＥ）」という認識結果が与え
られた場合に、当該認識結果とともに与えられるその障
害物までの「距離（ＤＩＳＴＡＮＣＥ）」が「0から10
0」の範囲であることが他のノードに遷移するための条
件となっている。

【００９２】また、このノードＮＯＤＥ_１００では、認
識結果の入力がない場合においても、行動モデルが周期
的に参照する感情モデル７３及び本能モデル７４にそれ
ぞれ保持された各情動及び各欲求のパラメータ値のう
ち、感情モデル７３に保持された「喜び（Joy）」、
「驚き（Surprise）」若しくは「悲しみ（Sadness）」
のいずれかのパラメータ値が「50から100」の範囲であ
るときには他のノードに遷移することができるようにな
っている。

【００９３】また、状態遷移表８０では、「他のノード
ヘの遷移確率」の欄における「遷移先ノード」の列にそ
のノードＮＯＤＥ_０〜ＮＯＤＥ_ｎから遷移できるノード
名が列記されているとともに、「入力イベント名」、
「データ名」及び「データの範囲」の行に記述された全
ての条件が揃ったときに遷移できるほかの各ノードＮＯ
ＤＥ_０〜ＮＯＤＥ_ｎへの遷移確率が「他のノードヘの遷
移確率」の欄内の対応する箇所にそれぞれ記述され、そ
のノードＮＯＤＥ_０〜ＮＯＤＥ_ｎに遷移する際に出力す
べき行動が「他のノードヘの遷移確率」の欄における
「出力行動」の行に記述されている。なお、「他のノー
ドヘの遷移確率」の欄における各行の確率の和は１００
［％］となっている。

【００９４】したがって、図２１の状態遷移表８０で表
されるノードＮＯＤＥ_１００では、例えば「ボールを検
出（ＢＡＬＬ）」し、そのボールの「ＳＩＺＥ（大き
さ）」が「0から1000」の範囲であるという認識結果が
与えられた場合には、「30［％］」の確率で「ノードＮ
ＯＤＥ_１２０（node 120）」に遷移でき、そのとき「Ａ
ＣＴＩＯＮ１」の行動が出力されることとなる。

【００９５】各行動モデルは、それぞれこのような状態
遷移表８０として記述されたノードＮＯＤＥ_０〜 ＮＯ
ＤＥ_ｎが幾つも繋がるようにして構成されており、入力
セマンティクスコンバータモジュール５９から認識結果
が与えられたときなどに、対応するノードＮＯＤＥ_０〜
ＮＯＤＥ_ｎの状態遷移表を利用して確率的に次の行動を
決定し、決定結果を行動切換えモジュール７１に出力す
るようになされている。

【００９６】図１８に示す行動切換えモジュール７１
は、行動モデルライブラリ７０の各行動モデルからそれ
ぞれ出力される行動のうち、予め定められた優先順位の
高い行動モデルから出力された行動を選択し、当該行動
を実行すべき旨のコマンド（以下、これを行動コマンド
という。）をミドル・ウェア・レイヤ４０の出力セマン
ティクスコンバータモジュール６８に送出する。なお、
この実施の形態においては、図１９において下側に表記
された行動モデルほど優先順位が高く設定されている。

【００９７】また、行動切換えモジュール７１は、行動
完了後に出力セマンティクスコンバータモジュール６８
から与えられる行動完了情報に基づいて、その行動が完
了したことを学習モジュール７２、感情モデル７３及び
本能モデル７４に通知する。

【００９８】一方、学習モジュール７２は、入力セマン
ティクスコンバータモジュール５９から与えられる認識
結果のうち、「叩かれた」や「撫でられた」など、使用
者からの働きかけとして受けた教示の認識結果を入力す
る。

【００９９】そして、学習モジュール７２は、この認識
結果及び行動切換えモジュール７１からの通知に基づい
て、「叩かれた（叱られた）」ときにはその行動の発現
確率を低下させ、「撫でられた（誉められた）」ときに
はその行動の発現確率を上昇させるように、行動モデル
ライブラリ７０における対応する行動モデルの対応する
遷移確率を変更する。

【０１００】他方、感情モデル７３は、「喜び（Jo
y）」、「悲しみ（Sadness）」、「怒り（Anger）」、
「驚き（Surprise）」、「嫌悪（Disgust）」及び「恐
れ（Fear）」の合計６つの情動について、各情動毎にそ
の情動の強さを表すパラメータを保持している。そし
て、感情モデル７３は、これら各情動のパラメータ値
を、それぞれ入力セマンティクスコンバータモジュール
５９から与えられる「叩かれた」及び「撫でられた」な
どの特定の認識結果と、経過時間及び行動切換えモジュ
ール７１からの通知となどに基づいて周期的に更新す
る。

【０１０１】具体的には、感情モデル７３は、入力セマ
ンティクスコンバータモジュール５９から与えられる認
識結果と、そのときのロボット装置１の行動と、前回更
新してからの経過時間となどに基づいて所定の演算式に
より算出されるそのときのその情動の変動量を△Ｅ
［ｔ］、現在のその情動のパラメータ値をＥ［ｔ］、そ
の情動の感度を表す係数をｋ_ｅとして、（１）式によっ
て次の周期におけるその情動のパラメータ値Ｅ［ｔ＋
１］を算出し、これを現在のその情動のパラメータ値Ｅ
［ｔ］と置き換えるようにしてその情動のパラメータ値
を更新する。また、感情モデル７３は、これと同様にし
て全ての情動のパラメータ値を更新する。

【０１０２】

【数１】 なお、各認識結果や出力セマンティクスコンバータモジ
ュール６８からの通知が各情動のパラメータ値の変動量
△Ｅ［ｔ］にどの程度の影響を与えるかは予め決められ
ており、例えば「叩かれた」といった認識結果は「怒
り」の情動のパラメータ値の変動量△Ｅ［ｔ］に大きな
影響を与え、「撫でられた」といった認識結果は「喜
び」の情動のパラメータ値の変動量△Ｅ［ｔ］に大きな
影響を与えるようになっている。

【０１０３】ここで、出力セマンティクスコンバータモ
ジュール６８からの通知とは、いわゆる行動のフィード
バック情報（行動完了情報）であり、行動の出現結果の
情報であり、感情モデル７３は、このような情報によっ
ても感情を変化させる。これは、例えば、「吠える」と
いった行動により怒りの感情レベルが下がるといったよ
うなことである。なお、出力セマンティクスコンバータ
モジュール６８からの通知は、上述した学習モジュール
７２にも入力されており、学習モジュール７２は、その
通知に基づいて行動モデルの対応する遷移確率を変更す
る。

【０１０４】なお、行動結果のフィードバックは、行動
切換えモジュレータ７１の出力（感情が付加された行
動）によりなされるものであってもよい。

【０１０５】一方、本能モデル７４は、「運動欲（exer
cise）」、「愛情欲（affection）」、「食欲（appetit
e）」及び「好奇心（curiosity）」の互いに独立した４
つの欲求について、これら欲求毎にその欲求の強さを表
すパラメータを保持している。そして、本能モデル７４
は、これらの欲求のパラメータ値を、それぞれ入力セマ
ンティクスコンバータモジュール５９から与えられる認
識結果や、経過時間及び行動切換えモジュール７１から
の通知などに基づいて周期的に更新する。

【０１０６】具体的には、本能モデル７４は、「運動
欲」、「愛情欲」及び「好奇心」については、認識結
果、経過時間及び出力セマンティクスコンバータモジュ
ール６８からの通知などに基づいて所定の演算式により
算出されるそのときのその欲求の変動量をΔＩ［ｋ］、
現在のその欲求のパラメータ値をＩ［ｋ］、その欲求の
感度を表す係数ｋ_ｉとして、所定周期で（２）式を用い
て次の周期におけるその欲求のパラメータ値Ｉ［ｋ＋
１］を算出し、この演算結果を現在のその欲求のパラメ
ータ値Ｉ［ｋ］と置き換えるようにしてその欲求のパラ
メータ値を更新する。また、本能モデル７４は、これと
同様にして「食欲」を除く各欲求のパラメータ値を更新
する。

【０１０７】

【数２】 なお、認識結果及び出力セマンティクスコンバータモジ
ュール６８からの通知などが各欲求のパラメータ値の変
動量△Ｉ［ｋ］にどの程度の影響を与えるかは予め決め
られており、例えば出力セマンティクスコンバータモジ
ュール６８からの通知は、「疲れ」のパラメータ値の変
動量△Ｉ［ｋ］に大きな影響を与えるようになってい
る。

【０１０８】なお、本実施の形態においては、各情動及
び各欲求（本能）のパラメータ値がそれぞれ0から100ま
での範囲で変動するように規制されており、また係数ｋ
_ｅ、ｋ_ｉの値も各情動及び各欲求毎に個別に設定されて
いる。

【０１０９】一方、ミドル・ウェア・レイヤ４０の出力
セマンティクスコンバータモジュール６８は、図１７に
示すように、上述のようにしてアプリケーション・レイ
ヤ４１の行動切換えモジュール７１から与えられる「前
進」、「喜ぶ」、「鳴く」又は「トラッキング（ボール
を追いかける）」といった抽象的な行動コマンドを出力
系６９の対応する信号処理モジュール６１〜６７に与え
る。

【０１１０】そしてこれら信号処理モジュール６１〜６
７は、行動コマンドが与えられると当該行動コマンドに
基づいて、その行動をするために対応するアクチュエー
タ２５_１〜２５_ｎ（図３）に与えるべきサーボ指令値
や、スピーカ２４（図３）から出力する音の音声データ
及び又は「目」のＬＥＤに与える駆動データを生成し、
これらのデータをロボティック・サーバ・オブジェクト
３２のバーチャル・ロボット３３及び信号処理回路１４
（図３）を順次介して対応するアクチュエータ２５_１〜
２５_ｎ又はスピーカ２４又はＬＥＤに順次送出する。

【０１１１】このようにしてロボット装置１は、制御プ
ログラムに基づいて、自己（内部）及び周囲（外部）の
状況や、使用者からの指示及び働きかけに応じた自律的
な行動ができる。したがって、広視野画像を生成し、こ
の広視野画像と付加情報とを時間に相関した情報量に圧
縮して記憶するという一連の画像記憶処理を実行するた
めの制御プログラムが予め組み込まれていないロボット
装置であっても、制御プログラムを読み込ませることに
よって、図１に示した画像記憶処理を実行させることが
できる。

【０１１２】このような制御プログラムは、ロボット装
置が読取可能な形式で記録された記録媒体を介して提供
される。制御プログラムを記録する記録媒体としては、
磁気読取方式の記録媒体（例えば、磁気テープ、フロッ
ピー（登録商標）ディスク、磁気カード）、光学読取方
式の記録媒体（例えば、ＣＤ−ＲＯＭ、ＭＯ、ＣＤ−
Ｒ、ＤＶＤ）等が考えられる。記録媒体には、半導体メ
モリ（いわゆるメモリカード（矩形型、正方形型など形
状は問わない。）、ＩＣカード）等の記憶媒体も含まれ
る。また、制御プログラムは、いわゆるインターネット
等を介して提供されてもよい。

【０１１３】これらの制御プログラムは、専用の読込ド
ライバ装置、又はパーソナルコンピュータ等を介して再
生され、有線又は無線接続によってロボット装置１に伝
送されて読み込まれる。また、ロボット装置は、半導体
メモリ、又はＩＣカード等の小型化された記憶媒体のド
ライブ装置を備える場合、これら記憶媒体から制御プロ
グラムを直接読み込むこともできる。ロボット装置１で
は、メモリカード２８から読み込むことができる。

【０１１４】なお、本発明は、上述した実施の形態のみ
に限定されるものではなく、本発明の要旨を逸脱しない
範囲において種々の変更が可能であることは勿論であ
る。本実施の形態では、４足歩行の脚式移動ロボットに
関して説明したが、ロボット装置は、内部状態に応じて
動作するものであれば適用可能であって、移動手段は、
４足歩行、さらには脚式移動方式に限定されない。

【０１１５】

【発明の効果】以上詳細に説明したように、本発明にか
かるロボット装置は、移動手段を備え、内部状態に応じ
て自律動作するロボット装置において、ロボット装置正
面に対して独立した方向に可動とされ所定の画角で被写
体を撮像する撮像手段と、撮像手段によって能動的に取
得された画像、又は撮像手段を介して受動的に取得され
た画像を逐次付加して撮像手段の画角よりも広い視野の
広視野画像を生成する広視野画像生成手段と、広視野画
像を一時的に記憶する一時記憶手段と、取得された画像
の変化量に応じて、一時記憶手段に記憶された広視野画
像を該広視野画像に関する付加情報とともに基準広視野
画像として時系列で記憶手段に記憶し、記憶手段に記憶
された広視野画像を記憶開始からの経過時間に相関した
情報量の画像データに圧縮して書き換える記憶制御手段
とを備える。

【０１１６】したがって、本発明にかかるロボット装置
は、撮像手段を介して能動的又は受動的に取得された画
像を逐次付加して撮像手段の画角よりも広い視野の広視
野画像を生成することによって、画像認識に有効な視野
範囲が拡大でき、より幅広い環境下において高い画像認
識性能を達成できる。これにより、対象物体、特に、移
動物体の認識精度が向上する。

【０１１７】また、本発明にかかるロボット装置は、取
得された画像の変化量に応じて該広視野画像に関する付
加情報とともに広視野画像を記憶手段に時系列で記憶す
ることにより、時間的に過去に得られた画像情報の中か
ら画像認識結果を抽出することができる。特に、対象物
体に対してアテンション（捕捉指示）を指定する必要が
なくなる。

【０１１８】さらに、本発明にかかるロボット装置は、
記憶手段に記憶された広視野画像を記憶開始からの経過
時間に相関した情報量の画像データに圧縮して書き換え
ることにより、記憶容量が節約できる。したがって、リ
ソースを有効利用でき、リソースに応じてリアルタイム
性を重視した画像処理ができるようになる。また、より
人間に近い記憶モデルを実現できることから、豊富なユ
ーザインタラクションが可能となり、エンターテインメ
ント性が向上する。

【０１１９】また、本発明にかかる画像記憶装置は、所
定の画角で被写体を撮像する撮像手段と、撮像手段によ
って随時取得された画像を逐次付加して撮像手段の画角
よりも広い視野の広視野画像を生成する広視野画像生成
手段と、広視野画像を一時的に記憶する一時記憶手段
と、取得された画像の変化量に応じて、一時記憶手段に
記憶された広視野画像を該広視野画像に関する付加情報
とともに基準広視野画像として時系列で記憶手段に記憶
し、記憶手段に記憶された広視野画像を記憶開始からの
経過時間に相関した情報量の画像データに圧縮して書き
換える記憶制御手段とを備える。

【０１２０】したがって、本発明にかかる画像記憶装置
は、撮像手段を介して取得された画像を逐次付加して撮
像手段の画角よりも広い視野の広視野画像を生成するこ
とによって、画像認識に有効な視野範囲が拡大でき、よ
り幅広い環境下において高い画像認識性能を達成でき
る。これにより、対象物体、特に、移動物体の認識精度
が向上する。

【０１２１】また、本発明にかかる画像記憶装置は、取
得された画像の変化量に応じて該広視野画像に関する付
加情報とともに広視野画像を記憶手段に時系列で記憶す
ることにより、時間的に過去に得られた画像情報の中か
ら画像認識結果を抽出することができる。特に、対象物
体に対してアテンション（捕捉指示）を指定する必要が
なくなる。

【０１２２】さらに、本発明にかかる画像記憶装置は、
記憶手段に記憶された広視野画像を記憶開始からの経過
時間に相関した情報量の画像データに圧縮して書き換え
ることにより、記憶容量が節約できる。したがって、リ
ソースを有効利用でき、リソースに応じてリアルタイム
性を重視した画像処理ができるようになる。

【０１２３】また、本発明にかかる画像記憶方法は、所
定の画角で被写体を撮像する撮像工程と、撮像工程にお
いて随時取得された画像を逐次付加して撮像工程で撮像
される画角よりも広い視野の広視野画像を生成する広視
野画像生成工程と、広視野画像を一時的に記憶する一時
記憶工程と、取得された画像の変化量に応じて、一時記
憶工程で記憶された広視野画像を該広視野画像に関する
付加情報とともに基準広視野画像として時系列で記憶手
段に記憶し、記憶手段に記憶された広視野画像を記憶開
始からの経過時間に相関した情報量の画像データに圧縮
して書き換える記憶制御工程とを備える。

【０１２４】したがって、本発明にかかる画像記憶方法
によれば、撮像工程において取得された画像を逐次付加
して撮像工程で撮像される画角よりも広い視野の広視野
画像が生成されることによって、画像認識に有効な視野
範囲が拡大され、より幅広い環境下において高い画像認
識性能が達成される。これにより、対象物体、特に、移
動物体の認識精度が向上する。

【０１２５】また、本発明にかかる画像記憶方法によれ
ば、取得された画像の変化量に応じて該広視野画像に関
する付加情報とともに広視野画像が時系列で記憶される
ことにより、時間的に過去に得られた画像情報の中から
画像認識結果を抽出することができる。特に、対象物体
に対してアテンション（捕捉指示）を指定する必要がな
くなる。

【０１２６】さらに、本発明にかかる画像記憶方法によ
れば、記憶手段に記憶された広視野画像が記憶開始から
の経過時間に相関した情報量の画像データに圧縮して書
き換えられることにより、記憶容量が節約できる。した
がって、リソースを有効利用でき、リソースに応じてリ
アルタイム性を重視した画像処理ができるようになる。

【０１２７】本発明にかかる制御プログラムは、撮像手
段において所定の画角で被写体を撮像する撮像処理と、
撮像処理によって随時取得される画像を逐次付加して撮
像手段で撮像される画角よりも広い視野の広視野画像を
生成する広視野画像生成処理と、広視野画像を一時的に
記憶する記憶処理と、取得された画像の変化量に応じ
て、記憶処理で記憶した広視野画像を該広視野画像に関
する付加情報とともに基準広視野画像として時系列で記
憶手段に記憶し、記憶手段に記憶された広視野画像を記
憶開始からの経過時間に相関した情報量の画像データに
圧縮して書き換える記憶制御処理とを画像処理機能を備
えた電子機器に実行させるためのプログラムである。

【０１２８】したがって、本発明にかかる制御プログラ
ムによれば、画像処理機能を備えた電子機器に対して、
撮像処理によって随時取得される画像を逐次付加して撮
像手段で撮像される画角よりも広い視野の広視野画像を
生成する処理を実行させることによって、電子機器が画
像認識を行う上での有効な視野範囲が拡大され、より幅
広い環境下において高い画像認識性能が達成される。こ
れにより、対象物体、特に、移動物体の認識精度が向上
する。

【０１２９】また、本発明にかかる制御プログラムによ
れば、画像処理機能を備えた電子機器に対して、取得さ
れた画像の変化量に応じて該広視野画像に関する付加情
報とともに広視野画像が時系列で記憶する処理を実行さ
せることにより、電子機器は、時間的に過去に得られた
画像情報の中から画像認識結果を抽出できるようにな
る。特に、対象物体に対してアテンション（捕捉指示）
を指定する必要がなくなる。

【０１３０】さらに、本発明にかかる制御プログラムに
よれば、画像処理機能を備えた電子機器に対して、記憶
手段に記憶された広視野画像を記憶開始からの経過時間
に相関した情報量の画像データに圧縮して書き換える処
理を実行させることにより、電子機器の画像記憶容量が
節約される。したがって、電子機器は、リソースを有効
利用でき、リソースに応じてリアルタイム性を重視した
画像処理を実行できるようになる。

【図面の簡単な説明】

【図１】本発明の一構成例として示すロボット装置が周
囲の状況を画像として取得し、限られた視野の画像から
広視野画像を生成し、さらに、生成した広視野画像とこ
の広視野画像に関する付加情報とを時間経過とともに記
憶する処理を示すフローチャートである。

【図２】本発明の一構成例として示すロボット装置の外
観を示す外観図である。

【図３】本発明の一構成例として示すロボット装置の構
成を示す構成図である。

【図４】図４（ａ）は、本発明の一構成例として示すロ
ボット装置のＣＣＤカメラの動きに合わせて限られた画
角の画像が次々と取得される様子を示す模式図であり、
図４（ｂ）は、取得された画像から合成された広視野画
像を示す模式図である。

【図５】本発明の一構成例として示すロボット装置が取
得した画像を球面投影して広視野画像を生成する様子を
説明する模式図である。

【図６】本発明の一構成例として示すロボット装置がそ
の場でＣＣＤカメラの向きだけを変える様子を示す図で
ある。

【図７】図７（ａ）は、本発明の一構成例として示すロ
ボット装置のカメラ方向が方向Ｄ_１のときの取得画像及
び広視野画像を示す図であり、図７（ｂ）は、本発明の
一構成例として示すロボット装置のカメラ方向が方向Ｄ
_２のときの取得画像及び広視野画像を示す図である。

【図８】本発明の一構成例として示すロボット装置がポ
ジションＰ_１からポジションＰ _２へと前進する様子を示
す図である。

【図９】図９（ａ）は、本発明の一構成例として示すロ
ボット装置がポジションＰ_１にあるときの取得画像及び
広視野画像を示す図であり、図９（ｂ）は、本発明の一
構成例として示すロボット装置がポジションＰ_２にある
ときの取得画像及び広視野画像を示す図である。

【図１０】本発明の一構成例として示すロボット装置が
ポジションＰ_３からポジションＰ _４へと横移動する様子
を示す図である。

【図１１】図１１（ａ）は、本発明の一構成例として示
すロボット装置がポジションＰ_３にあるときの取得画像
及び広視野画像を示す図であり、図１１（ｂ）は、本発
明の一構成例として示すロボット装置がポジションＰ_４
にあるときの取得画像及び広視野画像を示す図である。

【図１２】図１２（ａ）は、本発明の一構成例として示
すロボット装置がＣＣＤカメラによって取得した画像と
広視野画像とを比較する様子を模式的に示す図であり、
図１２（ｂ）は、ロボット装置が比較した画像を広視野
画像に上書きする様子を説明する図である。

【図１３】本発明の一構成例として示すロボット装置が
歩行動作をしているとき、ＣＣＤカメラにおいて取得さ
れる画像を並べて示した図である。

【図１４】本発明の一構成例として示すロボット装置に
よって生成された広視野画像上で表される対象物体の移
動を説明する図である。

【図１５】本発明の一構成例として示すロボット装置に
おいて、広視野画像が時系列に沿ってメモリカードに記
憶される概念を説明する図である。

【図１６】本発明の一構成例として示すロボット装置の
制御プログラムのソフトウェア構成を示す構成図であ
る。

【図１７】本発明の一構成例として示すロボット装置の
制御プログラムのうち、ミドル・ウェア・レイヤの構成
を示す構成図である。

【図１８】本発明の一構成例として示すロボット装置の
制御プログラムのうち、アプリケーション・レイヤの構
成を示す構成図である。

【図１９】本発明の一構成例として示すロボット装置の
制御プログラムのうち、行動モデルライブラリの構成を
示す構成図である。

【図２０】本発明の一構成例として示すロボット装置の
行動を決定するためのアルゴリズムである有限確率オー
トマトンを説明する模式図である。

【図２１】本発明の一構成例として示すロボット装置の
行動を決定するための状態遷移条件を表す図である。

【符号の説明】

１ ロボット装置、２ 胴体部ユニット、３Ａ，３Ｂ，
３Ｃ，３Ｄ 脚部ユニット、４ 頭部ユニット、５ 尻
尾部ユニット、１０ ＣＰＵ、１１ ＤＲＡＭ、１２
フラッシュＲＯＭ、１３ ＰＣカードインターフェイス
回路、１４ 信号処理回路、１５ 内部バス、１６ コ
ントロール部、１７ バッテリ、１８角速度センサ、１
９ 加速度センサ、２０ ＣＣＤカメラ、２１ タッチ
センサ、２２ 距離センサ、２３ マイク、２４ スピ
ーカ、２５_１〜２５_ｎ アクチュエータ、２６_１〜２６
_ｎ ポテンショメータ、２７_１〜２７_ｎ ハブ、２８メ
モリカード、３０ 広視野画像生成部、３１ 記憶制御
部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 3/00 １００ Ｇ０６Ｔ 3/00 １００ ５Ｃ０５３ ４００ ４００Ｊ ５Ｃ０５４ 3/40 3/40 Ａ Ｈ０４Ｎ 5/262 Ｈ０４Ｎ 5/262 5/265 5/265 5/907 5/907 Ｂ 5/92 7/18 Ｚ 7/18 5/92 Ｈ (72)発明者 河本 献太 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 南野 活樹 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 3C007 AS36 CS08 KS10 KS21 KT01 KT11 WA04 WA14 WB16 WB25 5B050 AA10 BA10 BA11 DA07 EA12 EA18 EA19 EA27 5B057 AA20 BA02 CA12 CA16 CB12 CB16 CC01 CD02 CD05 CD17 CE10 DA20 DB02 DC32 5C023 AA11 AA37 BA11 CA01 DA04 DA08 5C052 AA17 AB09 DD10 GB10 GC03 GC04 GC07 GE06 GE08 5C053 FA09 FA30 GB21 LA02 5C054 AA05 CA04 CF08 ED14 EH07 GA04 HA04

Claims (47)

【特許請求の範囲】
1. 【請求項１】 移動手段を備え、内部状態に応じて自律
   動作するロボット装置において、 上記ロボット装置正面に対して独立した方向に可動とさ
   れ所定の画角で被写体を撮像する撮像手段と、 上記撮像手段によって能動的に取得された画像、又は上
   記撮像手段を介して受動的に取得された画像を逐次付加
   して上記撮像手段の画角よりも広い視野の広視野画像を
   生成する広視野画像生成手段と、 上記広視野画像を一時的に記憶する一時記憶手段と、 上記取得された画像の変化量に応じて、上記一時記憶手
   段に記憶された広視野画像を該広視野画像に関する付加
   情報とともに基準広視野画像として時系列で記憶手段に
   記憶し、上記記憶手段に記憶された広視野画像を記憶開
   始からの経過時間に相関した情報量の画像データに圧縮
   して書き換える記憶制御手段とを備えることを特徴とす
   るロボット装置。
2. 【請求項２】 上記広視野画像は、上記撮像手段を中心
   とする３次元空間の球面に投影した画像であることを特
   徴とする請求項１記載のロボット装置。
3. 【請求項３】 上記広視野画像生成手段は、上記撮像手
   段の撮像方向に対応して得られる被写体画像を上記一時
   記憶手段に記憶された広視野画像と比較し、重複する領
   域を上書きし、未記憶領域を追加記憶することにより広
   視野画像を拡張することを特徴とする請求項１記載のロ
   ボット装置。
4. 【請求項４】 上記広視野画像生成手段は、前方への移
   動に対して、移動後に上記撮像手段によって取得された
   画像と上記一時記憶手段に記憶された広視野画像とを比
   較して拡大率を算出し、上記拡大率に基づいて上記広視
   野画像を拡大することを特徴とする請求項３記載のロボ
   ット装置。
5. 【請求項５】 上記撮像手段の撮像方向を検出する検出
   手段を備え、 上記広視野画像生成手段は、上記検出手段によって検出
   された撮像方向情報に基づいて、上記撮像方向の変更方
   向とは反対方向に変更分に相当するだけ上記一時記憶手
   段に記憶された広視野画像を移動することによって、撮
   像方向と広視野画像の正面方向とを一致することを特徴
   とする請求項３記載のロボット装置。
6. 【請求項６】 上記広視野画像生成手段は、上記撮像手
   段によって取得された画像と上記一時記憶手段に記憶さ
   れた広視野画像とを比較し、上記広視野画像に対する上
   記撮像手段により取得された画像の変化量が所定の閾値
   を超えた場合にのみ、重複する領域を上書きし、広視野
   画像を拡張することを特徴とする請求項３記載のロボッ
   ト装置。
7. 【請求項７】 上記変化量は、画像内の画素値の変化量
   であることを特徴とする請求項６記載のロボット装置。
8. 【請求項８】 上記変化量は、画像における特徴点の変
   化量であることを特徴とする請求項６記載のロボット装
   置。
9. 【請求項９】 上記記憶制御手段は、上記一時記憶手段
   に記憶された広視野画像の変化量が所定の閾値を超えた
   場合、上記一時記憶手段に記憶された広視野画像を新規
   基準広視野画像として上記記憶手段に格納することを特
   徴とする請求項１記載のロボット装置。
10. 【請求項１０】 上記変化量は、画像内の画素値の変化
    量であることを特徴とする請求項９記載のロボット装
    置。
11. 【請求項１１】 上記変化量は、画像における特徴点の
    変化量であることを特徴とする請求項９記載のロボット
    装置。
12. 【請求項１２】 上記付加情報には、時刻情報、位置情
    報、姿勢情報が含まれることを特徴とする請求項１記載
    のロボット装置。
13. 【請求項１３】 上記付加情報には、広視野画像におけ
    る特徴点の情報が含まれることを特徴とする請求項１記
    載のロボット装置。
14. 【請求項１４】 上記記憶制御手段は、上記記憶手段に
    記憶され所定期間経過した広視野画像を消去することを
    特徴とする請求項１記載のロボット装置。
15. 【請求項１５】 着脱可能とされた記憶手段を備え、上
    記記憶手段には、上記広視野画像と該広視野画像に関す
    る付加情報とが記憶開始からの経過時間に相関した情報
    量で圧縮された画像データとして時系列で記憶されるこ
    とを特徴とする請求項１記載のロボット装置。
16. 【請求項１６】 所定の画角で被写体を撮像する撮像手
    段と、 上記撮像手段によって随時取得された画像を逐次付加し
    て上記撮像手段の画角よりも広い視野の広視野画像を生
    成する広視野画像生成手段と、 上記広視野画像を一時的に記憶する一時記憶手段と、 上記取得された画像の変化量に応じて、上記一時記憶手
    段に記憶された広視野画像を該広視野画像に関する付加
    情報とともに基準広視野画像として時系列で記憶手段に
    記憶し、上記記憶手段に記憶された広視野画像を記憶開
    始からの経過時間に相関した情報量の画像データに圧縮
    して書き換える記憶制御手段とを備えることを特徴とす
    る画像記憶装置。
17. 【請求項１７】 上記広視野画像は、上記撮像手段を中
    心とする３次元空間の球面に投影した画像であることを
    特徴とする請求項１６記載の画像記憶装置。
18. 【請求項１８】 上記広視野画像生成手段は、上記撮像
    手段の撮像方向に対応して得られる被写体画像を上記一
    時記憶手段に記憶された広視野画像と比較し、重複する
    領域を上書きし、未記憶領域を追加記憶することにより
    広視野画像を拡張することを特徴とする請求項１６記載
    の画像記憶装置。
19. 【請求項１９】 上記広視野画像生成手段は、前方への
    移動に対して、移動後に上記撮像手段によって取得され
    た画像と上記一時記憶手段に記憶された広視野画像とを
    比較して拡大率を算出し、上記拡大率に基づいて上記広
    視野画像を拡大することを特徴とする請求項１８記載の
    画像記憶装置。
20. 【請求項２０】 上記撮像手段の撮像方向を検出する検
    出手段を備え、 上記広視野画像生成手段は、上記検出手段によって検出
    された撮像方向情報に基づいて、上記撮像方向の変更方
    向とは反対方向に変更分に相当するだけ上記一時記憶手
    段に記憶された広視野画像を移動することによって、撮
    像方向と広視野画像の正面方向とを一致することを特徴
    とする請求項１８記載の画像記憶装置。
21. 【請求項２１】 上記広視野画像生成手段は、上記撮像
    手段によって取得された画像と上記一時記憶手段に記憶
    された広視野画像とを比較し、 上記広視野画像に対する上記撮像手段により取得された
    画像の変化量が所定の閾値を超えた場合にのみ、重複す
    る領域を上書きし、広視野画像を拡張することを特徴と
    する請求項１８記載の画像記憶装置。
22. 【請求項２２】 上記変化量は、画像内の画素値の変化
    量であることを特徴とする請求項２１記載の画像記憶装
    置。
23. 【請求項２３】 上記変化量は、画像における特徴点の
    変化量であることを特徴とする請求項２１記載の画像記
    憶装置。
24. 【請求項２４】 上記画像認識制御手段は、上記一時記
    憶手段に記憶された広視野画像の変化量が所定の閾値を
    超えた場合、上記一時記憶手段に記憶された広視野画像
    を新規基準広視野画像として上記記憶手段に格納するこ
    とを特徴とする請求項１６記載の画像記憶装置。
25. 【請求項２５】 上記変化量は、画像内の画素値の変化
    量であることを特徴とする請求項２４記載の画像記憶装
    置。
26. 【請求項２６】 上記変化量は、画像における特徴点の
    変化量であることを特徴とする請求項２４記載の画像記
    憶装置。
27. 【請求項２７】 上記付加情報には、時刻情報、位置情
    報が含まれることを特徴とする請求項２４記載の画像記
    憶装置。
28. 【請求項２８】 上記付加情報には、広視野画像におけ
    る特徴点の情報が含まれることを特徴とする請求項１６
    記載の画像記憶装置。
29. 【請求項２９】 上記記憶制御手段は、上記記憶手段に
    記憶され所定期間経過した広視野画像を消去することを
    特徴とする請求項１６記載の画像記憶装置。
30. 【請求項３０】 着脱可能とされた記憶手段を備え、上
    記記憶手段には、上記広視野画像と該広視野画像に関す
    る付加情報とが記憶開始からの経過時間に相関した情報
    量で圧縮された画像データとして時系列で記憶されるこ
    とを特徴とする請求項１６記載の画像記憶装置。
31. 【請求項３１】 所定の画角で被写体を撮像する撮像工
    程と、 上記撮像工程において随時取得された画像を逐次付加し
    て上記撮像工程で撮像される画角よりも広い視野の広視
    野画像を生成する広視野画像生成工程と、 上記広視野画像を一時的に記憶する一時記憶工程と、 上記取得された画像の変化量に応じて、上記一時記憶工
    程で記憶された広視野画像を該広視野画像に関する付加
    情報とともに基準広視野画像として時系列で記憶手段に
    記憶し、上記記憶手段に記憶された広視野画像を記憶開
    始からの経過時間に相関した情報量の画像データに圧縮
    して書き換える記憶制御工程とを備える画像記憶方法。
32. 【請求項３２】 上記広視野画像は、上記撮像工程での
    撮像手段を中心とする３次元空間の球面に投影した画像
    であることを特徴とする請求項３１記載の画像記憶方
    法。
33. 【請求項３３】 上記広視野画像生成工程では、上記撮
    像手段の撮像方向に対応して得られる被写体画像を上記
    一時記憶手段に記憶された広視野画像と比較し、重複す
    る領域を上書きし、未記憶領域を追加記憶することによ
    り広視野画像を拡張することを特徴とする請求項３１記
    載の画像記憶方法。
34. 【請求項３４】 上記広視野画像生成工程では、前方へ
    の移動に対して、移動後に上記撮像手段によって取得さ
    れた画像と上記一時記憶手段に記憶された広視野画像と
    を比較して拡大率を算出し、上記拡大率に基づいて上記
    広視野画像を拡大することを特徴とする請求項３３記載
    の画像記憶方法。
35. 【請求項３５】 上記撮像手段の撮像方向を検出する検
    出工程を備え、 上記広視野画像生成工程では、上記検出工程において検
    出された撮像方向情報に基づいて、上記撮像方向の変更
    方向とは反対方向に変更分に相当するだけ上記一時記憶
    工程で記憶された広視野画像を移動することによって、
    撮像方向と広視野画像の正面方向とを一致することを特
    徴とする請求項３３記載の画像記憶方法。
36. 【請求項３６】 上記広視野画像生成工程では、上記撮
    像工程によって取得された画像と上記一時記憶工程で記
    憶された広視野画像とを比較し、上記広視野画像に対す
    る上記撮像工程において取得された画像の変化量が所定
    の閾値を超えた場合にのみ、重複する領域を上書きし、
    広視野画像を拡張することを特徴とする請求項３３記載
    の画像記憶方法。
37. 【請求項３７】 上記変化量は、画像内の画素値の変化
    量であることを特徴とする請求項３６記載の画像記憶方
    法。
38. 【請求項３８】 上記変化量は、画像における特徴点の
    変化量であることを特徴とする請求項３６記載の画像記
    憶方法。
39. 【請求項３９】 上記画像認識制御手段は、上記一時記
    憶手段に記憶された広視野画像の変化量が所定の閾値を
    超えた場合、上記一時記憶手段に記憶された広視野画像
    を新規基準広視野画像として上記記憶手段に格納するこ
    とを特徴とする請求項３１記載の画像記憶方法。
40. 【請求項４０】 上記変化量は、画像内の画素値の変化
    量であることを特徴とする請求項３９記載の画像記憶方
    法。
41. 【請求項４１】 上記変化量は、画像における特徴点の
    変化量であることを特徴とする請求項３９記載の画像記
    憶方法。
42. 【請求項４２】 上記付加情報には、時刻情報、位置情
    報が含まれることを特徴とする請求項３９記載の画像記
    憶方法。
43. 【請求項４３】 上記付加情報には、広視野画像におけ
    る特徴点の情報が含まれることを特徴とする請求項３１
    記載の画像記憶方法。
44. 【請求項４４】 上記記憶制御工程では、上記広視野画
    像記憶工程で記憶され、所定期間経過した広視野画像を
    消去することを特徴とする請求項３１記載の画像記憶方
    法。
45. 【請求項４５】 着脱可能とされた記憶手段を備え、上
    記記憶手段には、上記広視野画像と該広視野画像に関す
    る付加情報とが記憶開始からの経過時間に相関した情報
    量で圧縮された画像データとして時系列で記憶されるこ
    とを特徴とする請求項３１記載の画像記憶方法。
46. 【請求項４６】 内部状態に応じて自律動作するロボッ
    ト装置を制御する制御プログラムにおいて、 撮像手段において所定の画角で被写体を撮像する撮像処
    理と、 上記撮像処理によって随時取得される画像を逐次付加し
    て上記撮像手段で撮像される画角よりも広い視野の広視
    野画像を生成する広視野画像生成処理と、 上記広視野画像を一時的に記憶する記憶処理と、 上記取得された画像の変化量に応じて、上記記憶処理で
    記憶した広視野画像を該広視野画像に関する付加情報と
    ともに基準広視野画像として時系列で記憶手段に記憶
    し、上記記憶手段に記憶された広視野画像を記憶開始か
    らの経過時間に相関した情報量の画像データに圧縮して
    書き換える記憶制御処理とを実行させることを特徴とす
    る制御プログラム。
47. 【請求項４７】 撮像手段において所定の画角で被写体
    を撮像する撮像処理と、 上記撮像処理によって随時取得された画像を逐次付加し
    て上記撮像手段で撮像される画角よりも広い視野の広視
    野画像を生成する広視野画像生成処理と、 上記広視野画像を一時的に記憶する記憶処理と、 上記取得された画像の変化量に応じて、上記記憶処理で
    記憶した広視野画像を該広視野画像に関する付加情報と
    ともに基準広視野画像として時系列で記憶手段に記憶
    し、上記記憶手段に記憶された広視野画像を記憶開始か
    らの経過時間に相関した情報量の画像データに圧縮して
    書き換える記憶制御処理とをロボット装置に実行させる
    制御プログラムが記録された記録媒体。