JP2020201583A - 半導体装置、移動体装置および移動体装置の制御方法 - Google Patents

Abstract

【課題】撮像画像を過剰に増加させることなく画像認識精度を向上させる。【解決手段】半導体装置は、撮像画像に認識対象物が含まれているかを検出し、撮像画像に認識対象物が含まれている場合に、撮像画像から当該認識対象物が存在する画像領域を認識対象物検出領域画像として切り出す画像検出部と、認識対象物検出領域画像に対して画像認識処理を行い、認識対象物に対する認識確率を出力する画像認識部と、認識確率に基づいて移動速度および撮像間隔の少なくともいずれか一方を設定する制御部と、を備える。【選択図】図１

Description

本開示は、半導体装置に関し、例えば画像処理を行う半導体装置、および当該半導体装置を備えた移動体装置に好適に利用できるものである。

近年、自走式の電気掃除機や監視用ドローンのようなカメラを搭載した移動体装置が普及している。カメラを搭載した移動体装置は、その制御のために、撮像した画像から物体や人物等の検出または認識を行うことがある。

例えば、特許文献１（特許第５７７１８８５号明細書）には、カメラを備えた電気掃除装置が記載されている。この特許文献１に記載の電気掃除装置は、カメラによって撮像された撮像画像と、記憶部に記憶されている登録済みの異物の画像とを比較することで画像認識を行い、異物を認識する。また、電気掃除装置は、異物を認識したときには、電気掃除装置に備えられている表示画面に、認識された異物が何であるかを特定する表示を行う。

特許第５７７１８８５号明細書

画像認識にあたり、画像認識精度を高めるためには、解像度が高いカメラで撮影した撮像画像を用いて画像認識処理を行ったり、画像認識処理対象となる撮像画像を増やしたりすることが考えられる。しかしながら、高い解像度の撮像画像や撮像画像枚数の増加によって、画像認識処理が増大する。その結果、画像認識処理の実行処理部、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）の処理負荷が増大し、消費電力が増大する可能性がある。

本開示の課題は、画像認識処理負荷を過剰に増やすことなく、画像認識精度を向上することである。その他の課題および新規な特徴は、本明細書および図面の記載から明らかになるであろう。

一実施の形態に係る半導体装置は、撮像画像に物体が含まれているかを検出する検出処理を行い、撮像画像に物体が含まれている場合に撮像画像から当該物体が存在する画像領域を物体検出領域画像として切り出す画像検出部と、物体検出領域画像に対して画像認識処理を行い物体に対する認識確率を出力する画像認識部と、移動速度および撮像間隔の少なくともいずれか一方を認識確率に基づいて設定する制御部と、を備える。

他の実施の形態に係る移動体装置は、画像を撮影する撮像部と、移動体装置を移動させるための移動駆動部と、撮像部からの撮像画像に物体が含まれているかを識別し当該物体が存在する物体検出領域画像を切り出す画像検出部と、物体検出領域画像に対して画像認識処理を行い物体に対する認識確率を出力する画像認識部と、移動駆動部および撮像部の少なくとも一方を認識確率に基づいて制御する制御部と、を有する。

また、他の実施の形態に係る移動体装置の制御方法は、撮像部から得られる撮像画像を取得するステップと、撮像画像に物体が含まれているかを識別し撮像画像に物体が含まれている場合に当該物体が存在する物体検出領域画像を切り出すステップと、物体検出領域画像に対して画像認識処理を実行し、物体に対する認識確率を出力するステップと、認識確率に応じて移動体装置の移動速度および撮像間隔の少なくともいずれか一方を制御するステップと、を含む。

前記一実施の形態によれば、撮像画像を過剰に増やすことなく画像認識精度を向上することができる。

図１は、実施の形態１に係る移動体装置の構成を示すブロック図である。 図２は、実施の形態１に係る移動体装置の動作の一例を示すフローチャートである。 図３は、実施の形態１に係る移動体装置の動作手順の一例を示す説明図である。 図４は、実施の形態１の変形例１に係る移動体装置の動作手順の一例を示す説明図である。 図５は、実施の形態１の変形例２に係る移動体装置の物体検出処理の一例を示すフローチャートである。 図６は、移動体装置の筐体制御動作の一例を示すフローチャートである。 図７は、移動体装置の筐体制御動作の別の一例を示すフローチャートである。 図８は、移動体装置の筐体制御動作の別の一例を示すフローチャートである。 図９は、実施の形態２に係る移動体装置の構成を示すブロック図である。 図１０Ａは、実施の形態２に係る移動体装置の輪郭座標の演算処理の一例を示す図である。 図１０Ｂは、実施の形態２に係る移動体装置の輪郭座標の演算処理の一例を示す図である。 図１１は、実施の形態２に係る移動体装置の動作の一例を示すフローチャートの一部である。 図１２は、実施の形態２に係る移動体装置の動作の一例を示すフローチャートの一部である。 図１３は、実施の形態２に係る移動体装置の動作手順の一例を示す説明図である。 図１４は、実施の形態３に係る移動体装置の構成を示すブロック図である。 図１５は、実施の形態３に係る移動体装置の動作の一例を示すフローチャートである。 図１６は、実施の形態３に係る移動体装置の動作手順の一例を示す説明図である。

以下、一実施の形態に係る半導体装置について、図面を参照して詳細に説明する。なお、明細書および図面において、同一の構成要素または対応する構成要素には、同一の符号を付し、重複する説明は省略する。また、図面では、説明の便宜上、構成を省略または簡略化している場合もある。また、実施の形態と各変形例との少なくとも一部は、互いに任意に組み合わされてもよい。

［実施の形態１］
図１は、実施の形態１に係る移動体装置の構成を示すブロック図である。図１に示されるように、移動体装置１は、半導体装置１０、撮像部２０および移動駆動部３０を有する。

撮像部２０は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子と撮像レンズを含んで構成され、移動体装置１の筐体の進行方向前側に配置されている。そして、撮像部２０は、移動体装置の周辺（例えば、進行方向前方の走行面）を撮影する。

移動駆動部３０は、不図示の移動モータや駆動輪などを備え、移動体装置１の筐体を前後方向への直進および左右方向へ移動させる。

半導体装置１０は、撮像インターフェース（Ｉ／Ｆ）１０１、撮像制御部１０２、記憶部１０３、画像検出部１０４、画像認識部１０５、移動制御部１０６および制御部１０７を有し、システムバス１０８を介して各部が接続されている。

撮像インターフェース１０１には、撮像部２０が接続されており、撮像部２０で撮影された撮像画像を受け、記憶部１０３に一時格納する。例えば、撮像画像の画像サイズは６４０×４８０ピクセルである。

撮像制御部１０２は、撮像インターフェース１０１を介して、撮像部２０へ撮像制御信号を送信する。撮像制御信号は、制御部１０７からの撮像間隔指示に基づき生成される。撮像部２０は、撮像制御信号によって撮影間隔が制御され、指定された撮像間隔で撮影した撮像画像を順次送信する。撮像間隔は、撮像画像の取得間隔として定義される。

記憶部１０３は、撮像インターフェース１０１を介して撮像部２０から送られてくる撮像画像を一時格納し、その一時格納した撮像画像を読み出し、画像検出用として画像検出部１０４に送信する。また、記憶部１０３は、後述するように、画像検出部によって物体が検出されたときに切り出された物体検出領域の画像を記憶保持する。

この実施の形態において、記憶部１０３に一時記憶される撮像画像は、画像検出部１０４での画像検出処理、および、画像認識部１０５での画像認識処理に用いられる。

画像検出部１０４は、記憶部１０３に一時格納された撮像画像を読み出し、撮像画像から物体が映っている領域を探す。物体が映っている領域が存在した場合には、画像検出部１０４はその物体が映っている領域を切り出し、物体検出領域画像として記憶部１０３に格納する。例えば、物体検出領域画像の画像サイズは、６４×６４ピクセルである。

なお、画像検出部１０４は、対象の撮像画像に対して、所定の大きさの判定領域で走査し、判定領域内に物体が存在するか否かの判定を行い、物体が存在すると判定された判定領域を物体検出領域画像として記憶部１０３に格納する。なお、判定領域内に物体が存在するか否かの判定は、周知のパターン認識技術を適用してもよい。

画像認識部１０５は、記憶部１０３に一時格納された物体検出領域画像を読み出し、当該物体検出領域画像に含まれる物体に対する認識確率を算出する。すなわち、画像認識部１０５は、物体に対する複数の認識候補の認識確率をそれぞれ算出する。そして、算出された認識確率に基づいて、その物体が何であるかが特定される。例えば、最も高い認識確率が得られた認識候補を物体の認識結果とする。また、その認識確率算出方法としては、畳み込みニューラルネットワーク手法等のニューラルネットワークが適用される。

移動制御部１０６は、移動駆動部３０の移動動作を制御する。例えば、移動制御部１０６はモータドライバ等を備え、制御部１０７からの制御信号に基づき移動方向および移動速度を決定して移動駆動部３０に指示する。

制御部１０７は、撮像制御部１０２に対して撮像画像の取得間隔である撮像間隔を指示する。また、移動制御部１０６に対しては移動方向および移動速度を指示する。さらに、制御部１０７は、画像認識部１０５から出力される認識確率に基づき撮像制御部１０２および移動制御部１０６の少なくとも一方を制御する。具体的には、画像認識部１０５から出力された認識確率が所定値以上の場合には、制御部１０７は、撮像制御部１０２および移動制御部１０６にそれぞれ撮像間隔および移動速度の初期値を設定する。一方、認識確率が所定値未満の場合には、制御部１０７は、撮影間隔および移動速度の少なくとも一方を変更するように撮像制御部１０２および移動制御部１０６を制御する。例えば、認識確率が所定値未満の場合には、制御部１０７は、移動体装置１の移動速度を低速に、または、撮像間隔が短くなるように制御する。

図２は、実施の形態１にかかる移動体装置１の制御方法の一例を示すフローチャートである。図３は、移動体装置１の制御に係る動作を示す説明図である。図３の（Ｂ）、（Ｃ）において、図３の（Ａ）と共通部分の符号は省略する。

まず、移動体装置１に電源が投入され（ステップＳ１）、撮像制御部１０２および移動制御部１０６にそれぞれ撮像間隔初期値および移動速度初期値が設定される。これら撮像間隔初期値および移動速度初期値は、設計者によって予め定められる。例えば、撮像間隔における移動体装置１の移動距離が、進行方向の画像視野長（撮像画像の垂直方向の長さ）と同等程度になるように、撮像間隔初期値および移動速度初期値が設定される。移動体装置１は、移動速度初期値に従い移動を開始し（ステップＳ２）、撮像間隔初期値に従い撮影を開始する（ステップＳ３）。

次に、画像検出部１０４が、撮像部２０によって撮影された撮像画像内に物体が映っているか否かの判定をするために、画像検出部１０４によって撮像部２０で撮影された撮像画像に対して物体検出処理が実行される（ステップＳ４）。図３の（Ａ）に示すように、撮像画像２０２＿１に物体が映っていない場合には物体検出領域画像が出力されないことによって撮像画像内に物体が映っていないと判定され（ステップＳ５のＮｏ）、ステップＳ３に戻る。一方、図３の（Ｂ）に示すように、撮像画像２０２＿２に物体が映っている場合には物体検出領域画像が出力されるため撮像画像内に物体が映っていると判定され（ステップＳ５のＹｅｓ）、出力された物体検出領域画像が記憶部１０３に格納される。

画像認識部１０５は、記憶部１０３から物体検出領域画像を読み出し、読み出した物体検出領域画像に対して画像認識処理を行い、複数の認識候補にそれぞれ対応する複数の認識確率を出力する（ステップＳ６）。

複数の認識確率の中に所定値以上の認識確率（例えば、８０％以上）があった場合は（ステップＳ７のＹｅｓ）、制御部１０７は移動速度および撮像間隔をそれぞれ初期値に維持または再設定する（ステップＳ８）。その後、制御部１０７は、認識確率から得られる物体の認識結果に応じて筐体の制御を行う（ステップＳ９）。例えば、後述するように、移動体装置１が認識した物体を避けるように移動方向が制御されてもよい。つまり、制御部１０７は、認識確率が所定値以上の場合には、移動体装置１である自装置の移動方向を変更するように、移動駆動部１０６を制御してもよい。または、不図示の通知部により物体の認識結果を通知するようにしてもよい。その後、移動体装置１は、ステップＳ３に戻り、ステップＳ８において設定された移動速度および撮像間隔に基づき、画像撮影、画像検出および画像認識処理を繰り返す。

一方、複数の認識候補の認識確率のいずれもが所定値未満（例えば８０％未満）である場合は（ステップＳ７のＮｏ）、制御部１０７は移動速度および撮像間隔の少なくとも一方を変更する（ステップＳ１０）。つまり、制御部１０７は、認識確率が所定値以下の場合には、移動体装置１である自装置の移動速度を変更するように、移動駆動部１０６を制御してもよい。また、制御部１０７は、認識確率が所定値以下の場合には、移動体装置１である自装置の撮像間隔を変更するように、撮像制御部１０２を制御してもよい。認識確率が所定値未満になる理由としては、図３の（Ｂ）に示すように、物体２００が撮像画像範囲２０１＿２に含まれているものの撮像画像２０２＿２に物体の一部しか映っていない場合、または、撮像画像に映っている物体が小さく必要な特徴量が得られない場合が考えられる。したがって、移動速度または撮像間隔を制御することで、撮像画像に物体全体が映るようにする。

例えば、ステップＳ１０において、制御部１０７は、移動速度を移動速度初期値より低速に設定する。その後、ステップＳ３に戻り、移動体装置１は、移動速度初期値が設定されていた場合に比べて低速で移動しながら画像撮影を行う。すなわち、移動体装置１が検出対象の物体に対して速度を落として撮影を行うことで、検出対象の物体が撮影範囲外に出てしまうことを防ぎつつ、物体の全体を映すことができる。このようにして、図３の（Ｂ）のように物体の一部しか映っておらず所定値未満の認識確率しか得られなかった場合は、次の撮影によって、図３の（Ｃ）に示されるような物体の全体が映る撮像画像を取得できる。

このようにして得られた物体の全体が映る撮像画像に対して物体検出処理が行われ、物体検出領域画像が出力される（ステップＳ４、ステップＳ５のＹｅｓ）。そして、この物体検出領域画像に対して画像認識処理が行われる（ステップＳ６）。物体検出領域画像には物体の全体が含まれているため、図３の（Ｂ）の撮像画像での認識確率よりも高い認識確率が期待できる。

所定値以上の認識確率が得られた場合には、制御部１０７は、移動速度を移動速度初期値に戻し（ステップＳ８）、その認識結果に基づき移動体装置１の制御が行われる（ステップＳ９）。

なお、ステップＳ１０において、撮像間隔を撮像間隔初期値よりも短くしてもよい。この場合も、移動速度を移動速度初期値よりも低速に設定する場合と同様の効果が得られる。すなわち、物体に少しずつ近づいた撮影画像を得ることができ、結果、物体の全体が映る撮像画像を得ることができる。

図３の（Ａ）〜（Ｃ）を参照して、移動体装置１の動作について説明する。

図３の（Ａ）に示されるように、物体２００が撮像画像範囲外にある場合は、当然、撮像画像２０１＿１には物体が映らない。したがって、物体は検出されず（ステップＳ４のＮｏ）、移動を続けながら再度画像取得を行う（ステップＳ３）。図３の（Ｂ）に示されるように、次の撮影タイミングで、物体２００の一部が撮像画像範囲２０１＿２に入ると、物体の一部が映った撮像画像が得られ、物体が検出される（ステップＳ５のＹｅｓ）。そして、画像認識処理が実行される（ステップＳ６）。しかしながら、撮像画像には物体の一部しか映っていないため認識確率が下がり、所定値未満となった場合（ステップＳ７のＮｏ）、制御部１０７は移動速度を初期値より低速になるように変更する（ステップＳ１０）。つまり、図３の（Ａ）に示される移動体装置１の位置から、次の撮影タイミング（図３の（Ｂ））までに移動体装置１が移動した距離をＬとすると、図３の（Ｂ）に示される移動体装置１の位置から図３の（Ｃ）に示される移動体装置１の位置までの移動距離Ｌ’は移動距離Ｌよりも小さい。したがって、移動体装置１は、次の撮影タイミングでの撮像画像範囲２０１＿３が物体の位置を超えてしまうことのないように移動することができ、結果、物体の全体を含む撮像画像２０２＿３を得ることができる。その後、物体の全体を含む撮像画像２０２＿３で画像認識処理が実行され、例えば、指輪であるとする認識確率が所定値以上となった場合には（ステップＳ７のＹｅｓ）、当該物体は指輪であると認識される。物体が認識されると、移動体装置１の移動速度は初期値に戻され（ステップＳ８）、その後、例えば、物体を避けるように方向を変更される（ステップＳ９）。

上述のように、本実施の形態に係る移動体装置１は、画像認識処理後の認識確率に基づいて移動速度または撮像間隔を制御する。認識確率が低い場合には、移動体装置１の移動速度をより低速に、または、撮像間隔をより短くすることにより、物体に近づきつつ撮像画像枚数を増やして画像認識処理を行う。画像認識処理の対象となる撮像画像が増えることにより画像認識精度の向上を図ることができる。言い換えれば、所定値未満の画像認識率を得た位置よりも物体に近い範囲における撮像画像枚数を増やし、物体の画像認識精度を向上させている。一方、所定値以上の認識確率が得られたときは、移動体装置１の移動速度および撮像間隔を初期値にすることで、移動領域に対する撮像画像枚数を抑えている。

また、画像認識処理は物体検出領域画像に対してのみ実行されるため、物体が映っていない撮像画像には画像認識処理が実行されない。さらに、物体が検出された撮像画像のうち物体が検出された領域の画像を切り出し、切り出された画像に対してのみ画像認識処理の対象とすることで、画像認識処理の増大を抑制できる。その結果、画像認識処理時間が短縮され、低消費で処理を行うことができる。

［実施の形態１の変形例１］
実施の形態１の変形例について、図４を参照しながら説明する。図４は、実施の形態１の変形例１に係る移動体装置１の制御方法の一例を示している。実施の形態１の説明では、撮像画像に物体が映っているか否か（ステップＳ４、Ｓ５）で物体検出の判断を行っていたが、加えて、物体検出領域のサイズに応じて物体が検出されたか否かの判定（ステップＳ１１、Ｓ１２）を行ってもよい。

画像検出部１０４は、物体が検出され、物体が映っている領域が出力された後、物体検出領域画像のサイズが第１の所定サイズ（Ｓｉｚｅ＿１）よりも大きいか否かを判定する（ステップＳ１１）。物体検出領域画像のサイズが第１の所定サイズ以上である場合（ステップＳ１１のＹｅｓ）には、ステップＳ１２に進む。一方、物体検出領域画像のサイズが第１の所定サイズ（Ｓｉｚｅ＿１）の大きさを超えない場合（ステップＳ１１のＮｏ）には、ステップＳ３に戻る。すなわち、物体検出領域画像のサイズが第１の所定サイズよりも小さい場合には、当該物体検出領域画像が記憶部１０３に格納されず、その物体検出領域画像に対する画像認識処理が行われない。

物体検出領域画像のサイズが第１の所定サイズ以上だった場合には、さらに物体検出領域画像のサイズが第２の所定サイズ（Ｓｉｚｅ＿２）よりも大きいか否かを判定する（ステップＳ１２）。物体検出領域画像のサイズが第２の所定サイズ（Ｓｉｚｅ＿２）以下の場合は（ステップＳ１２のＹｅｓ）、当該領域の画像データを記憶部１０３に格納し、画像認識処理が実行される（ステップＳ５）。一方、物体検出領域画像のサイズが第２の所定サイズよりも大きい場合は（ステップＳ１２のＮｏ）、検出された物体に衝突しないように画像認識処理を行うことなく筐体の制御を行う（ステップＳ８）。

このように、変形例１によれば、物体検出領域画像のサイズが所定の範囲内にある場合に、当該物体検出領域画像に対して画像認識処理を実行する。

物体検出領域画像のサイズが小さい場合には、認識に必要な特徴量が得られず、画像認識処理を行っても低い認識確率しか得られない可能性がある。したがって、低い認識確率に基づいた認識結果しか得られないと予想される撮像画像に対しては画像認識処理を実行しない。また、物体検出領域画像のサイズが大きい場合には、筐体が衝突する可能性がある。したがって、画像認識処理を行うことなく衝突を避けるような筐体制御を優先する。このように、物体検出領域画像のサイズに応じて画像認識処理の実行を決定することで、より消費電力を低減することができる。

なお、物体検出領域画像のサイズが所定のサイズ以上、または、所定のサイズ以下の場合に、物体検出領域画像に対して画像認識処理を実行してもよい。

［実施の形態１の変形例２］
実施の形態１のほかの変形例について、図５を参照しながら説明する。図５は、実施の形態１の変形例２に係る移動体装置の物体検出処理の一例を示すフローチャートである。

まず、本変形例２に係る物体検出処理では、物体の検出精度向上およびノイズによる物体誤検出防止のために、撮像画像の画質を変換してから物体検出を行う。

物体検出部１０４は、撮像部２０で撮影された撮像画像の輝度（明るさ）を算出する（ステップＳ４１）。算出された輝度を基に、撮像部２０の露出（シャッター時間、カメラゲイン）を補正する。具体的な補正値の算出および撮像部２０への制御は制御部１０７によって実行される。なお、ステップＳ４１は、撮像部２０の露出を補正するための工程であって、撮像画像そのものに対する処理ではない。

次に、画像検出部１０４は、撮像画像に対して輝度正規化処理を行う（ステップＳ４２）。ステップＳ４１によって撮像部２０の露出が補正され、得られる撮像画像の明るさばらつきはある程度抑えることができる。そのように撮影された撮像画像に対して輝度正規化処理を実行することで、撮影画像間の明るさを統一することができる。

次に、輝度正規化処理された撮像画像をグレースケール画像に変換し、変換後のグレースケール画像に対して縮小を行う（ステップＳ４３）。例えば、縮小グレースケール画像のサイズは３２０×２４０ピクセルである。

次に、縮小グレースケール画像に対して、ノイズ除去フィルタを用いてノイズ除去を行う（ステップＳ４４）。

さらに、ノイズ除去された縮小グレースケール画像に対して、エッジ検出フィルタを用いたエッジ検出処理を行う（ステップＳ４５）。これによって、撮像画像に映っている物体の輪郭画像（エッジ検出処理後画像）が得られる。なお、エッジ検出処理後画像に対して、エッジ膨張処理を行うことで、切れかかっている輪郭を補完することができるが、本変形例２において、このエッジ膨張処理は行わない。

次に、物体検出領域抽出処理を行う（ステップＳ４６）。物体検出領域抽出処理では、まず、エッジ検出処理後画像に対して輪郭検出を行い、検出した輪郭の外接矩形情報（位置、サイズを含む）を算出する。そして、画像検出部１０４は、算出された外接矩形情報を用いて、撮像画像における外接矩形に対応する領域の画像を切り出し、物体検出領域画像として出力する。

このように、縮小画像を基に外接矩形情報を算出し、算出した外接矩形情報を基に縮小前の撮像画像から物体検出領域画像を切り出す。

上述のとおり、画像検出部１０４は、エッジ膨張処理を行っていないエッジ検出処理後画像に対して輪郭検出を行う。エッジ膨張処理を行わないことによって、認識対象とする必要のないような小さな物体の輪郭が連結して一つの大きな輪郭として誤検出されるのを防ぐことができる。複数の物体の輪郭が連結されることを防ぐ一方で、大小さまざまな物体の輪郭が多数検出される可能性がある。小さい輪郭は認識対象とする必要のないような物体である可能性が高いため、外接矩形のサイズが所定サイズ以下（例えば、３２×３２ピクセル以下）の場合は、この外接矩形情報は撮像画像の切り出しに使用しなくてもよい。

また、エッジ膨張処理を行わない場合、一つの物体の輪郭が分断される可能性がある。しかしながら、分断された複数の輪郭に基づく外接矩形は重なる可能性が高い。したがって、複数の外接矩形の一部が重なっている場合は、当該複数の外接矩形のそれぞれに含まれる輪郭は一つの物体の輪郭であるとして、これら複数の外接矩形を含む連結外接矩形の外接矩形情報を生成し、撮像画像の連結矩形部分に対応する領域を物体検出領域画像として出力してもよい。この連結矩形のサイズが所定サイズ以上（例えば、６４×６４ピクセル以上）の場合には、複数の外接矩形を連結しなくてもよい。

さらに、物体検出領域抽出処理において、複数の外接矩形が得られた場合には、それぞれの外接矩形に対して優先度を算出し、優先度の高い外接矩形の外接矩形情報を選択し、選択された外絶矩形情報に基づいて物体検出領域画像を出力してもよい。例えば、外接矩形内の画像データを構成する総ピクセルに対する輪郭を示すピクセルの割合に応じて優先度を算出してもよい。画像認識すべき物体（例えば、指輪など）の輪郭は直線や滑らかな曲線であることが多いが、ノイズ同士が連結して輪郭を構成している場合には、その輪郭が直線や滑らかな曲線であることは少ない。したがって、外接矩形内の総ピクセル数に対する輪郭を示すピクセルの割合は、画像認識すべき物体の輪郭外接矩形よりも、ノイズ同士が連結した輪郭外接矩形よりも小さい。このようにして算出された割合を優先度として用いることで、外接矩形を選別し、優先度の高い外接矩形の外接矩形情報に基づいて撮像画像から物体検出領域画像を切り出してもよい。

変形例２の物体検出処理によれば、撮像画像の輝度に基づく撮像部２０の露出補正および撮像画像に対する輝度正規化処理によって、撮像画像毎に検出精度が変化することを防ぐことができる。また、撮像画像を縮小することで各画素のデータが平均化されノイズが低減するため、誤検出を減らすことができる。また、低解像度の画像である縮小画像を用いて物体検出処理を行い、その結果に基づいて高解像度である撮像画像から物体検出領域画像を切り出すことで、物体検出処理時間の短縮を図りつつ画像認識精度を高めることができる。さらに、輪郭の膨張処理を行うことなく輪郭の外接矩形情報を取得し、外接矩形のサイズ、外接矩形の連結、および、外接矩形の優先度に基づいて適切な外接矩形を選択することで、画像認識処理を実行すべき対象を絞り込むことができ、結果、画像認識処理の増大を抑制することができる。

［ステップＳ８における筐体制御の具体例］
移動体装置１は、自走式掃除機、監視用無人航空機、カメラを搭載した各種ロボット機器などに応用可能である。それぞれの機器の場合に、ステップＳ８における筐体制御の具体例について説明する。

図６は、移動体装置１が自走式掃除機である場合の筐体制御動作を示す図である。まず、移動体装置１は、認識結果が掃除対象物か否かを判定する（ステップＳ８１）。認識された物体が掃除対象物である場合には、そのまま吸引動作を続ける（ステップＳ８２）。一方、認識された物体が掃除対象物外の場合には、自走式掃除機が、本来、吸い込むべきでない異物を吸い込んでしまうことによる故障や破損を避ける観点から、吸引動作を停止し物体を避けて移動する（ステップＳ８３）。または、不図示の通知部により物体の存在を知らせてもよい。

移動体装置１が、見守り用無人航空機である場合には、図７に示すように、認識結果が通知対象（例えば、倒れている人物）であるか否かを判定し（ステップＳ８４）、通知対象物である場合には、不図示の通知部により通知を行う（ステップＳ８５）。

さらに、移動体装置１が、カメラを搭載したロボットアームである場合には、図８に示すように、認識された物体が異物であるか否かを判定し（ステップＳ８６）、異物である場合には不図示の通知部により通知を行うと共にその動作を停止する（ステップＳ８７）。

［実施の形態２］
次に、実施の形態２に係る移動体装置１の別の形態となる移動体装置２を説明する。図９は、移動体装置２の一例を示す図であり、半導体装置１１以外の構成は図１に示されるものと同様でよい。そのため、ここではそれらの説明を省略する。また、図１と同一の機能を有する構成については、同一の符号を付し、その説明を省略する。

図９は、本実施の形態に係る半導体装置１１の構成を示すブロック図である。本実施の形態に係る半導体装置１１の構成は、画像検出部１１４、制御部１１７および画像演算部１１９を除き、実施の形態１に係る半導体装置１０と同じであるため、それらの説明を省略する。

図９に示すように、画像検出部１１４、制御部１１７および画像演算部１１９は、システムバス１０８を介して半導体装置１１を構成する各要素と接続される。

画像検出部１１４は、実施の形態１と同様に、記憶部１０３に一時格納された第１の撮像画像を読み出し、第１の撮像画像から物体が映っている領域を探す。第１の物体が映っている領域が存在した場合には、画像検出部１１４は第１の物体が映っている領域を第１の物体検出領域として切り出し、第１の物体検出領域画像として記憶部１０３に格納する。また、物体が映っている領域が存在した場合には、画像検出部１１４は、撮像画像領域に対する物体の輪郭のローカル座標を算出し、記憶部１０３に格納する。

画像演算部１１９は、記憶部１０３から第１の物体の輪郭座標を読み出し、移動体装置２に設定されている移動方向、移動速度および撮像間隔を用いて、次の撮像画像で検出される物体の輪郭座標を推定する。記憶部１０３に推定輪郭座標として保持する。例えば、図１０Ａに示す撮像画像における物体の輪郭Ａ点の座標を（Ｘ０，Ｙ０）、移動体装置２の移動方向θ、移動速度νおよび撮像間隔Δｔとすると、図１０Ｂに示す次の撮像画像における物体の輪郭Ａ点の座標（Ｘ１，Ｙ１）は以下のように推定できる。
Ｘ１＝Ｘ０−νΔｔ×ｃｏｓθ ・・・（１）
Ｙ１＝Ｙ０−νΔｔ×ｓｉｎθ ・・・（２）
このように推定された輪郭座標（Ｘ１，Ｙ１）は、記憶部１０３に格納される。

制御部１１７は、今回撮影された第２の撮像画像内において検出された第２の物体の輪郭座標と、先に撮影された第１の撮像画像内の第１の物体の輪郭座標から推定した推定輪郭座標とを比較し、第２の撮像画像内の第２の物体と前回撮影された第１の撮像画像内の第１の物体とが同一物体か否かを判定する。具体的には、第２の撮像画像内において検出された第２の物体の輪郭座標に、当該推定輪郭座標が含まれているか否かを判定し、含まれている場合には第１の物体と第２の物体が同一物体であると判定する。そして、本実施の形態では、制御部１１７は、連続して撮影された撮像画像内に映っている物体が同一物体であると判定したときに、第１の物体に対する第１の認識確率から得られる第１の認識結果と、第２の物体に対する第２の認識確率から得られる第２の認識結果とを比較する。

また、制御部１１７は、これら連続して撮影された第１および第２の撮像画像に対する画像認識結果の比較結果に基づいて、撮像制御部１０２および移動制御部１０６の少なくとも一方を制御する。具体的には、制御部１１７は、同一物体を含む連続撮像画像に対する画像認識結果が一致しているとき、一致した認識結果を最終認識結果として出力するとともに、撮像間隔および移動速度を初期値に戻すように撮像制御部１０２および移動制御部１０６に指示する。一方、同一物体を含む連続撮像画像に対する画像認識結果が一致していなかった場合には、物体の認識ができなかったとみなし、実施の形態１と同様に、撮像制御部１０２および移動制御部１０６の少なくとも一方を制御する。

このように、同一物体か否かを判定し、同一物体に対する複数の画像認識結果を用いて物体を認識することで、物体の認識精度を向上させることができる。

図１１および図１２は、実施の形態２に係る移動体装置２の制御方法の一例を示すフローチャートである。以下、フローチャートに沿って移動体装置２の制御方法に係る動作について説明する。なお、実施の形態１に係る移動体装置１の動作と同じステップには同じ符号を付す。また、図１３は、移動体装置２の処理手順を示す説明図である。図１３の（Ｂ）、（Ｃ）において、図１３の（Ａ）との共通部分の符号は省略する。

移動体装置２に電源が投入され（ステップＳ１）、撮像間隔初期値および移動速度初期値が設定される。移動体装置２は、移動速度初期値に従い移動を開始する（ステップＳ２）とともに、撮像間隔初期値に従い撮影を行う（ステップＳ３）。ここで、移動速度初期値および画像間隔初期値は、例えば、撮像間隔における移動体装置２の移動距離が、進行方向の画像視野長（撮像画像の垂直方向の長さ）の半分以下になるように、撮像間隔初期値および移動速度初期値が設定される。

次に、画像検出部１１４は、撮影された撮像画像に物体が映っているかを判定する物体検出処理を実行する（ステップＳ４）。図１３の（Ａ）に示すように、撮影範囲２１１＿１に物体が入らず、撮像画像２１２＿１に物体が映っていない場合には（ステップＳ２０のＮｏ）、ステップＳ３に戻り、移動および撮影が続行される。一方、図１３の（Ｂ）に示すように、撮影範囲２１１＿２に物体が入り、撮像画像２１２＿２に物体が映っている場合には（ステップＳ２０のＹｅｓ）、撮像画像２１２＿２から物体が映っている領域が切り出されるとともに、撮像画像における物体の輪郭座標が割り出される。さらに、画像演算部１１９によって、輪郭座標から、次の撮像画像で検出される物体の輪郭座標が推定される。

次に、制御部１１７は、今回の撮像画像から抽出した輪郭座標と、推定輪郭座標を用いて、撮像画像に映っている物体が先に撮影された撮像画像に映っている物体と同じ物体か否かを判定する（ステップＳ２１）。ここで、図１３の（Ｃ）に示される撮像画像２１２＿３が、図１３の（Ｂ）に示される撮像画像２１２＿２に続いて得られた撮像画像であった場合、撮像画像２１２＿２に基づき算出された物体の推定輪郭座標と、撮像画像２１２＿３に基づき算出された物体の輪郭座標とが比較され、同一物体か否かが判定される。

同じ物体でないと判断された場合には（ステップＳ２１のＮｏ）、物体検出部１１４で切り出された物体検出領域画像に対する画像認識処理が行われ、複数の認識候補に対する認識確率がそれぞれ出力される（ステップＳ２２）。出力された認識確率は記憶部１０３に格納される。その認識確率に閾値Ｐ０以上のものがある場合には（ステップＳ２３のＹｅｓ）、ステップＳ３に戻り、移動体装置２は移動しながら撮影を続ける。認識確率がいずれも閾値Ｐ０未満の場合には（ステップＳ２３のＮｏ）、移動体装置２は、移動速度および撮像間隔の少なくともいずれか一方が変更され（ステップＳ２４）、変更後の移動速度および撮像間隔の少なくともいずれか一方にしたがって移動および撮影を続ける。

ステップＳ２１にて同じ物体であると判断された場合には（ステップＳ２１のＹｅｓ）、物体検出部１１４で切り出された物体検出領域画像に対する画像認識処理が行われ、複数の認識候補に対する認識確率がそれぞれ出力される（ステップＳ２５）。その認識確率に閾値Ｐ１以上のものがある場合には（ステップＳ２６のＹｅｓ）、記憶部１０３に格納されている先に撮影された撮像画像に基づく認識確率から得られる認識結果と、今回の認識確率から得られる認識結果とが同じ結果を示しているか否かを判定する（ステップＳ２７）。例えば、図１３の（Ｂ）に示された撮像画像から得られた画像認識結果と、図１３の（Ｃ）に示された撮像画像から得られた画像認識結果とが同じ結果を示しているかが判断される。

複数の連続した撮像画像から得られる認識結果が一致する場合には（ステップＳ２７のＹｅｓ）、制御部１１７は移動速度および撮像間隔を初期値に戻し（ステップＳ７）、物体の認識結果に基づき筐体が制御された後（ステップＳ８）、ステップＳ３に戻り移動および撮影を続ける。なお、ステップＳ８における移動体装置２の制御は、実施の形態１と同様でもよいため、その説明を省略する。

認識確率がいずれも閾値Ｐ１未満の場合（ステップＳ２６のＮｏ）、または、ステップＳ２７にて複数の認識結果が不一致の場合には（ステップＳ２７のＮｏ）、ステップＳ２４に戻り、制御部１１７は、移動速度および撮像間隔の少なくともいずれか一方を変更する。そして、ステップＳ３に戻り、移動体装置２は、移動および撮影を続ける。

なお、認識確率閾値Ｐ０と認識確率閾値Ｐ１は、同じ値であっても異なる値であってもよい。一般的に、移動体装置１と物体との距離が離れている場合、物体の特徴量を十分に得ることができず認識確率が低い傾向にある。したがって、認識確率閾値Ｐ０よりも認識確率閾値Ｐ１を大きくすることで、より認識精度の高い結果を得ることが可能になる。

画像認識処理で得られるのは、あくまでも対象物体の認識確率であり、認識を誤る可能性もある。しかしながら、本実施の形態にかかる移動体装置２は、複数の撮像画像に映っている物体が同一か否かを判定し、同一物体に対する複数の認識処理結果から最終認識結果を得る。すなわち、同一物体を複数回認識させることで高確度での認識結果を得ることができる。

なお、本実施の形態では、２枚の撮像画像からの画像認識結果を用いて物体を認識しているが、後に認識した結果を優先して最終認識結果を決定してもよい。また、移動速度初期値および撮像間隔初期値を適宜設定し、３枚以上の撮像画像からの画像認識結果を用いて物体を認識してもよい。３枚以上の撮像画像から画像認識結果を得る場合には、認識結果の多数決で最終認識結果を決定してもよい。

さらに、本実施の形態においては、輪郭座標を算出しているため、撮像画像に複数の物体が映っているときにも、それぞれの物体に対する認識処理を行うことができる。例えば、第１の撮像画像と、それに続く第２の撮像画像とでそれぞれ個別に物体を認識させることもできる。

なお、本実施の形態において、輪郭座標を算出しているが、物体検出領域画像の左上の座標を用いて同一物体判定を行ってもよい。輪郭座標を用いて同一物体か否かの判断を行う場合に比べて、物体検出領域の左上の座標のみを用いるほうが、座標算出処理および保持情報が少ないため、より処理を高速化することができる。

［実施の形態３］
次に、実施の形態３について説明する。
図１４は、本実施の形態３に係る移動体装置３を示す図であり、半導体装置１２以外の構成は図１に示されるものと同様でよい。そのため、ここではそれらの説明を省略する。また、図１４に示される本実施の形態３に係る半導体装置１２の構成は、画像合成部１２０および制御部１２７を除き、実施の形態２に係る半導体装置１１と同じであるため、それらの説明を省略する。

図１４に示すように、画像合成部１２０はシステムバスを介して半導体装置１２を構成する各要素と接続される。画像合成部１２０は、制御部１２７によって、連続して撮影された第１および第２の撮像画像にそれぞれ映っている第１および第２の物体が同一物体であると判定された場合に、記憶部１０３からこれら撮像画像の物体検出領域画像である第1および第２の物体検出領域画像を読み出し画像合成する。合成された画像は、合成画像として記憶部１０３に格納される。画像合成部１２０は、画像合成を行うにあたって各物体検出領域画像の大きさを調整するために画像補正を行ってもよい。

制御部１２７は、記憶部１０３より合成画像を読み出し、合成画像に対して画像認識処理を行うように画像認識部１０５に指示する。

図１５は、本実施の形態３に係る移動体装置３の制御方法の一例を示すフローチャートである。図１６は、本実施の形態３に係る移動体装置３の制御方法に係る動作を示す説明図である。図１６の（Ｂ）において図１６の（Ａ）との共通部分の符号は省略する。

本実施の形態３において、移動体装置３は、画像取得後、以下の手順にしたがって処理を実行する。

図１５のステップＳ２０において、画像検出部１１４による撮像画像の画像検出処理を実行し、物体を検出したか否かを判定する。物体が検出された場合は（ステップＳ２０のＹｅｓ）、画像検出部１１４は、撮像画像から物体が映っている領域を切り出すとともに、撮像画像における物体の輪郭座標を割り出す。さらに、画像演算部１１９が、輪郭座標に基づき、次の撮像画像で検出される物体の輪郭座標を推定する。物体が検出されなかった場合は（ステップＳ２０のＮｏ）ステップＳ３に戻り、画像取得を行う。

続くステップＳ３０において、制御部１２７は、撮像画像における物体の輪郭座標と、画像演算部１１９で推定した推定輪郭座標とを比較し、撮像画像に映っている物体が先に撮影された撮像画像に映っている物体と同じ物体か否かを判定する（ステップＳ３０）。

同じ物体ではないと判断された場合には（ステップＳ３０のＮｏ）、画像認識部１０５は、今回抽出された物体検出領域画像に対する画像認識処理を行い、認識確率を出力する（ステップＳ５）。一方、同じ物体であると判断された場合には（ステップＳ３０のＹｅｓ）、画像合成部１２０は、先に抽出された物体検出領域画像と今回抽出された物体検出領域画像とを合成する（ステップＳ３１）。画像認識部１０５は、合成された画像に対して画像認識処理を行い、認識確率を出力する（ステップＳ５）。

図１６の（Ｂ）に示される撮像画像２２２＿２に映っている物体が、先に撮影された撮像画像２２２＿１に映っている物体２００と同一物体であるときには、物体検出領域画像２２３＿１、２２３＿２が合成処理され、合成画像２２４を得る。そして、画像認識部１０５は、この合成画像２２４に対して画像認識処理を行う。

続いて、制御部１２７は、認識確率が所定値以上か否かを判定する（ステップＳ６）。認識確率が所定値以上の場合には（ステップＳ６のＹｅｓ）、制御部１２７は、移動速度および撮像間隔を初期値に維持または再設定し（ステップＳ７）、認識結果に基づいて移動体装置２を制御する（ステップＳ８）。一方、認識確率が所定値未満の場合には（ステップＳ６のＮｏ）、制御部１２７は、移動速度および撮像間隔の少なくとも一方を変更して（ステップＳ１０）、ステップＳ３に戻る。

本実施の形態３におけるステップＳ８の移動体装置３の制御は、実施の形態１と同様でもよいため、その説明を省略する。

本実施の形態によれば、図１６の（Ａ）および（Ｂ）に示すように、撮像画像に物体の一部しか映っていない場合でも、画像合成によって物体の全体像を得ることができる。したがって、合成画像に対する画像認識処理結果のほうが、物体の一部しか映っていない撮像画像に対する画像認識処理結果よりも高くなる。したがって、認識精度を高めることができる。

上述の実施の形態において、移動体装置の画像検出部、画像認識部および制御部は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェアとして構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

ソフトウェアによって実現される場合は、移動体装置は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、上記プログラムを展開するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、上記プログラムおよび各種データを格納するメモリ等の記憶装置などを備えている。そして、上述した機能を実現するソフトウェアである移動体装置１の制御プログラムのプログラムコードをコンピュータで読み取り可能に記憶した記憶媒体を、移動体装置に供給し、そのコンピュータ（またはＣＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、実現可能である。

以上、本発明者によってなされた発明をその実施の形態に基づき説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることは言うまでもない。

１、２、３ 移動体装置
１０、１１、１２ 半導体装置
２０ 撮像部
３０ 移動駆動部
１０１ 撮像インターフェース
１０２ 撮像制御部
１０３ 記憶部
１０４、１１４ 画像検出部
１０５ 画像認識部
１０６ 移動制御部
１０７、１１７、１２７ 制御部
１０８ システムバス
１１９ 画像演算部
１２０ 画像合成部
２００ 物体

Claims (18)

1. 撮像画像に物体が含まれているかを検出し、前記撮像画像に前記物体が含まれている場合に、前記撮像画像から当該物体が存在する画像領域を物体検出領域画像として切り出す画像検出部と、
   前記物体検出領域画像に対して画像認識処理を行い、前記物体に対する認識確率を出力する画像認識部と、
   移動速度および前記撮像画像の取得間隔である撮像間隔を設定する制御部と、
   を備え、
   前記制御部は、前記認識確率に基づいて前記移動速度および前記撮像間隔の少なくともいずれか一方を設定する、
   半導体装置。
2. 前記制御部は、移動速度初期値を有し、
   前記認識確率が所定値以上のとき、前記移動速度を前記移動速度初期値に設定し、
   前記認識確率が所定値未満のとき、前記移動速度を前記移動速度初期値よりも小さい値に設定する、
   請求項１に記載の半導体装置。
3. 前記制御部は、撮像間隔初期値を有し、
   前記認識確率が所定値以上のとき、前記撮像間隔を前記撮像間隔初期値に設定し、
   前記認識確率が所定値未満のとき、前記撮像間隔を前記撮像間隔初期値よりも短くなるように設定する、
   請求項１に記載の半導体装置。
4. 前記画像認識部は、前記物体検出領域画像のサイズが所定サイズよりも大きい場合に、当該物体検出領域画像に対する画像認識処理を行う、
   請求項１に記載の半導体装置。
5. 前記画像検出部は、前記撮像画像をグレースケール画像に変換し、前記グレースケール画像を縮小した画像に対してノイズ除去を行い、ノイズ除去後の縮小グレースケール画像から前記物体の輪郭を検出し、検出された輪郭の外接矩形情報に基づいて前記撮像画像から前記物体検出領域画像を切り出す、
   請求項１に記載の半導体装置。
6. 前記画像検出部は、前記縮小グレースケール画像から複数の輪郭が検出される場合には、前記複数の輪郭の外接矩形情報に基づいて、当該複数の輪郭の外接矩形を連結した連結外接矩形を生成し、前記連結外接矩形の情報に基づいて、前記撮像画像から前記物体検出領域画像を切り出す、
   請求項５に記載の半導体装置。
7. 前記画像検出部は、前記縮小グレースケール画像から複数の輪郭が検出される場合には、前記複数の輪郭の外接矩形に対する優先度をそれぞれ算出し、前記優先度に応じて外接矩形を選択し、選択された前記外接矩形に対応する外接矩形情報に基づいて前記撮像画像から前記物体検出領域画像を切り出す、
   請求項５に記載の半導体装置。
8. 前記画像認識部は、ニューラルネットワークを用いて画像認識を行う、
   請求項１に記載の半導体装置。
9. 前記制御部は、第１の撮像画像に含まれる第１の物体に対する第１の認識確率から得られる第１の認識結果と、前記第１の撮像画像に続いて撮影された第２の撮像画像に含まれる第２の物体に対する第２の認識確率から得られる第２の認識結果とに基づいて、前記物体の認識結果を出力する、
   請求項１に記載の半導体装置。
10. 前記画像検出部は、前記撮像画像に含まれる前記物体の輪郭座標を出力し、
    前記制御部は、前記第１の撮像画像に含まれる前記第１の物体の輪郭座標と、前記第２の撮像画像に含まれる前記第２の物体の輪郭座標とを比較して、前記第１の物体と前記第２の物体が同一物体であると判定した場合に、前記第１および前記第２の認識結果に基づいて認識結果を出力する、
    請求項９に記載の半導体装置。
11. 前記半導体装置は、画像合成部をさらに有し、
    前記画像検出部は、前記撮像画像に含まれる前記物体の輪郭座標を出力し、
    前記画像合成部は、第３の撮像画像に含まれる第３の物体と第４の撮像画像に含まれる第４の物体とが同一物体であると判定されたとき、前記第３の撮像画像から切り出された第３の物体検出領域画像と前記第４の撮像画像から切り出された第４の物体検出領域画像とを合成して合成画像を生成し、
    前記画像認識部は、前記合成画像に対して画像認識処理を行う、
    請求項１に記載の半導体装置。
12. 画像を撮影する撮像部と、
    移動体装置を移動させるための移動駆動部と、
    前記撮像部からの撮像画像に物体が含まれているかを検出し、当該物体が存在する物体検出領域画像を切り出す画像検出部と、
    前記物体検出領域画像に対して画像認識処理を行い、前記物体に対する認識確率を出力する画像認識部と、
    前記認識確率に基づいて、前記移動駆動部および前記撮像部の少なくとも一方を制御する制御部と、を有する、
    移動体装置。
13. 前記制御部は、
    前記認識確率が所定値以上の場合には、自装置の移動方向を変更するように前記移動駆動部を制御し、
    前記認識確率が所定値未満の場合には、前記自装置の移動速度を変更するように前記移動駆動部を制御する、
    請求項１２に記載の移動体装置。
14. 前記移動体装置は、通知部をさらに有し、
    前記通知部は、前記認識確率が所定値以上の場合には、前記物体の存在を示す通知を行う、
    請求項１２に記載の移動体装置。
15. 撮像部から得られる撮像画像を取得するステップと、
    前記撮像画像に物体が含まれているかを検出し、前記撮像画像に物体が含まれている場合に、当該物体が存在する物体検出領域画像を切り出すステップと、
    前記物体検出領域画像に対して画像認識処理を実行し、前記物体に対する認識確率を出力するステップと、
    前記認識確率に応じて自装置の移動速度および前記撮像画像の撮像間隔の少なくともいずれか一方を制御するステップと、を含む、
    移動体装置の制御方法。
16. 前記物体検出領域画像のサイズが所定のサイズよりも大きいか否かを判定するステップを含む、
    請求項１５に記載の移動体装置の制御方法。
17. 複数の撮像画像のそれぞれに含まれる物体が同一か否かを判定するステップと、
    前記複数の撮像画像のそれぞれに含まれる物体が同一であると判定された場合に、前記複数の撮像画像に対する認識確率に基づいて前記物体の認識結果を出力するステップと、をさらに含む、
    請求項１５に記載の移動体装置の制御方法。
18. 複数の撮像画像のそれぞれに含まれる物体が同一か否かを判定するステップと、
    前記複数の撮像画像のそれぞれに含まれる物体が同一であると判定された場合に、前記複数の撮像画像に対応する物体検出領域画像を合成し、合成画像を生成するステップと、
    前記合成画像に対して画像認識処理を実行し、前記物体に対する認識確率を出力するステップと、を含む、
    請求項１５に記載の移動体装置の制御方法。

Images