JP2003042718A - 画像処理装置及び方法 - Google Patents
画像処理装置及び方法Info
- Publication number
- JP2003042718A JP2003042718A JP2002107013A JP2002107013A JP2003042718A JP 2003042718 A JP2003042718 A JP 2003042718A JP 2002107013 A JP2002107013 A JP 2002107013A JP 2002107013 A JP2002107013 A JP 2002107013A JP 2003042718 A JP2003042718 A JP 2003042718A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- action
- moving body
- feature information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims description 33
- 238000000034 method Methods 0.000 title claims description 17
- 238000000605 extraction Methods 0.000 claims abstract description 36
- 230000006399 behavior Effects 0.000 claims abstract description 32
- 238000013179 statistical model Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims abstract description 7
- 230000009471 action Effects 0.000 claims description 117
- 238000013528 artificial neural network Methods 0.000 claims description 17
- 238000011156 evaluation Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 238000003672 processing method Methods 0.000 claims description 12
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 230000003287 optical effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 239000000203 mixture Substances 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 210000000225 synapse Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000004382 visual function Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
(57)【要約】
【課題】 移動体の行動時に取得される外部環境の画像
情報から当該移動体の行動を高精度に認識する画像処理
装置を提供する。 【解決手段】行動コマンド出力部１２は移動体３２を行
動させる行動コマンドを出力する。局所特徴抽出部１６
は、行動コマンド出力時に移動体３２において取得され
た外部環境の画像情報から画像の局所的な特徴情報を抽
出する。全体特徴抽出部１８は、局所的な特徴情報から
画像の全体領域の特徴情報を抽出する。学習部２０は、
移動体３２に与えられた行動コマンドを認識するための
確率統計モデルを全体領域の特徴情報に基づいて計算す
る。以後の移動時には、移動体３２において取得される
外部環境の画像情報に対して確率統計モデルを適用する
ことによって、移動体３２の行動を高速かつ高精度に認
識する。
情報から当該移動体の行動を高精度に認識する画像処理
装置を提供する。 【解決手段】行動コマンド出力部１２は移動体３２を行
動させる行動コマンドを出力する。局所特徴抽出部１６
は、行動コマンド出力時に移動体３２において取得され
た外部環境の画像情報から画像の局所的な特徴情報を抽
出する。全体特徴抽出部１８は、局所的な特徴情報から
画像の全体領域の特徴情報を抽出する。学習部２０は、
移動体３２に与えられた行動コマンドを認識するための
確率統計モデルを全体領域の特徴情報に基づいて計算す
る。以後の移動時には、移動体３２において取得される
外部環境の画像情報に対して確率統計モデルを適用する
ことによって、移動体３２の行動を高速かつ高精度に認
識する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理装置及び
画像処理方法に関し、より詳細には、移動体の移動時に
取得した外部環境の画像情報を用いて移動体の行動を高
精度に認識するための画像処理装置及び方法に関する。
画像処理方法に関し、より詳細には、移動体の移動時に
取得した外部環境の画像情報を用いて移動体の行動を高
精度に認識するための画像処理装置及び方法に関する。
【０００２】
【従来の技術】従来、移動体が取得する外部環境の画像
情報を用いて移動体の行動を認識する方法として、入力
される連続画像から画像濃度の勾配変化などを計算して
オプティカルフローを検出する方法が良く知られてい
る。
情報を用いて移動体の行動を認識する方法として、入力
される連続画像から画像濃度の勾配変化などを計算して
オプティカルフローを検出する方法が良く知られてい
る。
【０００３】例えば、特開２０００−１７１２５０号公
報では、オプティカルフローを用いて移動体の現在位置
を検出する方法が開示されている。この方法によれば、
予め移動体を所定の走行領域に沿って走行させた時に、
その走行領域について所定距離間隔毎に走行領域近傍の
情景のオプティカルフローが検出され、オプティカルフ
ローと検出位置との関係が記憶される。そして、後の走
行時にも走行領域のオプティカルフローが検出され、こ
れと記憶している全てのオプティカルフローとのマッチ
ングが行われる。このマッチングにおいて最大マッチン
グ結果を示すオプティカルフローが選択され、選択され
たオプティカルフローに対応付けられている位置が移動
体の現在走行位置であると認識される。
報では、オプティカルフローを用いて移動体の現在位置
を検出する方法が開示されている。この方法によれば、
予め移動体を所定の走行領域に沿って走行させた時に、
その走行領域について所定距離間隔毎に走行領域近傍の
情景のオプティカルフローが検出され、オプティカルフ
ローと検出位置との関係が記憶される。そして、後の走
行時にも走行領域のオプティカルフローが検出され、こ
れと記憶している全てのオプティカルフローとのマッチ
ングが行われる。このマッチングにおいて最大マッチン
グ結果を示すオプティカルフローが選択され、選択され
たオプティカルフローに対応付けられている位置が移動
体の現在走行位置であると認識される。
【０００４】また、特開平１１−１３４５０４号公報に
は、動画像からオプティカルフローを算出し、これをニ
ューラルネット層で処理することで行動を認識し、必要
な処理を判断する技術が開示されている。この技術によ
れば、簡単な構成のニューラルネットによって動画像か
ら障害物への接近を判断することが可能となる。
は、動画像からオプティカルフローを算出し、これをニ
ューラルネット層で処理することで行動を認識し、必要
な処理を判断する技術が開示されている。この技術によ
れば、簡単な構成のニューラルネットによって動画像か
ら障害物への接近を判断することが可能となる。
【０００５】
【発明が解決しようとする課題】しかし、前者の方法で
位置認識するには、予め所定領域を移動してオプティカ
ルフローと位置との関係を記憶しておく必要がある。ま
た、一般に動画像のみに基づいてオプティカルフロー等
の特徴抽出を行い、位置や行動を認識するには以下のよ
うな問題がある。すなわち、移動体の移動に伴い太陽光
や蛍光灯などの光源と移動体に搭載されたカメラとの位
置関係が時々刻々と変わるため、明度などの画像強度が
変化して特徴抽出を精度良く行うのが困難となる。ま
た、移動体の移動時の振動がカメラに伝わるため、取得
する連続画像が振動の影響を受けて特徴抽出の精度を低
下させてしまう。さらに、上記画像強度の変化や振動の
悪影響を取り除くために、画像情報に対し複数フレーム
に渡ってスムージング処理を行うように構成すると、計
算負荷が増大し、かつ時間変動の大きな高速動作をする
対象物を捉えるための特徴抽出が困難になってしまうと
いう問題もある。
位置認識するには、予め所定領域を移動してオプティカ
ルフローと位置との関係を記憶しておく必要がある。ま
た、一般に動画像のみに基づいてオプティカルフロー等
の特徴抽出を行い、位置や行動を認識するには以下のよ
うな問題がある。すなわち、移動体の移動に伴い太陽光
や蛍光灯などの光源と移動体に搭載されたカメラとの位
置関係が時々刻々と変わるため、明度などの画像強度が
変化して特徴抽出を精度良く行うのが困難となる。ま
た、移動体の移動時の振動がカメラに伝わるため、取得
する連続画像が振動の影響を受けて特徴抽出の精度を低
下させてしまう。さらに、上記画像強度の変化や振動の
悪影響を取り除くために、画像情報に対し複数フレーム
に渡ってスムージング処理を行うように構成すると、計
算負荷が増大し、かつ時間変動の大きな高速動作をする
対象物を捉えるための特徴抽出が困難になってしまうと
いう問題もある。
【０００６】本発明は、上記の点に鑑みてなされたもの
であり、実環境においても移動体が取得する外部環境の
画像情報を用いて移動体の行動を高速かつ高精度に認識
することができる画像処理装置及び画像処理方法を提供
することを目的とする。
であり、実環境においても移動体が取得する外部環境の
画像情報を用いて移動体の行動を高速かつ高精度に認識
することができる画像処理装置及び画像処理方法を提供
することを目的とする。
【０００７】
【課題を解決するための手段】本発明の原理は、移動体
に対する行動コマンドと当該行動コマンドに従って移動
した際に移動体が取得した外部環境の画像情報との関係
を学習によって確率統計モデルとして生成しておき、以
後の移動時には移動体が取得する外部環境の画像情報及
び確率統計モデルに基づき現在の行動を高速かつ高精度
に認識する点にある。
に対する行動コマンドと当該行動コマンドに従って移動
した際に移動体が取得した外部環境の画像情報との関係
を学習によって確率統計モデルとして生成しておき、以
後の移動時には移動体が取得する外部環境の画像情報及
び確率統計モデルに基づき現在の行動を高速かつ高精度
に認識する点にある。
【０００８】本発明は、従来の方法においてノイズの影
響を除去するために必要とされた特徴抽出を行う前のス
ムージング処理等をすることなしに、実環境におけるオ
ンライン的な学習を事前学習段階で行い、そのようなノ
イズをも特徴抽出のデータして利用することによって、
環境の変化に対するロバスト性を向上して不良設定問題
を回避しようとするものである。
響を除去するために必要とされた特徴抽出を行う前のス
ムージング処理等をすることなしに、実環境におけるオ
ンライン的な学習を事前学習段階で行い、そのようなノ
イズをも特徴抽出のデータして利用することによって、
環境の変化に対するロバスト性を向上して不良設定問題
を回避しようとするものである。
【０００９】本発明は、移動体を行動させる行動コマン
ドを出力する行動コマンド出力部と、該行動コマンド出
力時に前記移動体において取得された外部環境の画像情
報から画像の局所領域の特徴情報を抽出する局所特徴抽
出部と、抽出された局所領域の特徴情報を使用して画像
の全体領域の特徴情報を抽出する全体特徴抽出部と、抽
出された全体領域の特徴情報に基づいて行動コマンドを
認識するための確率統計モデルを計算する学習部を含む
画像処理装置を提供する。
ドを出力する行動コマンド出力部と、該行動コマンド出
力時に前記移動体において取得された外部環境の画像情
報から画像の局所領域の特徴情報を抽出する局所特徴抽
出部と、抽出された局所領域の特徴情報を使用して画像
の全体領域の特徴情報を抽出する全体特徴抽出部と、抽
出された全体領域の特徴情報に基づいて行動コマンドを
認識するための確率統計モデルを計算する学習部を含む
画像処理装置を提供する。
【００１０】局所特徴抽出部はガボールフィルタを用い
て画像の局所領域の特徴情報を抽出する。局所領域の特
徴情報の抽出には、正成分及び負成分のガボールフィル
タを適用して得られる画像強度を使用する。ガボールフ
ィルタは８方向について適用するのが好ましい。
て画像の局所領域の特徴情報を抽出する。局所領域の特
徴情報の抽出には、正成分及び負成分のガボールフィル
タを適用して得られる画像強度を使用する。ガボールフ
ィルタは８方向について適用するのが好ましい。
【００１１】全体特徴抽出部は、ガウス関数を用いて局
所領域の特徴情報を融合する。
所領域の特徴情報を融合する。
【００１２】確率統計モデルの計算は期待値最大化アル
ゴリズムとニューラルネットワークによる教師付き学習
により行われるのが好ましいが、他の学習アルゴリズム
を使用することも可能である。
ゴリズムとニューラルネットワークによる教師付き学習
により行われるのが好ましいが、他の学習アルゴリズム
を使用することも可能である。
【００１３】確率モデルが形成されると、新たに取得さ
れた画像にこの確率モデルを適用することで移動体の行
動を高精度に認識できるようになる。従って本発明の画
像処理装置は、画像情報に対して確率統計モデルを使用
したベイズ則を適用し、各行動コマンドについての確信
度を算出することにより移動体の行動を認識する行動認
識部をさらに含む。
れた画像にこの確率モデルを適用することで移動体の行
動を高精度に認識できるようになる。従って本発明の画
像処理装置は、画像情報に対して確率統計モデルを使用
したベイズ則を適用し、各行動コマンドについての確信
度を算出することにより移動体の行動を認識する行動認
識部をさらに含む。
【００１４】上記のようにして移動体の行動を認識する
ことが可能となるが、常に一定レベル以上の確信度を有
する行動の認識が行われることが好ましい。従って本発
明の画像処理装置は、行動認識部の算出した確信度に基
づく値と所定の値を比較することによって行動認識を評
価する行動評価部と、行動評価部における評価に応じ
て、確率統計モデルを更新させる注意要求を生成する注
意生成部と、注意要求に応じて全体特徴抽出部の所定の
パラメータを変更する注意転調部をさらに含むことがで
きる。この場合、学習部は、パラメータの変更後に確率
統計モデルを再度計算する。そして行動認識部は、この
確率統計モデルを用いて移動体の行動の認識をやり直
す。
ことが可能となるが、常に一定レベル以上の確信度を有
する行動の認識が行われることが好ましい。従って本発
明の画像処理装置は、行動認識部の算出した確信度に基
づく値と所定の値を比較することによって行動認識を評
価する行動評価部と、行動評価部における評価に応じ
て、確率統計モデルを更新させる注意要求を生成する注
意生成部と、注意要求に応じて全体特徴抽出部の所定の
パラメータを変更する注意転調部をさらに含むことがで
きる。この場合、学習部は、パラメータの変更後に確率
統計モデルを再度計算する。そして行動認識部は、この
確率統計モデルを用いて移動体の行動の認識をやり直
す。
【００１５】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。
施の形態を説明する。
【００１６】図１は、本発明の一実施形態である画像処
理装置１０のブロック構成図である。画像処理装置１０
は、行動コマンド出力部１２、局所特徴抽出部１６、全
体特徴抽出部１８、学習部２０、記憶部２２、行動認識
部２４、行動評価部２６、注意生成部２８、及び注意転
調部３０等から構成される。
理装置１０のブロック構成図である。画像処理装置１０
は、行動コマンド出力部１２、局所特徴抽出部１６、全
体特徴抽出部１８、学習部２０、記憶部２２、行動認識
部２４、行動評価部２６、注意生成部２８、及び注意転
調部３０等から構成される。
【００１７】画像処理装置１０の動作は、予めカメラ等
を搭載した移動体３２を実環境下で行動させながら取得
した画像とそのときの行動の対応関係について学習を行
う事前学習段階と、事前学習段階で学習した知識を利用
して新たに取得した画像情報から移動体３２の行動を認
識する行動認識段階の二段階からなる。
を搭載した移動体３２を実環境下で行動させながら取得
した画像とそのときの行動の対応関係について学習を行
う事前学習段階と、事前学習段階で学習した知識を利用
して新たに取得した画像情報から移動体３２の行動を認
識する行動認識段階の二段階からなる。
【００１８】事前学習段階では、図１中の行動コマンド
出力部１２、局所特徴抽出部１６、全体特徴抽出部１
８、学習部２０及び記憶部２２が使用される。行動認識
段階では、これらに加えて行動認識部２４、行動評価部
２６、注意生成部２８及び注意転調部３０も使用され
る。
出力部１２、局所特徴抽出部１６、全体特徴抽出部１
８、学習部２０及び記憶部２２が使用される。行動認識
段階では、これらに加えて行動認識部２４、行動評価部
２６、注意生成部２８及び注意転調部３０も使用され
る。
【００１９】まず、事前学習段階において使用される各
部を説明する。
部を説明する。
【００２０】行動コマンド出力部１２は、移動体３２に
対し行動コマンドを出力する。行動コマンドとは、移動
体３２に直進、右折、左折などの行動をさせるコマンド
である。行動コマンド出力部１２は、外部から受信する
指示信号に応じて行動コマンドを出力するが、予め時系
列で設定されたコマンド列を図示しないメモリから読み
出してきて出力するようにしても良い。また、移動体３
２が取得画像に基づいて自己の行動を認識して随時次に
とるべき行動を決定し、行動コマンド出力部１２はその
決定に応じた行動コマンドを出力する構成としても良
い。出力された行動コマンドは、無線または有線により
移動体３２に送られると共に、全体特徴抽出部１８に供
給されて、後述する全体特徴情報の生成に使用される。
対し行動コマンドを出力する。行動コマンドとは、移動
体３２に直進、右折、左折などの行動をさせるコマンド
である。行動コマンド出力部１２は、外部から受信する
指示信号に応じて行動コマンドを出力するが、予め時系
列で設定されたコマンド列を図示しないメモリから読み
出してきて出力するようにしても良い。また、移動体３
２が取得画像に基づいて自己の行動を認識して随時次に
とるべき行動を決定し、行動コマンド出力部１２はその
決定に応じた行動コマンドを出力する構成としても良
い。出力された行動コマンドは、無線または有線により
移動体３２に送られると共に、全体特徴抽出部１８に供
給されて、後述する全体特徴情報の生成に使用される。
【００２１】移動体３２にはＣＣＤカメラ等の画像取得
部１４が付設されている。画像取得部１４は、時刻ｔに
おける移動体３２の外部環境の画像I(t)を所定の時間間
隔で取得し、局所特徴抽出部１６に供給する。
部１４が付設されている。画像取得部１４は、時刻ｔに
おける移動体３２の外部環境の画像I(t)を所定の時間間
隔で取得し、局所特徴抽出部１６に供給する。
【００２２】局所特徴抽出部１６は、画像I(t)の局所領
域の特徴情報を抽出する。本明細書において「局所領
域」とは、画像取得部１４が取得する画像I(t)の全体領
域をそれぞれが同一の大きさを有するように分割したと
きの各小領域のことを指しており、各局所領域は複数の
画素を含む。本実施形態では、時間的に連続する２枚の
画像I(t)、I(t+1)からオプティカルフローを算出して、
これを各局所領域の特徴情報（以下、「局所特徴情報」
という）の生成に使用する。局所特徴抽出部１６によっ
て抽出された局所特徴情報は、全体特徴抽出部１８に供
給される。
域の特徴情報を抽出する。本明細書において「局所領
域」とは、画像取得部１４が取得する画像I(t)の全体領
域をそれぞれが同一の大きさを有するように分割したと
きの各小領域のことを指しており、各局所領域は複数の
画素を含む。本実施形態では、時間的に連続する２枚の
画像I(t)、I(t+1)からオプティカルフローを算出して、
これを各局所領域の特徴情報（以下、「局所特徴情報」
という）の生成に使用する。局所特徴抽出部１６によっ
て抽出された局所特徴情報は、全体特徴抽出部１８に供
給される。
【００２３】全体特徴抽出部１８は、画像I(t)について
得られた全ての局所特徴情報を融合して画像全体につい
ての特徴情報（以下、「全体特徴情報」という）を抽出
する。抽出された全体特徴情報は学習部２０に供給され
る。
得られた全ての局所特徴情報を融合して画像全体につい
ての特徴情報（以下、「全体特徴情報」という）を抽出
する。抽出された全体特徴情報は学習部２０に供給され
る。
【００２４】学習部２０は、全体特徴抽出部１８から供
給される全体特徴情報に基づいて学習を行い、後述する
確率モデルを作成する。本実施形態では、この学習に公
知の期待値最大化アルゴリズムとニューラルネットワー
クを用いた教師付き学習を使用するが、他の学習アルゴ
リズムを用いることもできる。学習結果である確率統計
モデルは記憶部２２に格納され、行動認識段階における
移動体３２の行動の認識に使用される。
給される全体特徴情報に基づいて学習を行い、後述する
確率モデルを作成する。本実施形態では、この学習に公
知の期待値最大化アルゴリズムとニューラルネットワー
クを用いた教師付き学習を使用するが、他の学習アルゴ
リズムを用いることもできる。学習結果である確率統計
モデルは記憶部２２に格納され、行動認識段階における
移動体３２の行動の認識に使用される。
【００２５】事前学習段階が終了すると、その学習結果
（確率モデル）を新たに取得した画像に適用して移動体
３２の行動を高精度に認識可能な状態になる。以下、行
動認識段階において使用される各部を説明する。
（確率モデル）を新たに取得した画像に適用して移動体
３２の行動を高精度に認識可能な状態になる。以下、行
動認識段階において使用される各部を説明する。
【００２６】事前学習段階と同様、画像取得部１４は時
刻ｔにおける移動体３２の外部環境の画像I(t)を所定の
時間間隔で取得し、行動認識部２４に供給する。
刻ｔにおける移動体３２の外部環境の画像I(t)を所定の
時間間隔で取得し、行動認識部２４に供給する。
【００２７】行動認識部２４は、供給された画像I(t)に
対して記憶部２２に格納されている確率モデルを適用し
て、各行動コマンドについて確信度を算出し、最大のも
のを移動体３２の行動と認識する。算出された確信度は
行動評価部２６に供給される。
対して記憶部２２に格納されている確率モデルを適用し
て、各行動コマンドについて確信度を算出し、最大のも
のを移動体３２の行動と認識する。算出された確信度は
行動評価部２６に供給される。
【００２８】行動評価部２６は、行動コマンドの確信度
について対数尤度を計算する。注意生成部２８は、確信
度の対数尤度が所定値以上であれば何も行わない。確信
度の対数尤度が所定値未満の場合、認識した行動は十分
な確信度を得ていないとして、注意要求信号を生成して
注意転調部３０に供給する。
について対数尤度を計算する。注意生成部２８は、確信
度の対数尤度が所定値以上であれば何も行わない。確信
度の対数尤度が所定値未満の場合、認識した行動は十分
な確信度を得ていないとして、注意要求信号を生成して
注意転調部３０に供給する。
【００２９】注意転調部３０は、注意生成部２８から注
意要求信号を受信すると、学習のアルゴリズムにおける
所定のパラメータ値を変更（転調）して、学習部２０に
確率モデルの更新を行わせる。学習部２０は更新した確
率モデルを記憶部２２に格納する。行動認識部２４は、
更新後の確率モデルを適用して再度移動体３２の行動を
認識する。これによって、常に一定レベル以上の確信度
を有する行動の認識が行われることになる。
意要求信号を受信すると、学習のアルゴリズムにおける
所定のパラメータ値を変更（転調）して、学習部２０に
確率モデルの更新を行わせる。学習部２０は更新した確
率モデルを記憶部２２に格納する。行動認識部２４は、
更新後の確率モデルを適用して再度移動体３２の行動を
認識する。これによって、常に一定レベル以上の確信度
を有する行動の認識が行われることになる。
【００３０】なお、画像取得部１４は移動体３２に付設
されている必要があるが、画像処理装置１０は、画像取
得部１４と一体でまたは別個に移動体３２に付設されて
いても、あるいは移動体３２とは別の場所に設置されて
いてもよい。画像取得部１４と画像処理装置１０の間の
通信は、有線でも無線でもよい。
されている必要があるが、画像処理装置１０は、画像取
得部１４と一体でまたは別個に移動体３２に付設されて
いても、あるいは移動体３２とは別の場所に設置されて
いてもよい。画像取得部１４と画像処理装置１０の間の
通信は、有線でも無線でもよい。
【００３１】続いて、図１及び図２を用いて事前学習段
階について詳細に説明する。図２は事前学習段階の処理
の流れを示すフローチャートである。
階について詳細に説明する。図２は事前学習段階の処理
の流れを示すフローチャートである。
【００３２】行動コマンド出力部１２からの行動コマン
ドに応じて移動体３２が行動する際に、移動体３２に付
設された画像取得部１４は、時間的に連続する２枚の画
像を取得する（ステップＳ４２）。そして、局所特徴抽
出部１６は、画像取得部１４が取得した画像から局所特
徴情報を抽出する（ステップＳ４４〜Ｓ４８）。具体的
には、取得した画像中の各局所領域画像に対して複数方
向のガボールフィルタを適用して、各局所領域について
ガボールフィルタの各方向における画像強度Ｅ i(xt,yt)
を計算する（ステップＳ４４）。画像強度Ｅi(xt,yt)
は、以下の式(１)により計算される。
ドに応じて移動体３２が行動する際に、移動体３２に付
設された画像取得部１４は、時間的に連続する２枚の画
像を取得する（ステップＳ４２）。そして、局所特徴抽
出部１６は、画像取得部１４が取得した画像から局所特
徴情報を抽出する（ステップＳ４４〜Ｓ４８）。具体的
には、取得した画像中の各局所領域画像に対して複数方
向のガボールフィルタを適用して、各局所領域について
ガボールフィルタの各方向における画像強度Ｅ i(xt,yt)
を計算する（ステップＳ４４）。画像強度Ｅi(xt,yt)
は、以下の式(１)により計算される。
【００３３】
Ｅi(xt,yt)=Img(t)×Gbri(+)＋Img(t+1)×Gbri(-) (１)
ここで、Gbri(+)、Gbri(-)はそれぞれ正成分及び負成分
のガボールフィルタであることを示す。また、添え字
「ｉ」はガボールフィルタの方向を示し、本実施形態で
はｉ＝１,…,８である。Img(t)は時刻ｔにおいて取得さ
れた画像の局所領域画像を示し、Img(t+1)は次の時刻ｔ
＋１において取得された画像の局所領域画像を示す。さ
らに、(xt,yt)は、時刻ｔにおける局所領域内での画素
の座標を表している。従って、Ｅi(xt,yt)は当該局所領
域における方向ｉの画像強度を表す。
のガボールフィルタであることを示す。また、添え字
「ｉ」はガボールフィルタの方向を示し、本実施形態で
はｉ＝１,…,８である。Img(t)は時刻ｔにおいて取得さ
れた画像の局所領域画像を示し、Img(t+1)は次の時刻ｔ
＋１において取得された画像の局所領域画像を示す。さ
らに、(xt,yt)は、時刻ｔにおける局所領域内での画素
の座標を表している。従って、Ｅi(xt,yt)は当該局所領
域における方向ｉの画像強度を表す。
【００３４】ガボールフィルタの方向及び適用する数は
任意であるが、本実施形態では人間の視覚機能の受容野
を模倣して、全体画像の中心から等角に放射状に伸びる
８方向のガボールフィルタを使用している。
任意であるが、本実施形態では人間の視覚機能の受容野
を模倣して、全体画像の中心から等角に放射状に伸びる
８方向のガボールフィルタを使用している。
【００３５】次に、局所特徴抽出部１６は、ステップ４
４で計算した各局所領域における８方向の画像強度Ｅ
i(xt,yt)（ｉ＝１,…,８）から、次式(２)により各局所
領域において最も画像強度の大きい方向ｊを選択する
（ステップＳ４６）。
４で計算した各局所領域における８方向の画像強度Ｅ
i(xt,yt)（ｉ＝１,…,８）から、次式(２)により各局所
領域において最も画像強度の大きい方向ｊを選択する
（ステップＳ４６）。
【００３６】
ｊ＝argmaxi Ｅi(xt,yt) (２)
ここで、方向ｊ（ｊ＝１,…,８）は、局所領域毎に異な
ることに注意する。
ることに注意する。
【００３７】続いて、局所特徴抽出部１６は、次式(３)
のように最大の画像強度Ｅj(xt,yt)に対してガウス関数
を使用して、各局所領域について局所特徴情報Ψj(xt,y
t)を算出する（ステップＳ４８）。
のように最大の画像強度Ｅj(xt,yt)に対してガウス関数
を使用して、各局所領域について局所特徴情報Ψj(xt,y
t)を算出する（ステップＳ４８）。
【００３８】
【数１】
【００３９】ここで、式(３)中、「μj」は、当該局所
領域における画像強度Ｅj(xt,yt)の平均値である。ま
た、「σj」はこれらの画像強度Ｅj(xt,yt)の分散を示
す。従って、局所特徴情報Ψj(xt,yt)は、各局所領域に
おいて画像強度が最大値を有する方向に関する画像強度
Ｅj(xt,yt)を確率密度分布で表現したものになる。局所
特徴情報Ψj(xt,yt)は、局所領域の数と等しいだけ求め
られるが、それぞれの局所領域について局所特徴情報Ψ
j(xt,yt)を求めた方向ｊは異なっていることに注意す
る。
領域における画像強度Ｅj(xt,yt)の平均値である。ま
た、「σj」はこれらの画像強度Ｅj(xt,yt)の分散を示
す。従って、局所特徴情報Ψj(xt,yt)は、各局所領域に
おいて画像強度が最大値を有する方向に関する画像強度
Ｅj(xt,yt)を確率密度分布で表現したものになる。局所
特徴情報Ψj(xt,yt)は、局所領域の数と等しいだけ求め
られるが、それぞれの局所領域について局所特徴情報Ψ
j(xt,yt)を求めた方向ｊは異なっていることに注意す
る。
【００４０】全体特徴抽出部１８は、行動コマンド出力
部１２から行動コマンドを、局所特徴抽出部１６から局
所特徴情報Ψj(xt,yt)を受け取ると、次式(４)に従っ
て、画像強度の最大方向ｊの各方向について、その方向
に関して求められた全ての局所特徴情報Ψj(xt,yt)を融
合して全体特徴情報ρj(χt|l)を算出する（ステップＳ
５０）。
部１２から行動コマンドを、局所特徴抽出部１６から局
所特徴情報Ψj(xt,yt)を受け取ると、次式(４)に従っ
て、画像強度の最大方向ｊの各方向について、その方向
に関して求められた全ての局所特徴情報Ψj(xt,yt)を融
合して全体特徴情報ρj(χt|l)を算出する（ステップＳ
５０）。
【００４１】
【数２】
ここで、「χt」は(xt,yt)による二次元直交座標を意味
する。
する。
【００４２】算出した全体特徴情報ρj(χt|l)は、それ
ぞれ元の画像I(t)を取得したときに行動コマンド出力部
１２が出力した行動コマンドの別にクラス分けして格納
される（ステップＳ５２）。ここで、「ｌ」は行動コマ
ンドを表す。本実施形態では３つの行動コマンド（直
進、左折及び右折）が使用されているので、ｌ＝１を直
進、ｌ＝２を左折、ｌ＝３を右折の行動コマンドとして
いる。従って、移動体の直進（ｌ＝１）時に取得された
複数の全体特徴情報ρj(χt|１)と、左折（ｌ＝２）時
に取得された複数の全体特徴情報ρj(χt|２)と、右折
（ｌ＝３）時に取得された複数の全体特徴情報ρj(χt|
３)は、それぞれ別々のクラスに格納される。
ぞれ元の画像I(t)を取得したときに行動コマンド出力部
１２が出力した行動コマンドの別にクラス分けして格納
される（ステップＳ５２）。ここで、「ｌ」は行動コマ
ンドを表す。本実施形態では３つの行動コマンド（直
進、左折及び右折）が使用されているので、ｌ＝１を直
進、ｌ＝２を左折、ｌ＝３を右折の行動コマンドとして
いる。従って、移動体の直進（ｌ＝１）時に取得された
複数の全体特徴情報ρj(χt|１)と、左折（ｌ＝２）時
に取得された複数の全体特徴情報ρj(χt|２)と、右折
（ｌ＝３）時に取得された複数の全体特徴情報ρj(χt|
３)は、それぞれ別々のクラスに格納される。
【００４３】このクラスは「注意のクラス」Ωlであ
る。注意のクラスとは、新たな特徴情報が提示されたと
きにその全てを学習結果に反映させるのではなく、特定
の特徴情報に注目することで効率良く学習を更新するた
めのものである。
る。注意のクラスとは、新たな特徴情報が提示されたと
きにその全てを学習結果に反映させるのではなく、特定
の特徴情報に注目することで効率良く学習を更新するた
めのものである。
【００４４】なお、注意のクラスは３つに限られず、行
動コマンドの数と対応づけて任意の数設定することがで
きる。
動コマンドの数と対応づけて任意の数設定することがで
きる。
【００４５】全体特徴情報ρj(χt|l)は所定間隔毎に取
得される画像I(t)について行動コマンドに関連付けて計
算されるので、式(４)の計算によって、８方向の全体特
徴情報のセットがそれぞれ複数、行動コマンドの別に格
納されることになる。
得される画像I(t)について行動コマンドに関連付けて計
算されるので、式(４)の計算によって、８方向の全体特
徴情報のセットがそれぞれ複数、行動コマンドの別に格
納されることになる。
【００４６】図３〜図５は、元の画像I(t)と、局所特徴
情報Ψj(xt,yt)と、全体特徴情報ρ j(χt|l)の対応を示
す図である。図３は移動体３２の直進時に、図４は左折
時に、図５は右折時に取得された画像にそれぞれ対応す
る。
情報Ψj(xt,yt)と、全体特徴情報ρ j(χt|l)の対応を示
す図である。図３は移動体３２の直進時に、図４は左折
時に、図５は右折時に取得された画像にそれぞれ対応す
る。
【００４７】各図の(a)は、画像取得部１４により取得
された画像I(t)の一例である。各図の(b)は、ガボール
フィルタのある１方向の局所特徴情報を画像全体につい
てグラフ化したものであり、Ｚ軸は局所特徴情報Ψ
j(xt,yt)の絶対値を表す。この例では、画像全体が７７
×５７個の局所領域に分割されている。各図の(c)は、
(b)の局所特徴情報から式(４)の計算によって算出され
た全体特徴情報ρj(χt|l)を、ガボールフィルタの適用
方向毎に示した極形マップである。図(c)中、の１から
８の数字はガボールフィルタの適用方向（上方向、右上
方向、…）に対応している。
された画像I(t)の一例である。各図の(b)は、ガボール
フィルタのある１方向の局所特徴情報を画像全体につい
てグラフ化したものであり、Ｚ軸は局所特徴情報Ψ
j(xt,yt)の絶対値を表す。この例では、画像全体が７７
×５７個の局所領域に分割されている。各図の(c)は、
(b)の局所特徴情報から式(４)の計算によって算出され
た全体特徴情報ρj(χt|l)を、ガボールフィルタの適用
方向毎に示した極形マップである。図(c)中、の１から
８の数字はガボールフィルタの適用方向（上方向、右上
方向、…）に対応している。
【００４８】図３〜５の(c)の極形マップに現れた形状
を比較すると、各画像について８方向の全体特徴情報を
求めることで移動体３２の行動（行動コマンドｌ）につ
いての特徴が捉えられていることがわかる。
を比較すると、各画像について８方向の全体特徴情報を
求めることで移動体３２の行動（行動コマンドｌ）につ
いての特徴が捉えられていることがわかる。
【００４９】図２に戻り、ステップＳ５２で全体特徴情
報ρj(χt|l)を格納した後、学習部２０は全体特徴情報
ρj(χt|l)に基づいて学習を行う（ステップＳ５４〜Ｓ
５８）。具体的には、期待値最大化アルゴリズム（ＥＭ
アルゴリズム）とニューラルネットワークを用いた教師
付き学習を行って、移動体３２の行動を認識するための
確率モデルを生成する。以下、本実施形態におけるＥＭ
アルゴリズムとニューラルネットワークを用いた教師付
き学習の適用について順に説明する。
報ρj(χt|l)を格納した後、学習部２０は全体特徴情報
ρj(χt|l)に基づいて学習を行う（ステップＳ５４〜Ｓ
５８）。具体的には、期待値最大化アルゴリズム（ＥＭ
アルゴリズム）とニューラルネットワークを用いた教師
付き学習を行って、移動体３２の行動を認識するための
確率モデルを生成する。以下、本実施形態におけるＥＭ
アルゴリズムとニューラルネットワークを用いた教師付
き学習の適用について順に説明する。
【００５０】ＥＭアルゴリズムは、観測データが不完全
データであるときに最大尤度になるパラメータθを推測
する繰り返しアルゴリズムである。観測データの平均を
μl、共分散をΣlとすると、パラメータθはθ(μl,
Σl)と表わすことができる。ＥＭアルゴリズムでは、パ
ラメータθ(μl,Σl)の適当な初期値から開始して、Ｅ
ステップ（Expectation step）とＭステップ（Maximiza
tion step）の２つのステップを反復することでパラメ
ータθ(μl,Σl)の値を逐次更新していく。
データであるときに最大尤度になるパラメータθを推測
する繰り返しアルゴリズムである。観測データの平均を
μl、共分散をΣlとすると、パラメータθはθ(μl,
Σl)と表わすことができる。ＥＭアルゴリズムでは、パ
ラメータθ(μl,Σl)の適当な初期値から開始して、Ｅ
ステップ（Expectation step）とＭステップ（Maximiza
tion step）の２つのステップを反復することでパラメ
ータθ(μl,Σl)の値を逐次更新していく。
【００５１】まず、Ｅステップでは、次式(５)により条
件付き期待値ψ(θ|θ(k))を算出する。
件付き期待値ψ(θ|θ(k))を算出する。
【００５２】
【数３】
【００５３】次に、Ｍステップでは、次式(６)によりψ
(θ|θ(k))を最大にするパラメータμl、Σlを計算し、
これを新たな推測値θ(k+1)とする。
(θ|θ(k))を最大にするパラメータμl、Σlを計算し、
これを新たな推測値θ(k+1)とする。
【００５４】
【数４】
【００５５】このＥステップとＭステップを反復してい
き、得られた条件付き期待値ψ(θ|θ(k))をθ(k)に関
して偏微分する。そして、偏微分の結果を「０」と置く
ことによって、最終的なμl、Σlが算出される。ＥＭア
ルゴリズムは当技術分野において周知なので、これ以上
詳細な説明は省略する。
き、得られた条件付き期待値ψ(θ|θ(k))をθ(k)に関
して偏微分する。そして、偏微分の結果を「０」と置く
ことによって、最終的なμl、Σlが算出される。ＥＭア
ルゴリズムは当技術分野において周知なので、これ以上
詳細な説明は省略する。
【００５６】ＥＭアルゴリズムにより、各注意のクラス
Ωlの全体特徴情報を正規分布で表すことができる（ス
テップＳ５４）。
Ωlの全体特徴情報を正規分布で表すことができる（ス
テップＳ５４）。
【００５７】全体特徴抽出部１８は、行動コマンドｌに
ついて算出したμl、Σlを次式(７)に用いて、全体特徴
情報ρj(χt|l)が行動コマンドｌのクラスΩｌに属する
確率である事前確率p-(ρ|Ωl)を算出する（ステップＳ
５６）。
ついて算出したμl、Σlを次式(７)に用いて、全体特徴
情報ρj(χt|l)が行動コマンドｌのクラスΩｌに属する
確率である事前確率p-(ρ|Ωl)を算出する（ステップＳ
５６）。
【００５８】
【数５】
上式において、Ｎは全体特徴情報ρj(χt|l)の次元数で
ある。
ある。
【００５９】次に、ニューラルネットワークを用いた教
師付き学習について説明する。この学習では、注意のク
ラスΩlを教師信号として、画像取得部１４により取得
された画像I(t)について、条件付き確率密度関数p(I(t)
|Ωl)を算出する（ステップＳ５８）。
師付き学習について説明する。この学習では、注意のク
ラスΩlを教師信号として、画像取得部１４により取得
された画像I(t)について、条件付き確率密度関数p(I(t)
|Ωl)を算出する（ステップＳ５８）。
【００６０】図６は、このニューラルネットワークを用
いた教師付き学習に使用される階層型ニューラルネット
ワークの構成例を示す図である。この階層型ニューラル
ネットワークは３層のノードを有し、入力層７２は元の
画像I(t)、中間層７４は全体特徴情報ρj(χt|l)、出力
層７６は行動コマンドｌの注意のクラスΩlにそれぞれ
対応する。なお、入力層７２には簡単のために３つのノ
ードのみ描かれているが、実際にはノードは画像I(t)の
数だけ存在する。同様に、中間層７４には入力層７２と
同数の全体特徴情報ρj(χt|l)のノードがあり、両者は
それぞれ１対１に接続されている。また出力層７６のノ
ードは注意クラスΩlの数（本実施形態では３つ）だけ
生成される。
いた教師付き学習に使用される階層型ニューラルネット
ワークの構成例を示す図である。この階層型ニューラル
ネットワークは３層のノードを有し、入力層７２は元の
画像I(t)、中間層７４は全体特徴情報ρj(χt|l)、出力
層７６は行動コマンドｌの注意のクラスΩlにそれぞれ
対応する。なお、入力層７２には簡単のために３つのノ
ードのみ描かれているが、実際にはノードは画像I(t)の
数だけ存在する。同様に、中間層７４には入力層７２と
同数の全体特徴情報ρj(χt|l)のノードがあり、両者は
それぞれ１対１に接続されている。また出力層７６のノ
ードは注意クラスΩlの数（本実施形態では３つ）だけ
生成される。
【００６１】図６において、「λ」は階層型ニューラル
ネットワークのシナプス荷重である。ＥＭアルゴリズム
によって全体特徴情報ρj(χt|l)がそれぞれの注意のク
ラスΩlに属する確率が求められており、また全体特徴
情報ρj(χt|l)は１組の画像I(t)、I(t+1)に１：１に対
応して算出されるので、注意のクラスΩlを教師信号と
する教師付き学習を繰り返していくことで画像I(t)と注
意のクラスΩlの確率的な関係（つまり図６中のλ）が
決定されていく。この確率的な関係は条件付き確率密度
関数ｐ(I(t)|Ωl)である。階層型ニューラルネットワー
クは当技術分野において周知なので、これ以上詳細な説
明は省略する。
ネットワークのシナプス荷重である。ＥＭアルゴリズム
によって全体特徴情報ρj(χt|l)がそれぞれの注意のク
ラスΩlに属する確率が求められており、また全体特徴
情報ρj(χt|l)は１組の画像I(t)、I(t+1)に１：１に対
応して算出されるので、注意のクラスΩlを教師信号と
する教師付き学習を繰り返していくことで画像I(t)と注
意のクラスΩlの確率的な関係（つまり図６中のλ）が
決定されていく。この確率的な関係は条件付き確率密度
関数ｐ(I(t)|Ωl)である。階層型ニューラルネットワー
クは当技術分野において周知なので、これ以上詳細な説
明は省略する。
【００６２】このようなニューラルネットワークを用い
た教師付き学習によって、画像I(t)と注意のクラスΩl
との確率的な対応関係である条件付き確率密度関数ｐ(I
(t)|Ωl)を得ることができる。
た教師付き学習によって、画像I(t)と注意のクラスΩl
との確率的な対応関係である条件付き確率密度関数ｐ(I
(t)|Ωl)を得ることができる。
【００６３】なお、ステップＳ５４〜Ｓ５８の処理は、
行動コマンドｌ毎に実行される。従って本実施形態で
は、行動コマンドｌ＝１、２、３のそれぞれについて事
前確率p-(ρ|Ωl)と条件付き確率密度関数ｐ(I(t)|Ωl)
（これらをまとめて「確率モデル」という）が算出され
る。
行動コマンドｌ毎に実行される。従って本実施形態で
は、行動コマンドｌ＝１、２、３のそれぞれについて事
前確率p-(ρ|Ωl)と条件付き確率密度関数ｐ(I(t)|Ωl)
（これらをまとめて「確率モデル」という）が算出され
る。
【００６４】学習部２０によって算出された確率モデル
は、記憶部２２に格納される（ステップＳ６０）。事前
学習を継続する場合はステップＳ６２で「ｙｅｓ」とな
り再度ステップ４２からの一連の処理が繰り返され、確
率モデルが更新される。事前学習は、移動体３２が行動
をしている間、所定の間隔で取得される画像I(t)の全て
について実行される。そして、所定数の画像I(t)につい
て処理を完了する等、行動認識に十分精度の高い確率モ
デルが生成されたと判断される時点で終了する（ステッ
プＳ６４）。
は、記憶部２２に格納される（ステップＳ６０）。事前
学習を継続する場合はステップＳ６２で「ｙｅｓ」とな
り再度ステップ４２からの一連の処理が繰り返され、確
率モデルが更新される。事前学習は、移動体３２が行動
をしている間、所定の間隔で取得される画像I(t)の全て
について実行される。そして、所定数の画像I(t)につい
て処理を完了する等、行動認識に十分精度の高い確率モ
デルが生成されたと判断される時点で終了する（ステッ
プＳ６４）。
【００６５】続いて、図１及び図７を用いて行動認識段
階について詳細に説明する。図７は行動認識段階の処理
の流れを示すフローチャートである。
階について詳細に説明する。図７は行動認識段階の処理
の流れを示すフローチャートである。
【００６６】画像取得部１４は、所定の時間間隔ごとに
２枚の画像を取得する（ステップ８２）。
２枚の画像を取得する（ステップ８２）。
【００６７】次に、事前学習時に算出された確率モデ
ル、すなわち事前確率ｐ-(ρl|Ωl)と条件付き確率密度
関数p(I(t)|Ωl)が以下のベイズ則において使用され、
各注意のクラスΩlの確信度p(Ωl(t))（confidence）が
計算される（ステップＳ８４）。この確信度p(Ωl(t))
は、画像取得部１４の取得した画像I(t)が各注意のクラ
スΩlに属している確率を表している。
ル、すなわち事前確率ｐ-(ρl|Ωl)と条件付き確率密度
関数p(I(t)|Ωl)が以下のベイズ則において使用され、
各注意のクラスΩlの確信度p(Ωl(t))（confidence）が
計算される（ステップＳ８４）。この確信度p(Ωl(t))
は、画像取得部１４の取得した画像I(t)が各注意のクラ
スΩlに属している確率を表している。
【００６８】
【数６】
そして、算出された３つの確信度p(Ω1(t))、p(Ω
2(t))、p(Ω3(t))のうち、最大のものが選択される（ス
テップＳ８６）。
2(t))、p(Ω3(t))のうち、最大のものが選択される（ス
テップＳ８６）。
【００６９】行動評価部２６は、行動認識部２４におい
て選択された確信度p(Ωl(t))について、対数尤度log p
(Ωl(t))が所定値Ｋより大きいか否かを判別する（ステ
ップＳ８８）。log p(Ωl(t))＞Ｋの場合、確信度が最
大である注意のクラスΩlに対応する行動コマンドｌ
が、画像I(t)が取得されたときに現実になされている移
動体３２の行動であると認識される（ステップＳ９
２）。
て選択された確信度p(Ωl(t))について、対数尤度log p
(Ωl(t))が所定値Ｋより大きいか否かを判別する（ステ
ップＳ８８）。log p(Ωl(t))＞Ｋの場合、確信度が最
大である注意のクラスΩlに対応する行動コマンドｌ
が、画像I(t)が取得されたときに現実になされている移
動体３２の行動であると認識される（ステップＳ９
２）。
【００７０】一方、log p(Ωl(t))≦Ｋの場合、注意生
成部２８は注意要求を行う。注意転調部３０は、式(７)
におけるガウシアンミクスチャ「ｍ」を所定値だけ増加
（すなわち、注意転調）する（ステップＳ９０）。そし
て、学習部２０において図２のステップＳ５６〜Ｓ６０
の一連の処理が再度実行され、確率モデル（事前確率p-
(ρ|Ωl)及び条件付き確率密度関数p(I(t)|Ωl)）が更
新される。
成部２８は注意要求を行う。注意転調部３０は、式(７)
におけるガウシアンミクスチャ「ｍ」を所定値だけ増加
（すなわち、注意転調）する（ステップＳ９０）。そし
て、学習部２０において図２のステップＳ５６〜Ｓ６０
の一連の処理が再度実行され、確率モデル（事前確率p-
(ρ|Ωl)及び条件付き確率密度関数p(I(t)|Ωl)）が更
新される。
【００７１】そしてプロセスは図７のステップＳ８４に
戻り、ステップＳ８４〜Ｓ８８の処理が繰り返され、対
数尤度log p(Ωl(t))が所定の値Ｋ以上になるまでガウ
シアンミクスチャｍが増加される。
戻り、ステップＳ８４〜Ｓ８８の処理が繰り返され、対
数尤度log p(Ωl(t))が所定の値Ｋ以上になるまでガウ
シアンミクスチャｍが増加される。
【００７２】なお、このような更新の過程がなく予め作
成された確率モデルが常に使用されるとしてもよい。
成された確率モデルが常に使用されるとしてもよい。
【００７３】以上説明したように、本発明では画像情報
のみから移動体の行動を認識するのではなく、画像情報
から抽出した全体特徴情報と行動コマンドとの関係につ
いての学習を予め行っておき、その学習結果を利用して
行動認識を行うので、実環境においても移動体の行動を
高速かつ高精度に認識することができる。
のみから移動体の行動を認識するのではなく、画像情報
から抽出した全体特徴情報と行動コマンドとの関係につ
いての学習を予め行っておき、その学習結果を利用して
行動認識を行うので、実環境においても移動体の行動を
高速かつ高精度に認識することができる。
【００７４】また、移動体３２のタイヤの取り付け不良
等によって、移動体３２が与えられた行動コマンドに応
じた正しい移動をしなくなった場合でも、画像から真の
移動状況が把握できる。
等によって、移動体３２が与えられた行動コマンドに応
じた正しい移動をしなくなった場合でも、画像から真の
移動状況が把握できる。
【００７５】続いて、本発明の実施例について説明す
る。図８は、本発明の画像処理装置１０を搭載したラジ
オコントロールカー（以下、「ＲＣカー」という）１０
０のブロック図である。画像処理装置１０の各部は図１
に関連して説明したものと同様の機能を有する。ＲＣカ
ー１００には、画像処理装置１０の他、画像を取得する
画像入力カメラ１１４、行動コマンドに従ってＲＣカー
１００の行動を制御する操舵制御部１３２及び駆動制御
部１３４、外部と通信を行うための受信機１３６及び送
信機１３８が設けられている。受信機１３６は外部から
行動コマンド指令信号を受信し、行動コマンド出力部１
２に供給する。ＲＣカー１００は行動コマンドに応じて
直進、左折、右折の３つの行動の何れかをとる。また、
行動認識部２４の認識したＲＣカー１００の行動は、送
信機１３８を介して外部に送信される。
る。図８は、本発明の画像処理装置１０を搭載したラジ
オコントロールカー（以下、「ＲＣカー」という）１０
０のブロック図である。画像処理装置１０の各部は図１
に関連して説明したものと同様の機能を有する。ＲＣカ
ー１００には、画像処理装置１０の他、画像を取得する
画像入力カメラ１１４、行動コマンドに従ってＲＣカー
１００の行動を制御する操舵制御部１３２及び駆動制御
部１３４、外部と通信を行うための受信機１３６及び送
信機１３８が設けられている。受信機１３６は外部から
行動コマンド指令信号を受信し、行動コマンド出力部１
２に供給する。ＲＣカー１００は行動コマンドに応じて
直進、左折、右折の３つの行動の何れかをとる。また、
行動認識部２４の認識したＲＣカー１００の行動は、送
信機１３８を介して外部に送信される。
【００７６】このＲＣカー１００に対して右折、直進、
及び左折の各行動コマンドを与えながら画像を取得させ
て事前学習段階を完了させた後、２４フレームの画像に
ついて行動認識をさせたときの結果を以下に述べる。
及び左折の各行動コマンドを与えながら画像を取得させ
て事前学習段階を完了させた後、２４フレームの画像に
ついて行動認識をさせたときの結果を以下に述べる。
【００７７】図９は、注意のクラスの確信度の対数尤度
log p(Ωl(t))の値の変化を示すグラフである。横軸は
式(７)のガウシアンミクスチャｍの値を表し、縦軸は確
信度の対数尤度log p(Ωl(t))を表す。図９より、ガウ
シアンミクスチャの数が５０前後になると、対数尤度が
飽和することが分かる。各画像に対する注意のクラスの
確信度の対数尤度が大きいということは、各画像を取得
したときのＲＣカー１００が当該注意のクラスに対応す
る行動をしている可能性が十分に高いと画像処理装置１
０が認識していることに相当する。
log p(Ωl(t))の値の変化を示すグラフである。横軸は
式(７)のガウシアンミクスチャｍの値を表し、縦軸は確
信度の対数尤度log p(Ωl(t))を表す。図９より、ガウ
シアンミクスチャの数が５０前後になると、対数尤度が
飽和することが分かる。各画像に対する注意のクラスの
確信度の対数尤度が大きいということは、各画像を取得
したときのＲＣカー１００が当該注意のクラスに対応す
る行動をしている可能性が十分に高いと画像処理装置１
０が認識していることに相当する。
【００７８】図１０はガウシアンミクスチャ（ガウス関
数の個数）ｍがｍ＝２０のときの式(８)で求めた確信度
の対数尤度log p(Ωl)の結果を示し、図１１はｍ＝５０
のときの同様の結果を示す。図１０及び図１１における
縦軸は、(a)では行動コマンドｌ＝１（直進）の注意の
クラスΩ1についての確信度の対数尤度log p(Ω1)、(b)
では行動コマンドｌ＝２（左折）の注意のクラスΩ2に
ついての確信度の対数尤度log p(Ω2)、(c)では行動コ
マンドｌ＝３（右折）の注意のクラスΩ3についての確
信度の対数尤度log p(Ω3)をそれぞれ示している。各図
の横軸は行動認識をさせた２４個の画像に対応してい
る。２４個の画像のうち最初の８つ（画像１〜８）はＲ
Ｃカー１００に左折の行動コマンドｌ＝２を与えたとき
に、中央の８つ（画像９〜１６）は直進の行動コマンド
ｌ＝１を与えたときに、最後の８つ（画像１７〜２４）
は右折の行動コマンドｌ＝３を与えたときに、それぞれ
対応している。
数の個数）ｍがｍ＝２０のときの式(８)で求めた確信度
の対数尤度log p(Ωl)の結果を示し、図１１はｍ＝５０
のときの同様の結果を示す。図１０及び図１１における
縦軸は、(a)では行動コマンドｌ＝１（直進）の注意の
クラスΩ1についての確信度の対数尤度log p(Ω1)、(b)
では行動コマンドｌ＝２（左折）の注意のクラスΩ2に
ついての確信度の対数尤度log p(Ω2)、(c)では行動コ
マンドｌ＝３（右折）の注意のクラスΩ3についての確
信度の対数尤度log p(Ω3)をそれぞれ示している。各図
の横軸は行動認識をさせた２４個の画像に対応してい
る。２４個の画像のうち最初の８つ（画像１〜８）はＲ
Ｃカー１００に左折の行動コマンドｌ＝２を与えたとき
に、中央の８つ（画像９〜１６）は直進の行動コマンド
ｌ＝１を与えたときに、最後の８つ（画像１７〜２４）
は右折の行動コマンドｌ＝３を与えたときに、それぞれ
対応している。
【００７９】そこで図１０を参照すると、(a)では中央
の８つの画像(すなわち直進時)について最大の確信度の
対数尤度を示し、(b)では最初の８つの画像(すなわち左
折時)について、(c)では最後の８つの画像(すなわち右
折時)について、それぞれ同様である。しかし画像間の
対数尤度のばらつきが大きく、行動の認識は十分とは言
えない。
の８つの画像(すなわち直進時)について最大の確信度の
対数尤度を示し、(b)では最初の８つの画像(すなわち左
折時)について、(c)では最後の８つの画像(すなわち右
折時)について、それぞれ同様である。しかし画像間の
対数尤度のばらつきが大きく、行動の認識は十分とは言
えない。
【００８０】次に図１１を参照すると、(a)、(b)、(c)
ともに図１０と同様、行動コマンドｌに対応する画像が
最大の確信度の対数尤度を示している。しかし図１１に
おいては、図１０に比べて画像間の対数尤度のばらつき
が少なく、滑らかになっている。これは注意転調により
ガウシアンミクスチャを増加することによって達成され
たものである。
ともに図１０と同様、行動コマンドｌに対応する画像が
最大の確信度の対数尤度を示している。しかし図１１に
おいては、図１０に比べて画像間の対数尤度のばらつき
が少なく、滑らかになっている。これは注意転調により
ガウシアンミクスチャを増加することによって達成され
たものである。
【００８１】このように、本発明の画像処理装置を用い
ることによって、事前学習段階においてボトムアップ的
に形成された注意のクラスが学習を重ねることにより信
頼性が向上し、行動認識段階では、確信度の対数尤度が
所定値を超えるまで確率モデルが更新されるので、行動
の認識精度が向上する。
ることによって、事前学習段階においてボトムアップ的
に形成された注意のクラスが学習を重ねることにより信
頼性が向上し、行動認識段階では、確信度の対数尤度が
所定値を超えるまで確率モデルが更新されるので、行動
の認識精度が向上する。
【００８２】
【発明の効果】本発明によると、画像情報のみから移動
体の行動を認識するのではなく、画像情報と行動コマン
ドとの関係についての学習を予め行っておき、その学習
結果を利用して判断するので、実環境においても移動体
の行動を高速かつ高精度に認識することができる。
体の行動を認識するのではなく、画像情報と行動コマン
ドとの関係についての学習を予め行っておき、その学習
結果を利用して判断するので、実環境においても移動体
の行動を高速かつ高精度に認識することができる。
【図１】本発明の一実施形態である画像処理装置の機能
ブロック図である。
ブロック図である。
【図２】本発明による画像処理方法の事前学習段階を示
すフローチャートである。
すフローチャートである。
【図３】移動体の直進時（Ω1）の画像認識結果を示す
図である。
図である。
【図４】移動体の左折時（Ω2）の画像認識結果を示す
図である。
図である。
【図５】移動体の右折時（Ω3）の画像認識結果を示す
図である。
図である。
【図６】ニューラルネットワークを用いた教師付き学習
に使用される階層型ニューラルネットワークの構成例を
示す図である。
に使用される階層型ニューラルネットワークの構成例を
示す図である。
【図７】本発明による画像処理方法の行動認識段階を示
すフローチャートである。
すフローチャートである。
【図８】本発明による画像処理装置を使用したＲＣカー
の全体的な構成を示すブロック図である。
の全体的な構成を示すブロック図である。
【図９】確信度の対数尤度の変化を示す図である。
【図１０】ガウシアンミクスチャｍ＝２０のときのＲＣ
カーの行動の認識結果を示す図である。
カーの行動の認識結果を示す図である。
【図１１】ガウシアンミクスチャｍ＝５０のときのＲＣ
カーの行動の認識結果を示す図である。
カーの行動の認識結果を示す図である。
１０ 画像処理装置
１２ 行動コマンド出力部
１４ 画像取得部
１６ 局所特徴抽出部
１８ 全体特徴抽出部
２０ 学習部
２２ 記憶部
２４ 行動認識部
２６ 行動評価部
２８ 注意生成部
３０ 注意転調部
３２ 移動体
─────────────────────────────────────────────────────
フロントページの続き
(51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考）
Ｇ０６Ｔ 7/20 １００ Ｇ０６Ｔ 7/20 １００
// Ｇ０５Ｄ 1/02 Ｇ０５Ｄ 1/02 Ｋ
(72)発明者 赤塚 浩二
埼玉県和光市中央１丁目４番１号 株式会
社本田技術研究所内
Ｆターム(参考） 2F065 AA01 BB15 DD06 FF04 JJ03
JJ26 PP01 QQ00 QQ14 QQ17
QQ24 QQ26 QQ27 QQ33 QQ41
5B057 AA05 AA06 BA02 CE06 DA07
DB02 DB09 DC08 DC22 DC34
DC40
5H301 AA01 DD02 GG09
5L096 AA06 BA04 BA05 CA04 FA34
FA67 FA69 GA30 GA55 HA04
HA11 JA18 KA04 KA15
Claims (16)
- 【請求項１】移動体を行動させる行動コマンドを出力す
る行動コマンド出力部と、 該行動コマンド出力時に前記移動体において取得された
外部環境の画像情報から画像の局所領域の特徴情報を抽
出する局所特徴抽出部と、 抽出された局所領域の特徴情報を使用して画像の全体領
域の特徴情報を抽出する全体特徴抽出部と、 抽出された全体領域の特徴情報に基づいて行動コマンド
を認識するための確率統計モデルを計算する学習部と、 を含む画像処理装置。 - 【請求項２】前記局所特徴抽出部はガボールフィルタを
用いて画像の局所領域の特徴情報を抽出する請求項１に
記載の画像処理装置。 - 【請求項３】前記画像の局所領域の特徴情報の抽出に
は、正成分及び負成分のガボールフィルタを適用して得
られる画像強度を使用する請求項２に記載の画像処理装
置。 - 【請求項４】前記ガボールフィルタは８方向のガボール
フィルタである請求項２または３に記載の画像処理装
置。 - 【請求項５】前記全体特徴抽出部はガウス関数を用いて
局所領域の特徴情報を融合する請求項１乃至４の何れか
１項に記載の画像処理装置。 - 【請求項６】前記確率統計モデルの生成は期待値最大化
アルゴリズムとニューラルネットワークによる教師付き
学習により行われる請求項１乃至５の何れか１項に記載
の画像処理装置。 - 【請求項７】前記画像情報に対して前記確率統計モデル
を使用したベイズ則を適用し、各行動コマンドについて
の確信度を算出することにより前記移動体の行動を認識
する行動認識部をさらに含む、請求項１乃至６の何れか
１項に記載の画像処理装置。 - 【請求項８】前記行動認識部の算出した確信度に基づく
値と所定の値を比較することによって前記行動認識を評
価する行動評価部と、 前記行動評価部における評価に応じて、前記確率統計モ
デルを更新させる注意要求を生成する注意生成部と、 前記注意要求に応じて前記全体特徴抽出部の所定のパラ
メータを変更する注意転調部をさらに備え、 前記学習部は前記パラメータの変更後に再度前記確率統
計モデルを計算する、請求項７に記載の画像処理装置。 - 【請求項９】移動体を行動させる行動コマンドを出力
し、 該行動コマンド出力時に前記移動体において取得された
外部環境の画像情報から画像の局所領域の特徴情報を抽
出し、 抽出された局所領域の特徴情報を使用して画像の全体領
域の特徴情報を抽出し、 抽出された全体領域の特徴情報に基づいて行動コマンド
を認識するための確率統計モデルを計算することを含む
画像処理方法。 - 【請求項１０】前記局所領域の特徴情報の抽出はガボー
ルフィルタを用いて行われる請求項９に記載の画像処理
方法。 - 【請求項１１】前記局所領域の特徴情報の抽出には、正
成分及び負成分のガボールフィルタを適用して得られる
画像強度を使用する請求項１０に記載の画像処理方法。 - 【請求項１２】前記ガボールフィルタは８方向のガボー
ルフィルタである請求項１０または１１に記載の画像処
理方法。 - 【請求項１３】前記全体領域の特徴情報の抽出はガウス
関数を用いて局所領域の特徴情報を融合することによっ
て行われる請求項９乃至１２の何れか１項に記載の画像
処理方法。 - 【請求項１４】前記確率統計モデルの生成は期待値最大
化アルゴリズムとニューラルネットワークによる教師付
き学習により行われる請求項９乃至１３の何れか１項に
記載の画像処理方法。 - 【請求項１５】前記画像情報に対して前記確率統計モデ
ルを使用したベイズ則を適用し、各行動コマンドについ
ての確信度を算出することにより前記移動体の行動を認
識することをさらに含む、請求項９乃至１４の何れか１
項に記載の画像処理方法。 - 【請求項１６】前記算出された確信度に基づく値と所定
の値を比較して前記行動認識を評価し、 該評価に応じて、前記確率統計モデルを更新させる注意
要求を生成し、 前記注意要求に応じて前記全体特徴抽出部の所定のパラ
メータを変更することをさらに含み、 前記パラメータの変更後に前記確率統計モデルが再度計
算される、請求項１５に記載の画像処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002107013A JP4159794B2 (ja) | 2001-05-02 | 2002-04-09 | 画像処理装置及び方法 |
| US10/133,114 US7221797B2 (en) | 2001-05-02 | 2002-04-26 | Image recognizing apparatus and method |
| EP02009680A EP1255177A2 (en) | 2001-05-02 | 2002-04-29 | Image recognizing apparatus and method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001134848 | 2001-05-02 | ||
| JP2001-134848 | 2001-05-02 | ||
| JP2002107013A JP4159794B2 (ja) | 2001-05-02 | 2002-04-09 | 画像処理装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003042718A true JP2003042718A (ja) | 2003-02-13 |
| JP4159794B2 JP4159794B2 (ja) | 2008-10-01 |
Family
ID=26614620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002107013A Expired - Fee Related JP4159794B2 (ja) | 2001-05-02 | 2002-04-09 | 画像処理装置及び方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7221797B2 (ja) |
| EP (1) | EP1255177A2 (ja) |
| JP (1) | JP4159794B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285422A (ja) * | 2005-03-31 | 2006-10-19 | Denso It Laboratory Inc | シーン推定装置及びシーン画像抽出方法並びに音声再生装置 |
| JP2007008327A (ja) * | 2005-06-30 | 2007-01-18 | Toyota Motor Corp | 運転傾向推定装置及び運転支援装置 |
| JP2008262288A (ja) * | 2007-04-10 | 2008-10-30 | Denso Corp | 推定装置 |
| JP2016530640A (ja) * | 2013-09-06 | 2016-09-29 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 画像情報の中の物体を認識する方法および制御装置 |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7266220B2 (en) * | 2002-05-09 | 2007-09-04 | Matsushita Electric Industrial Co., Ltd. | Monitoring device, monitoring method and program for monitoring |
| JP3979894B2 (ja) * | 2002-07-22 | 2007-09-19 | 本田技研工業株式会社 | 物体検出装置及び方法 |
| WO2004016400A2 (en) * | 2002-08-16 | 2004-02-26 | Evolution Robotics, Inc. | Systems and methods for the automated sensing of motion in a mobile robot using visual data |
| US7171028B2 (en) * | 2002-11-22 | 2007-01-30 | The Boeing Company | Method and apparatus for covertly determining the rate of relative motion between two objects |
| AU2003300959A1 (en) * | 2002-12-17 | 2004-07-22 | Evolution Robotics, Inc. | Systems and methods for visual simultaneous localization and mapping |
| GB0305304D0 (en) * | 2003-03-07 | 2003-04-09 | Qinetiq Ltd | Scanning apparatus and method |
| US7689321B2 (en) * | 2004-02-13 | 2010-03-30 | Evolution Robotics, Inc. | Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system |
| AU2004202179B2 (en) * | 2004-05-20 | 2011-04-21 | The Boeing Company | Method and apparatus for covertly determining the rate of relative motion between two objects |
| US20090041297A1 (en) * | 2005-05-31 | 2009-02-12 | Objectvideo, Inc. | Human detection and tracking for security applications |
| US20070040065A1 (en) * | 2005-08-19 | 2007-02-22 | Von Thal German | Flexible refueling boom extendable tube |
| WO2007143756A2 (en) * | 2006-06-09 | 2007-12-13 | Carnegie Mellon University | System and method for autonomously convoying vehicles |
| US20080033645A1 (en) * | 2006-08-03 | 2008-02-07 | Jesse Sol Levinson | Pobabilistic methods for mapping and localization in arbitrary outdoor environments |
| US8132759B2 (en) * | 2007-03-21 | 2012-03-13 | The Boeing Company | System and method for facilitating aerial refueling |
| KR100877071B1 (ko) * | 2007-07-18 | 2009-01-07 | 삼성전자주식회사 | 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치 |
| US8509538B2 (en) * | 2007-12-20 | 2013-08-13 | Intel Corporation | Method and apparatus for obtaining and processing Gabor image features |
| US8340818B2 (en) * | 2009-04-24 | 2012-12-25 | Robert Bosch Gmbh | Method of accurate mapping with mobile robots |
| US9286810B2 (en) | 2010-09-24 | 2016-03-15 | Irobot Corporation | Systems and methods for VSLAM optimization |
| US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| EP2704783A4 (en) | 2011-05-04 | 2014-12-03 | Univ Michigan | INTUBATION DEVICE |
| US8798840B2 (en) | 2011-09-30 | 2014-08-05 | Irobot Corporation | Adaptive mapping with spatial summaries of sensor data |
| CN102521592B (zh) * | 2011-11-30 | 2013-06-12 | 苏州大学 | 基于非清晰区域抑制的多特征融合显著区域提取方法 |
| US9020637B2 (en) | 2012-11-02 | 2015-04-28 | Irobot Corporation | Simultaneous localization and mapping for a mobile robot |
| US9037396B2 (en) | 2013-05-23 | 2015-05-19 | Irobot Corporation | Simultaneous localization and mapping for a mobile robot |
| WO2015015554A1 (ja) * | 2013-07-29 | 2015-02-05 | Ｎｅｃソリューションイノベータ株式会社 | ３ｄプリンタ装置、３ｄプリント方法及び立体造形物の製造方法 |
| US9058517B1 (en) * | 2014-04-16 | 2015-06-16 | I.R.I.S. | Pattern recognition system and method using Gabor functions |
| US11348269B1 (en) * | 2017-07-27 | 2022-05-31 | AI Incorporated | Method and apparatus for combining data to construct a floor plan |
| US10482619B2 (en) * | 2017-07-27 | 2019-11-19 | AI Incorporated | Method and apparatus for combining data to construct a floor plan |
| DE112019000070T5 (de) | 2018-01-07 | 2020-03-12 | Nvidia Corporation | Führen von fahrzeugen durch fahrzeugmanöver unter verwendung von modellen für maschinelles lernen |
| WO2019152888A1 (en) | 2018-02-02 | 2019-08-08 | Nvidia Corporation | Safety procedure analysis for obstacle avoidance in autonomous vehicle |
| US11966838B2 (en) | 2018-06-19 | 2024-04-23 | Nvidia Corporation | Behavior-guided path planning in autonomous machine applications |
| US10937150B2 (en) | 2018-06-28 | 2021-03-02 | General Electric Company | Systems and methods of feature correspondence analysis |
| US11520345B2 (en) | 2019-02-05 | 2022-12-06 | Nvidia Corporation | Path perception diversity and redundancy in autonomous machine applications |
| CN111753590B (zh) * | 2019-03-28 | 2023-10-17 | 杭州海康威视数字技术股份有限公司 | 一种行为识别方法、装置及电子设备 |
| CN115457447B (zh) * | 2022-11-07 | 2023-03-28 | 浙江莲荷科技有限公司 | 运动物体识别的方法、装置、系统及电子设备、存储介质 |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3379611D1 (en) * | 1982-04-15 | 1989-05-18 | Toshiba Kk | Pattern features extracting apparatus and method and pattern recognition system |
| US5109425A (en) * | 1988-09-30 | 1992-04-28 | The United States Of America As Represented By The United States National Aeronautics And Space Administration | Method and apparatus for predicting the direction of movement in machine vision |
| US5307419A (en) * | 1990-11-30 | 1994-04-26 | Honda Giken Kogyo Kabushiki Kaisha | Control device of an autonomously moving body and evaluation method for data thereof |
| US5500904A (en) * | 1992-04-22 | 1996-03-19 | Texas Instruments Incorporated | System and method for indicating a change between images |
| JP3369368B2 (ja) * | 1995-10-11 | 2003-01-20 | 富士通株式会社 | 画像処理装置 |
| US5751838A (en) | 1996-01-26 | 1998-05-12 | Nec Research Institute, Inc. | Correction of camera motion between two image frames |
| JP3886618B2 (ja) | 1997-10-28 | 2007-02-28 | 本田技研工業株式会社 | 動画像処理方法 |
| US6532305B1 (en) * | 1998-08-04 | 2003-03-11 | Lincom Corporation | Machine learning method |
| US6353679B1 (en) * | 1998-11-03 | 2002-03-05 | Compaq Computer Corporation | Sample refinement method of multiple mode probability density estimation |
| JP2000171250A (ja) | 1998-12-02 | 2000-06-23 | Japan Aviation Electronics Industry Ltd | 移動体現在位置検出方法 |
| JP4226730B2 (ja) * | 1999-01-28 | 2009-02-18 | 株式会社東芝 | 物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置 |
| US6307959B1 (en) | 1999-07-14 | 2001-10-23 | Sarnoff Corporation | Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation |
| US6323807B1 (en) * | 2000-02-17 | 2001-11-27 | Mitsubishi Electric Research Laboratories, Inc. | Indoor navigation with wearable passive sensors |
| JP4624594B2 (ja) * | 2000-06-28 | 2011-02-02 | パナソニック株式会社 | 物体認識方法および物体認識装置 |
| JP4581210B2 (ja) * | 2000-09-29 | 2010-11-17 | 日本電気株式会社 | テレビ会議システム |
| KR100415313B1 (ko) * | 2001-12-24 | 2004-01-16 | 한국전자통신연구원 | 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치 |
| CN1459761B (zh) * | 2002-05-24 | 2010-04-21 | 清华大学 | 基于Gabor滤波器组的字符识别技术 |
-
2002
- 2002-04-09 JP JP2002107013A patent/JP4159794B2/ja not_active Expired - Fee Related
- 2002-04-26 US US10/133,114 patent/US7221797B2/en not_active Expired - Fee Related
- 2002-04-29 EP EP02009680A patent/EP1255177A2/en not_active Withdrawn
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285422A (ja) * | 2005-03-31 | 2006-10-19 | Denso It Laboratory Inc | シーン推定装置及びシーン画像抽出方法並びに音声再生装置 |
| JP4634842B2 (ja) * | 2005-03-31 | 2011-02-16 | 株式会社デンソーアイティーラボラトリ | 風景推定装置 |
| JP2007008327A (ja) * | 2005-06-30 | 2007-01-18 | Toyota Motor Corp | 運転傾向推定装置及び運転支援装置 |
| JP2008262288A (ja) * | 2007-04-10 | 2008-10-30 | Denso Corp | 推定装置 |
| JP2016530640A (ja) * | 2013-09-06 | 2016-09-29 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | 画像情報の中の物体を認識する方法および制御装置 |
| US9842262B2 (en) | 2013-09-06 | 2017-12-12 | Robert Bosch Gmbh | Method and control device for identifying an object in a piece of image information |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1255177A2 (en) | 2002-11-06 |
| US7221797B2 (en) | 2007-05-22 |
| JP4159794B2 (ja) | 2008-10-01 |
| US20030007682A1 (en) | 2003-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2003042718A (ja) | 画像処理装置及び方法 | |
| US10691952B2 (en) | Adapting to appearance variations when tracking a target object in video sequence | |
| Chang et al. | Online boosting for vehicle detection | |
| CN107209873B (zh) | 用于深度卷积网络的超参数选择 | |
| US10846593B2 (en) | System and method for siamese instance search tracker with a recurrent neural network | |
| Lange et al. | Online vehicle detection using deep neural networks and lidar based preselected image patches | |
| CN109614907B (zh) | 基于特征强化引导卷积神经网络的行人再识别方法及装置 | |
| US10964033B2 (en) | Decoupled motion models for object tracking | |
| JP7263216B2 (ja) | ワッサースタイン距離を使用する物体形状回帰 | |
| CN109993101B (zh) | 基于多分支循环自注意力网络与循环边框回归的车辆检测方法 | |
| Li et al. | Pushing the “Speed Limit”: high-accuracy US traffic sign recognition with convolutional neural networks | |
| EP3752955A1 (en) | Image segmentation | |
| Jain et al. | AI-enabled object detection in UAVs: challenges, design choices, and research directions | |
| Palazzo et al. | Domain adaptation for outdoor robot traversability estimation from RGB data with safety-preserving loss | |
| CN109002830B (zh) | 车辆用的用于分类对象的方法和设备 | |
| CN111192294A (zh) | 一种基于目标检测的目标跟踪方法及系统 | |
| KR101050687B1 (ko) | 사후확률을 이용한 보행자 인식 장치 및 방법과 그를이용한 보행자 보호 장치 | |
| US20210224646A1 (en) | Method for generating labeled data, in particular for training a neural network, by improving initial labels | |
| CN113793371B (zh) | 目标分割追踪方法、装置、电子设备和存储介质 | |
| Jeong et al. | Facial landmark detection based on an ensemble of local weighted regressors during real driving situation | |
| KR20190134380A (ko) | 합성곱 신경망에 대한 도메인 불변 사람 분류기를 위한 연관성 학습 시스템 및 방법 | |
| KR102462733B1 (ko) | 샴 네트워크를 활용하는 강인한 다중 객체 검출 장치 및 방법 | |
| Lin et al. | Boosted vehicle detection using local and global features | |
| Zernetsch et al. | Cyclist intention detection: A probabilistic approach | |
| Hartmann et al. | Night time road curvature estimation based on Convolutional Neural Networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080327 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080716 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130725 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140725 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |