JP2017194949A - 対象物検出システム及び対象物検出方法 - Google Patents

Abstract

【課題】誤判定率の低減を図ることができる対象物検出システムを提供する。
【解決手段】画像の一部が対象物に類似するか否かを弱分類器パラメータを用いた分類処理により判定すると共に、前記画像を出力し、類似すると判定した際には対象物検出信号を出力する検出ユニット２と、前記画像を受信するように検出ユニット２と通信可能に接続され、前記画像の前記一部が対象物に類似するか否かを弱分類器パラメータ用いた分類処理と強分類器パラメータを用いた分類処理とによりそれぞれ判定する機械学習ユニット３とを具え、機械学習ユニット３は更に、前記弱分類器パラメータによる判定と前記強分類器パラメータによる判定の結果が異なる場合に、前記画像を用いて訓練処理を行って新たな弱分類器パラメータを取得して検出ユニット２と機械学習ユニット３それぞれの弱分類器パラメータを更新する。
【選択図】図４

Description

本発明は検出システム及び検出方法に関し、より具体的には、適応学習可能な対象物検出システム及び対象物を検出でき且つ適応学習可能な方法に関する。

先進運転支援システム（Advanced Driver Assistance Systems、略称ＡＤＡＳ）は、交通事故を防止するために人工知能の採用が進んでいる。目下、多くの企業が、人工知能の機械学習能力を応用した車線検出システム、駐車支援システム、衝突回避システムといった技術の開発に注力している（例えば特許文献１参照）。

前述の各システムにおいて、画像識別技術は不可欠な技術であり、画像識別の精度を向上することが、前述の各システムにおける課題となっている。このため、主に機械学習に関連するアルゴリズムを構築して、これにより分類器のパラメータを機械的に訓練することによって、画像識別の誤判定率の低減が図られている。

このように、多様な道路環境において誤判定率をいかに効果的に低減するかは、現在の運転支援システムの研究開発における重要なポイントとなっている。

台湾特許第Ｉ４７８８３５号公報

しかしながら、車両に搭載される車両組み込みシステム（vehicle embedded system）の性能には限界があるため、車両組み込みシステムに設けられる識別装置の性能も限りがある。

そこで、本発明の目的は、車両組み込みシステムの限られた性能によっても、機械学習を通して誤判定率の効果的な低減を図ることができる対象物検出システム及び対象物検出方法を提供することにある。

上記目的を達成するための手段として、本発明は、以下の対象物検出システムを提供する。

即ち、画像を取得し、前記画像の一部が所定の対象物に類似するか否かを弱分類器パラメータを用いた分類処理により判定すると共に、前記画像を出力し、類似すると判定した際には対象物検出信号を出力するように構成された検出ユニットと、
前記画像を受信するように前記検出ユニットと通信可能に接続され、前記画像の前記一部が前記対象物に類似するか否かを弱分類器パラメータ用いた分類処理と強分類器パラメータを用いた分類処理とによりそれぞれ判定するように構成された機械学習ユニットとを具え、
前記機械学習ユニットは更に、前記弱分類器パラメータによる判定と前記強分類器パラメータによる判定の結果が異なる場合に、当該判定の対象となった前記画像を用いて訓練処理を行って新たな弱分類器パラメータを取得し、当該新たな弱分類器パラメータによって前記検出ユニットと前記機械学習ユニットそれぞれの前記弱分類器パラメータを更新するように構成されていることを特徴とする、対象物検出システム対象物検出システムを提供する。

また、本発明は、以下の対象物検出方法を提供する。即ち、検出ユニットと機械学習ユニットとを具える対象物検出システムによって実行される対象物検出方法であって、
（Ａ）前記検出ユニットによって、画像を取得し、取得した前記画像の一部が所定の対象物に類似するか否かについて、弱分類器パラメータを用いた分類処理を実行して判定を行うステップと、
（Ｂ）前記画像の一部が所定の対象物に類似すると判定したときに、前記検出ユニットによって対象物検出信号を出力するステップと、
（Ｃ）前記検出ユニットによって、前記画像を前記機械学習ユニットに出力するステップと、
（Ｄ）前記機械学習ユニットによって、前記画像を受信してから、受信した前記画像の一部が対象物に類似するか否かについて、弱分類器パラメータを用いた分類処理と、強分類器パラメータを用いた分類処理とをそれぞれ実行して２つの判定を行うステップと、
（Ｅ）前記２つの判定の結果が異なるときに、前記機械学習ユニットによって、前記２つの判定の対象となった前記画像を用いて訓練処理を行うことにより新たな弱分類器パラメータを取得し、前記新たな弱分類器パラメータによって前記検出ユニットと前記機械学習ユニットそれぞれの弱分類器パラメータを更新するステップと、を含むことを特徴とする対象物検出方法を提供する。

上記手段によれば、検出ユニットを具えることで、取得した画像に対して分類処理が行われ、画像に対象物が含まれているかを即時に判定することができる上に、検出ユニットと共に更に機械学習ユニットを具えることで、検出ユニットによる判定の結果に誤りがないかどうかを機械的に確かめて、誤判定があった場合にはその画像を用いて分類器のパラメータに対して訓練処理を自動的に行って誤判定率の低下を図ることができるので、人手による補助判定やラベル付けなどの作業を必要とせずに、効率よく且つ速やかに対象物検出精度が向上する。

本発明に係る対象物検査システムの第１の実施形態を示すブロック図である。 検出ユニットが車両に配置されていると共に機械学習ユニットが検出ユニットに通信可能に接続されている実施形態を示す概略図である。 本発明に係る対象物検査システムにおける弱分類器と強分類器の一実施例を示す概略図である。 本発明に係る対象物検査システムの第２の実施形態を示すブロック図である。 検出ユニットと機械学習ユニットの両方が車両に配置されている実施形態を示す概略図である。 本発明に係る対象物検出方法の一実施形態を示すフローチャートである。

以下、図面を参照しながら本発明の具体的な実施形態を説明する。

＜対象物検出システム＞

（第１の実施形態）

図１及び図２には、本発明に係る対象物検出システムの第１の実施形態が示されている。対象物検出システムは、検出ユニット２と、機械学習ユニット３を具える。

検出ユニット２は、自動車などの車両９（図２参照）に配置され、画像を取得し、取得した画像の一部が対象物に類似するか否かを弱分類器パラメータ（一組のパラメータグループ）を用いた分類処理により判定し、その画像を出力する上に、画像の一部が対象物に類似すると判定した場合、即ち画像に対象物が含まれると判定した場合には対象物検知信号を出力し、且つ、新たな弱分類器パラメータ（一組のパラメータグループ）を受信した際にはこれにより元の弱分類器パラメータを更新するように構成されたものである。以下、検出ユニット２の構造をより具体的に説明する。

なお、本実施形態において、上記画像は、車両９に設置されていて車両９の周辺の映像を記録するドライブレコーダー（図示せず）により撮影された動画から取り出されるものとして例示されており、車両９の近辺における対象物の有無の判定のために検出ユニット２に提供される。ここで対象物とは、対象物検出システムにおいて予め定義されているものであり、車両９が自動車である場合には、例えば接近しすぎると運転の障害となる歩行者や他の車両などであるが、これに限らず、対象物検出システムは自動車以外の車両にも適用することができ、車両及び対象物の種類は本例示に限定されるものではない。

検出ユニット２は、画像取得モジュール２１、第1の画像処理モジュール２２、第1の分類器モジュール２３、出力モジュール２４、パラメータモジュール２５を含む。

画像取得モジュール２１は、ドライブレコーダーにより撮影された動画を受信して該動画から静止画としての画像を取り出すように構成されている。なお、以下の説明で単に画像と記載する場合にはこの画像取得モジュール２１により取得された画像を指す。

第1の画像処理モジュール２２は、画像を受信するように画像取得モジュール２１と電気的に接続されていて、受信した画像から該画像の一部分である第１の部分画像を抽出する。第１の部分画像は、検出ユニット２による判定に供する部分画像とされる。

第1の分類器モジュール２３は、第1の部分画像を受信するように第1の画像処理モジュール２２に電気的に接続され、弱分類器パラメータ（一組のパラメータグループ）を用いた分類処理を行い、第1の部分画像が対象物に類似するか否かを判定する。第1の部分画像が対象物に類似すると判定した場合、第１の分類器モジュール２３は、車両９の近辺に対象物が存在すると判断し、車両９の運転者に対象物の存在を通知するための対象物検出信号を出力する。

出力モジュール２４は、画像を受信するように画像取得モジュール２１と電気的に接続されていて、画像を機械学習ユニット３に出力するように構成されている。

パラメータモジュール２５は、第１の分類器モジュール２３に電気的に接続されていて、第１の分類器モジュール２３が上述の分類処理を行うために使用する上記弱分類器パラメータを格納できるように構成されている。

機械学習ユニット３は、画像を受信するように検出ユニット２と通信可能に接続されており、分類に関連する処理を、弱分類器パラメータ及び強分類器パラメータ（いずれも一組のパラメータグループ）を用いてそれぞれ実行し、画像の一部が対象物に類似するか否かの２つの判定（即ち、弱分類器パラメータを用いた分類処理による判定と強分類器パラメータを用いた分類処理による判定）をそれぞれ行うように構成されている。この２つの判定の結果が異なる場合には、その画像を用いて訓練処理を行い、新たな弱分類器パラメータを求めて、求められた新たな弱分類器パラメータによって、検出ユニット２のパラメータモジュール２５に格納されている弱分類器パラメータを更新する。

本実施形態において、機械学習ユニット３は、図２に示すように例えば図示しないリモートサーバーに設置されているが、これに限らず、図５に示すように検出ユニット２と共に車両９に設置されるよう構成されてもよい。また、機械学習ユニット３は、出力モジュール２４から画像を受信し且つパラメータモジュール２５に新たな弱分類器パラメータを送信することができるように、検出ユニット２に無線又は有線で接続される。以下、機械学習ユニット３の構造をより具体的に説明する。

機械学習ユニット３は、第２の画像処理モジュール３１、第２の分類器モジュール３２、訓練モジュール３３、更新モジュール３４を含む

第２の画像処理モジュール３１は、検出ユニット２の出力モジュール２４から画像を受信し、その画像から第1の部分画像と同一の内容を含む第２の部分画像を抽出するように構成されている。第２の部分画像は、機械学習ユニット３の前述した２つの判定の対象とされる。

第２の分類器モジュール３２は、第２の部分画像及び検出ユニット２からの元の画像を受信するように第２の画像処理モジュール３１に電気的に接続され、機械学習ユニット３が有する弱分類器パラメータ及び強分類器パラメータをそれぞれ用いて分類に関連する演算処理を行い、第２の部分画像が対象物に類似するか否かの２つの判定をそれぞれ行うように構成されている。ここで、第２の分類器モジュール３２及び第1の分類器モジュール２３がそれぞれ上述の分類処理を実行するに当たって使用する弱分類器パラメータは相同するものなので、第２の分類器モジュール３２による弱分類器パラメータを用いた判定結果は、第１の分類器モジュール２３による判定結果と同じになる。また、強分類器パラメータの総数が弱分類器パラメータの総数よりも多いので、強分類器パラメータによる判定結果はより高い精度を有する。よって、強分類器パラメータによる判定結果は正しい結果とみなされる。弱分類器パラメータ及び強分類器パラメータをそれぞれ用いて行われた２つの判定結果が異なる場合には、弱分類器パラメータを用いた判定結果が誤っていることになり、誤判定が起きた画像が第２の分類器モジュール３２から訓練モジュール３３に出力される。

訓練モジュール３３は、上述の誤判定が起きた画像を受信するように第２の分類器モジュール３２に電気的に接続されており、その画像を第２の分類器モジュール３２のパラメータを訓練するための訓練サンプルとして使用し、これにより新たな弱分類器パラメータ（一組のパラメータグループ）を求めて（以下、「訓練処理」とも言う。）、更新モジュール３４に出力する。

更新モジュール３４は、新たな弱分類器パラメータを受信するように訓練モジュール３３に電気的に接続されていて、新たな弱分類器パラメータによって第２の分類器モジュール３２の弱分類器パラメータを更新する上に、第1の分類器モジュール２３によって使用される弱分類器パラメータを更新するために新たな弱分類器パラメータを検出ユニット２のパラメータモジュール２５に送信するように構成されている。本実施形態では、上述の誤判定が起きた画像が収集され、収集された画像は第２の分類器モジュール３２のパラメータを訓練するために利用され、その結果元の弱分類器パラメータを更新するために使用される新たな弱分類器パラメータが得られる。

なお、更新モジュール３４は、上述の構成に加えて、所定の画像サンプルセットを用いて新たな弱分類器パラメータの信頼度スコアを計算し、対象物検出システムに予め定義された対象物（歩行者やその他の車両など）を検出する精度において当該新たな弱分類器パラメータが元の弱分類器パラメータよりも実際に優れているかどうかを判断できるように更に構成されてもよい。この場合、新たな弱分類器パラメータの信頼度スコアが元の弱分類器パラメータの信頼度スコアよりも大きいときにのみ、更新モジュール３４は、新たな弱分類器パラメータによって第２の分類器モジュール３２の弱分類器パラメータを更新し、また、第１の分類器モジュール２３の弱分類器パラメータを更新するために新たな弱分類器パラメータを検出ユニット２のパラメータモジュール２５に送信する。

また、一実施形態において、第1の分類器モジュール２３は弱分類器２３１を有してもよく、弱分類器２３１は、分類処理を実行するために弱分類器パラメータと組み合わせて利用される。また、第２の分類器モジュール３２は図３に示すような強分類器３２１を有してもよく、強分類器３２１は、分類処理を実行するために強分類器パラメータと組み合わせて利用される。そして、第２の分類器モジュール３２において強分類器３２１の最初からＭ段階までが弱分類器３２２を形成し、弱分類器３２２は分類処理を実行するために弱分類器パラメータと組み合わせて利用される。このようにして、第２の分類器モジュール３２は、強分類器３２１と弱分類器３２２とによる２つの判定結果をそれぞれ出力することができる。

本実施形態によれば、対象物検出システムは以下の利点を有する。

まず、検出ユニット２を設けることにより、ドライブレコーダーが出力する動画から取り出された各画像に対してリアルタイム演算が行われ、画像の一部が対象物と類似している、即ち、対象物が存在すると判定された場合には、運転者に対象物の存在を通知するための対象物検出信号が出力される。また、弱分類器パラメータを継続的に更新することにより、第1の分類器モジュール２３による判定の精度をさらに向上させることができる。

更に、検出ユニット２に通信可能に接続された機械学習ユニット３を有する上に、２つの判定結果を得るために弱分類器パラメータと強分類器パラメータをそれぞれ用いて分類処理を行う第２の分類器モジュール３２を設けることにより、第1の分類器モジュール２３による判定結果に誤りがないかを確かめることが可能となる。誤判定であると判断された場合には、誤判定を起こした画像が学習モジュール３３に出力される。学習モジュール３３は、この画像を基に第２の分類器モジュール３２のパラメータを訓練して新たな弱分類器パラメータを取得する。そして更新モジュール３４は、この新しい弱分類器パラメータを用いて元の弱分類器パラメータを更新する。このように、第1の分類器モジュール２３による誤判定の結果となった画像が自動的に判別され、この画像が機械学習に用いられることで、次回の画像判定における誤判定率が低減される。上記の手順は本発明に係る対象物検出システムにおいて自動的に行われるため、人手による作業やタグ付け等による補助的な判定を必要とせず、大量の学習サンプルを速やかに集めて弱分類器パラメータを訓練することができる。このように、本発明に係る対象物検出システムによれば、検出ユニット２の誤判定率を迅速に低減することができ、対象物検出の精度が大幅に向上することで車両９の運転の安全性をより確かなものとすることができる。

また、図２に示されているように、車両９に搭載された車両組み込みシステム（図示せず）に検出ユニット２を設けると共に、検出ユニット２にワイヤレス接続されたサーバー（図示せず）に機械学習ユニット３を設けることにより、機械学習ユニット３は、車両組み込みシステムの性能に影響されることがなく、より優れた演算能力を有する第２の分類器モジュール３２を具えることができる。そのため、強分類器パラメータを利用することで分類に係るリアルタイム処理を行って第１の分類器モジュール２３による判定結果に誤りがないかどうかを迅速に確認することができ、弱分類器パラメータの精度をその確認の後に行われる訓練や更新を経て更に向上することができる。但し、これは一実施例であり、例えば図５に示される他の実施例においては、機械学習ユニット３を、検出ユニット２と共に車両９に搭載された車両組み込みシステムに配置することも可能である。

加えて、更新モジュール３４が元の弱分類器パラメータを新たな弱分類器パラメータによって後者の信頼度スコアがより高い場合においてのみ更新するよう構成されているので、それぞれ弱分類器パラメータが更新されると、第１の分類器モジュール２３及び第２の分類器モジュール３２の精度が更に向上する。一方、誤判定を起こした画像が第２の分類器モジュール３２のパラメータを訓練するのに適さない場合、第１の分類器モジュール２３及び第２の分類器モジュール３２のパラメータは新しい弱分類器パラメータによって更新されないので、検出性能の劣化が防がれる。

（第２の実施形態）

図４及び図５には、本発明に係る対象物検出システムの第２の実施形態が示されている。第２の実施形態は、上述の第１の実施形態と同様であるが、第1の実施形態と比較して以下の相違点を有する。

本実施形態において、検出ユニット２の第１の分類器モジュール２３は、距離算出モジュール２３２を更に有する。距離算出モジュール２３２は、弱分類器２３１が車両９の近辺に対象物が存在すると判定した場合に、上述の第１の部分画像を取得し、第１の部分画像に含まれる対象物の大きさに基づいて車両９から対象物までの距離を算出し、当該距離を示す対象物距離信号を出力するように構成されている。

また、本実施形態において対象物検出システムは、上記対象物検出信号を受信できるように検出ユニット２に電気的に接続されている上に、検出ユニット２が設けられた車両９の運転状態に関連する車両信号と、車両９に設けられる衝突センサ（図示せず）によって車両９が物体と衝突した際に出力される衝突信号と、上記対象物距離信号とを更に受信できるように構成されたフィードバックユニット４を更に具える。フィードバックユニット４は、車両信号、衝突信号、対象物距離信号および対象物検出信号の内の1つ以上に基づいて、誤判定フィードバック信号を出力モジュール２４に出力するように構成されている。出力モジュール２４は、誤判定フィードバック信号の受信に応じて、画像を機械学習ユニット３の第２の画像処理モジュール３１に出力する。

なお、車両信号は、本実施形態では走行速度とブレーキペダルの移動量との両方を示すものであるが、これに限らず、走行速度及びブレーキペダルの移動量のいずれか一方を示すものでもよく、本実施形態に限られない。

フィードバックユニット４は、以下の状況の内の少なくとも1つにおいて誤判定フィードバック信号を出力するように構成されている。

第１の状況は、フィードバックユニット４が対象物検出信号を受信しているのに対して車両９の走行速度の減速率が予め設定された減速率閾値以下である状況、あるいはフィードバックユニット４が対象物検出信号を受信しているのに対して車両９のブレーキペダルの移動量が予め設定されたブレーキペダル移動量閾値以下である状況である。

この状況は、第1の分類器モジュール２３による判定結果では対象物が存在する（即ち、第1の部分画像が対象物に類似する）とされているのに関わらず、車両９が急速に減速していないか、または運転者がブレーキペダルを踏み込んでいないことを意味する。従って、この場合、フィードバックユニット４は第１の分類器モジュール２３による判定が誤りであると判断する。

第２の状況は、フィードバックユニット４が対象物検出信号を受信していないのに対して車両９の走行速度の減速率が予め設定された減速率閾値よりも大きい状況、あるいはフィードバックユニット４が対象物検出信号を受信していないのに対してブレーキペダルの移動量が予め設定されたブレーキペダル移動量閾値よりも大きい状況である。

この状況は、第1の分類器モジュール２３による判定結果では対象物が存在していない（即ち、第1の部分画像が対象物に類似しない）とされているのに関わらず、車両９が急速に減速したか、または運転者がブレーキペダルを踏み込んだことを意味する。従って、この場合、第１の状況と同様に、フィードバックユニット４は、第1の分類器モジュール２３による判定が誤りであると判断する。

第３の状況は、フィードバックユニット４が対象物検出信号を受信していないのに対して衝突信号を受信した場合である。

この状況は、車両９の近辺に対象物が存在したにも関わらず第1の分類器モジュール２３が対象物検出信号を出力しなかったこと、または第1の分類器モジュール２３による対象物検出信号の出力が遅すぎて運転者が十分な応答時間を有しなかったことを意味する。

第４の状況は、対象物距離信号が示す車両９から対象物までの距離が下述する計算により得られる車両９の制動距離を下回る状況である。

この状況において、フィードバックユニット４は、第１の分類器モジュール２３により対象物が存在すると判定されている上に距離算出部２３２により算出された車両９から対象物までの距離が安全に制動できる距離である制動距離未満であるのに関わらず、車両９が引き続き対象物に接近していると判断する。この場合、フィードバックユニット４は、第１の分類器モジュール２３による判定が誤りであると判断する。

なお、上述の制動距離は、以下の式により求められる。

式中、S'は算出される制動距離であり、vは予め設定された終了速度であり、ここではゼロに設定され、v_oは制動開始時の車速である初速であり、aは所定の制動力０．４ｇに基づいて得られる加速度であり、sは式１により得られる理論上の制動距離、Sは運転者の応答時間内での車両９の変位、tは運転者の応答時間であり、実質的には０．８秒として計算する。

このように、対象物検出システムの第２の実施形態は、第1の実施形態と同様の効果を得ることができる上に、更に以下の利点を有する。

フィードバックユニット４は、対象物検出信号、車両信号、対象物距離信号及び衝突信号を受信することにより、第１の分類器モジュール２３による判定に誤りがあったか否かを判断することができる。また、出力モジュール２４は、誤判定フィードバック信号を受信した場合にのみ、機械学習ユニット３に画像を出力するように構成されているため、出力モジュール２４が出力する画像は、第１の分類器モジュール２３による誤判定に関連する有効な訓練サンプルとなる。このように、第２の分類器モジュール３２に必要なデータスループットを大幅に低減することができる。即ち、第２の分類器モジュール３２に対するスペック要求が低くなるので、第２の分類器モジュール３２の設計をより単純にすることができる。よって、一般的な演算能力を有するアーキテクチャによっても第２の分類器モジュール３２を構成することが可能となる。また、例として機械学習ユニット３を検出ユニット２と共に車両９の車両組み込みシステムに直接搭載すれば、設計コストを節約できるだけでなく、車両９に機械学習ユニット３を独立して設けるための設備も必要なくなる。また、機械学習ユニット３を検出ユニット２と共に車両９の車両組み込みシステムに直接搭載すれば、機械学習ユニット３をリモートサーバに設ける場合と比較して、リモートサーバへの接続を必要としないので、第１の分類器モジュール２３のパラメータを即時に更新することができる。

なお、本発明に係る対象物検出システムにおいて、検出ユニット２、機械学習ユニット３、フィードバックユニット４は、ハードウェア方式（プロセッサ、ＩＣチップ等）により構成されてもよいし、 例えばプロセッサによって実行されるコマンドを含むコードのようなソフトウェア方式により構成されてもよいことに注意されたい。

＜対象物検出方法＞

本発明に係る対象物検出方法は、図４及び図６に示されているように、その一実施形態において、本発明に係る上述の対象物検出システムによって実施され、以下のステップを含む。

ステップＳ５１において、検出ユニット２は、動画を受信して受信した動画から画像を取り出す。また、検出ユニット２は、取得した画像から画像の一部である第1の部分画像を抽出し、誤判定フィードバック信号の受信に応じて、その画像を機械学習ユニット３に出力する。なお、上記動画は、例えば対象物検出システムが配置される車両９に設置されていて車両９の周辺の映像を記録するドライブレコーダー（図示せず）により撮影されたものである。

ステップＳ５２において、検出ユニット２は、検出ユニット２が有する弱分類器パラメータを用いて分類に関連する処理を実行し、上記第1の部分画像が所定の対象物に類似するか否かを判定する。第1の部分画像が対象物に類似すると判定した場合、検出ユニット２は対象物検出信号を出力する。

ステップＳ５３において、フィードバックユニット４は、車両９の運転状況に関連する車両信号を少なくとも受信し、誤判定フィードバック信号を検出ユニット２に出力するか否かを少なくとも車両信号に基づいて決定する。ここで、車両信号は、車両９の走行速度、または車両９のブレーキペダルの移動量の少なくともいずれかを示す信号である。

このステップＳ５３においては、フィードバックユニット４は、車両９の衝突センサが出力する衝突信号と、車両９から対象物までの距離を示す対象物距離信号とを更に受信するようにしてもよい。この場合、フィードバックユニット５は、以下の状況の内の少なくとも1つにおいて誤判定フィードバック信号を出力する。

第１の状況は、フィードバックユニット４が対象物検出信号を受信しているのに対して車速の減速率が予め設定された減速率閾値以下である状況、あるいはフィードバックユニット４が対象物検出信号を受信しているのに対してブレーキペダルの移動量が予め設定されたブレーキペダル移動量閾値以下である状況である。

第２の状況は、フィードバックユニット４が対象物検出信号を受信していないのに対して車速の減速率が予め設定された減速率閾値よりも大きい状況、あるいはフィードバックユニット４が対象物検出信号を受信していないのに対してブレーキペダルの移動量が予め設定されたブレーキペダル移動量閾値よりも大きい状況である。

第３の状況は、フィードバックユニット４が対象物検出信号を受信していないのに対して衝突信号を受信した場合である。

第４の状況は、対象物距離信号が示す車両９から対象物までの距離が車両９の制動距離を下回る状況である。なお、車両９の制動距離は走行速度を基にして上述した所定の算式により求められるものである。

フィードバックユニット４により誤判定フィードバック信号が検出ユニット２に出力されると、ステップＳ５４に進む。

ステップＳ５４において、機械学習ユニット３は、分類に関連する処理を弱分類器パラメータ及び強分類器パラメータを用いてそれぞれ行い、画像の一部が対象物に類似するか否かの２つの判定を行う。これら２つの判定結果が異なる場合には、その画像を用いて訓練処理を行い、検出ユニット２と機械学習ユニット３それぞれの弱分類器パラメータを更新するための新たな弱分類器パラメータを取得する。

より具体的には、このステップＳ５４において、機械学習ユニット３は、第1の部分画像と同一の内容を含み、画像の一部である第２の部分画像を画像から抽出し、弱分類器パラメータ及び強分類器パラメータを用いて分類に関連する処理をそれぞれ実行して、第２の部分画像が対象物に類似するか否かの２つの判定をそれぞれ行う。これら２つの判定結果が異なる場合は、その画像を機械学習ユニット３のパラメータを訓練するためのサンプルとして用い、これにより新たな弱分類器パラメータを得る。

また、このステップＳ５４では、機械学習ユニット３は、新たな弱分類器パラメータの信頼度スコアを計算する。算出された信頼度スコアが、元の弱分類器パラメータの信頼度スコアよりも大きい場合には、ステップＳ５５に進む。

ステップＳ５５では、機械学習ユニット３は新たな弱分類器パラメータを用いて自身の弱分類器パラメータを更新し、更にこの新たな弱分類器パラメータを検出ユニット２の弱分類器パラメータの更新のために検出ユニット２に出力する。

このように、本発明に係る対象物検出方法によれば、適応学習が可能となり、上述した対象物検出システムの実施形態と同様の効果を得ることができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々の変更が可能である。

本発明は、例えば自動車に設置されて走行時の障害物を検出して運転者に障害物の存在を知らせるための対象物検出システムとして有用である他に、各種の先進運転支援システムに応用することが可能である。

２ 検出ユニット
２１ 画像取得モジュール
２２ 第１の画像処理モジュール
２３ 第１の分類器モジュール
２３１ 弱分類器
２３２ 距離算出モジュール
２４ 出力モジュール
２５ パラメータモジュール
３ 機械学習ユニット
３１ 第２の画像処理モジュール
３２ 第２の分類器モジュール
３２１ 強分類器
３２２ 弱分類器
３３ 訓練モジュール
３４ 更新モジュール
４ フィードバックユニット
９ 車両

Claims (18)

1. 画像を取得し、前記画像の一部が所定の対象物に類似するか否かを弱分類器パラメータを用いた分類処理により判定すると共に、前記画像を出力し、類似すると判定した際には対象物検出信号を出力するように構成された検出ユニットと、
   前記画像を受信するように前記検出ユニットと通信可能に接続され、前記画像の前記一部が前記対象物に類似するか否かを弱分類器パラメータ用いた分類処理と強分類器パラメータを用いた分類処理とによりそれぞれ判定するように構成された機械学習ユニットとを具え、
   前記機械学習ユニットは更に、前記弱分類器パラメータによる判定と前記強分類器パラメータによる判定の結果が異なる場合に、当該判定の対象となった前記画像を用いて訓練処理を行って新たな弱分類器パラメータを取得し、当該新たな弱分類器パラメータによって前記検出ユニットと前記機械学習ユニットのそれぞれの前記弱分類器パラメータを更新するように構成されていることを特徴とする、対象物検出システム。
2. 前記検出ユニットは、動画を受信できるように構成されていて、更に、
   受信した前記動画から前記画像を取り出す画像取得モジュールと、
   前記画像を受信するように前記画像取得モジュールに電気的に接続されていて、前記画像から前記判定の対象である前記画像の一部とする第１の部分画像を抽出するように構成された第1の画像処理モジュールと、
   前記第1の部分画像を受信するように前記第1の画像処理モジュールに電気的に接続されていて、前記弱分類器パラメータを用いた前記分類処理を行い、前記第1の部分画像が前記対象物に類似するか否かを判定し、前記第1の部分画像が前記対象物に類似すると判定した際に前記対象物検出信号を出力するように構成された第1の分類器モジュールと、
   前記画像を受信するように前記画像取得モジュールと電気的に接続されていて、前記画像を前記機械学習ユニットに出力するように構成された出力モジュールと、を有する、請求項１に記載の対象物検出システム。
3. 前記機械学習ユニットは、
   前記検出ユニットの前記出力モジュールから前記画像を受信し、受信した前記画像から前記第1の部分画像と同一の内容を含む部分画像であって前記機械学習ユニットによる各前記判定の対象である前記画像の一部とする第２の部分画像を抽出するように構成された第２の画像処理モジュールと、
   前記第２の部分画像及び前記画像を受信するように前記第２の画像処理モジュールに電気的に接続されていて、前記弱分類器パラメータ用いた分類処理と前記強分類器パラメータを用いた分類処理とによる各前記判定を行い、各前記判定の結果が異なる場合に、当該判定の対象となった前記画像を出力するように構成された第２の分類器モジュールと、
   前記画像を受信するように前記第２の分類器モジュールに電気的に接続されていて、前記画像を訓練サンプルとして用いて前記第２の分類器モジュールのパラメータを訓練して新たな弱分類器パラメータを取得するように構成された訓練モジュールと、
   前記新たな弱分類器パラメータを受信するように前記訓練モジュールに電気的に接続されていて、前記第２の分類器モジュールの前記弱分類器パラメータを前記新たな弱分類器パラメータによって更新し、更に前記検出ユニットの前記第1の分類器モジュールの前記弱分類器パラメータを前記新たな弱分類器パラメータによって更新するよう前記新たな弱分類器パラメータを前記検出ユニットに送信するように構成された更新モジュールと、を有する、請求項２に記載の対象物検出システム。
4. 前記対象物検出信号を受信するように前記検出ユニットに電気的に接続されているフィードバックユニットを更に具え、
   前記フィードバックユニットは、前記検出ユニットが設けられた車両の運転状態に関連する車両信号を受信する上に、受信した前記車両信号に基づいて誤判定フィードバック信号を前記出力モジュールに出力できるように構成されていて、
   前記出力モジュールは、前記誤判定フィードバック信号の受信に応じて、前記画像を前記機械学習ユニットの前記第２の画像処理モジュールに出力する、請求項３に記載の対象物検出システム。
5. 前記車両信号は、前記車両の走行速度を示す信号であり、
   前記フィードバックユニットは、前記フィードバックユニットが前記対象物検出信号を受信しているが前記車両信号により示される前記車両の走行速度の減速率が予め設定された減速率閾値以下である状況と、前記フィードバックユニットが前記対象物検出信号を受信していないが前記車両信号により示される前記車両の走行速度の減速率が予め設定された減速率閾値よりも大きい状況とのいずれかの状況において、前記誤判定フィードバック信号を出力する、請求項４に記載の対象物検出システム。
6. 前記車両信号は、前記車両のブレーキペダルの移動量を示す信号であり、
   前記フィードバックユニットは、前記フィードバックユニットが前記対象物検出信号を受信しているが前記車両信号により示される前記車両のブレーキペダルの移動量が予め設定されたブレーキペダル移動量閾値以下である状況と、前記フィードバックユニットが前記対象物検出信号を受信していないが前記車両信号により示される前記車両のブレーキペダルの移動量が予め設定されたブレーキペダル移動量閾値よりも大きい状況とのいずれかの状況において、前記誤判定フィードバック信号を出力する、請求項４に記載の対象物検出システム。
7. 前記対象物は、前記車両に近接していて前記車両の運転の障害となるものであって、
   前記フィードバックユニットは、前記車両に設けられる衝突センサにより出力される衝突信号と、前記車両から前記対象物までの距離を示す対象物距離信号との少なくともいずれかを更に受信できるように構成され、
   前記フィードバックユニットは、前記フィードバックユニットが前記対象物検出信号を受信していないが前記衝突信号を受信した状況と、前記対象物距離信号により示される前記距離が前記車両の制動距離よりも小さい状況とのいずれかの状況においても、前記誤判定フィードバック信号を出力する、請求項４に記載の対象物検出システム。
8. 前記車両信号は、前記車両の走行速度を示す信号であり、
   前記車両の制動距離は、前記車両信号が示す前記走行速度に基づいて算出されたものである、請求項７に記載の対象物検出システム。
9. 前記更新モジュールは、前記新たな弱分類器パラメータの信頼度スコアを計算した上で、計算された当該信頼度スコアが前記弱分類器パラメータの信頼度スコアよりも大きいときに、前記新たな弱分類器パラメータによって前記第２の分類器モジュールの前記弱分類器パラメータを更新すると共に、前記第１の分類器モジュールの前記弱分類器パラメータを更新するよう前記新たな弱分類器パラメータを前記検出ユニットに送信するように構成されている、請求項３に記載の対象物検出システム。
10. 検出ユニットと機械学習ユニットとを具える対象物検出システムによって実行される対象物検出方法であって、
    （Ａ）前記検出ユニットによって、画像を取得し、取得した前記画像の一部が所定の対象物に類似するか否かについて、弱分類器パラメータを用いた分類処理を実行して判定を行うステップと、
    （Ｂ）前記画像の一部が所定の対象物に類似すると判定したときに、前記検出ユニットによって対象物検出信号を出力するステップと、
    （Ｃ）前記検出ユニットによって、前記画像を前記機械学習ユニットに出力するステップと、
    （Ｄ）前記機械学習ユニットによって、前記画像を受信してから、受信した前記画像の一部が対象物に類似するか否かについて、弱分類器パラメータを用いた分類処理と、強分類器パラメータを用いた分類処理とをそれぞれ実行して２つの判定を行うステップと、
    （Ｅ）前記２つの判定の結果が異なるときに、前記機械学習ユニットによって、前記２つの判定の対象となった前記画像を用いて訓練処理を行うことにより新たな弱分類器パラメータを取得し、前記新たな弱分類器パラメータによって前記検出ユニットと前記機械学習ユニットそれぞれの弱分類器パラメータを更新するステップと、
    を含むことを特徴とする対象物検出方法。
11. 前記（Ａ）ステップにおいては、前記検出ユニットによって、動画を受信し、受信した動画から画像を取り出すことにより前記画像を取得し、取得した前記画像から第１の部分画像を抽出して前記画像の一部とし、
    前記（Ｂ）ステップにおいては、前記第１の部分画像が前記対象物に類似すると判定したときに前記対象物検出信号を出力する、請求項１０に記載の対象物検出方法。
12. 前記（Ｄ）ステップにおいては、前記画像から前記第１の部分画像と同じ内容を含む第２の部分画像を抽出して前記画像の一部とし、
    前記（Ｅ）ステップにおいては、前記画像を訓練サンプルとして用いて前記訓練処理を行い、前記新たな弱分類器パラメータを前記更新のため前記検出ユニットに送信する、請求項１１に記載の対象物検出方法。
13. 前記対象物検出システムはフィードバックユニットを更に具えるものであって、
    前記（Ｂ）ステップと前記（Ｃ）ステップの間に、前記フィードバックユニットによってそれぞれ行われるステップであって、
    （ａ）前記検出ユニットが設けられた車両の運転状態に関連する車両信号を受信するステップと、
    （ｂ）受信した前記車両信号に基づいて誤判定フィードバック信号を前記検出ユニットに出力するステップと、を更に含み、
    前記（Ｃ）ステップにおいては、前記誤判定フィードバック信号の受信に応じて、前記画像を前記機械学習ユニットに出力する、請求項１２に記載の対象物検出方法。
14. 前記（ａ）ステップにおける前記車両信号は前記車両の走行速度を示す信号であり、
    前記（ｂ）ステップにおいては、前記フィードバックユニットが前記対象物検出信号を受信しているが前記車両信号により示される前記車両の走行速度の減速率が予め設定された減速率閾値以下である状況と、前記フィードバックユニットが前記対象物検出信号を受信していないが前記車両信号により示される前記車両の走行速度の減速率が予め設定された減速率閾値よりも大きい状況とのいずれかの状況において、前記誤判定フィードバック信号を出力する、請求項１３に記載の対象物検出方法。
15. 前記（ａ）ステップにおける前記車両信号は前記車両のブレーキペダルの移動量を示す信号であり、
    前記（ｂ）ステップにおいては、前記フィードバックユニットが前記対象物検出信号を受信しているが前記車両信号により示される前記車両のブレーキペダルの移動量が予め設定されたブレーキペダル移動量閾値以下である状況と、前記フィードバックユニットが前記対象物検出信号を受信していないが前記車両信号により示される前記車両のブレーキペダルの移動量が予め設定されたブレーキペダル移動量閾値よりも大きい状況とのいずれかの状況において、前記誤判定フィードバック信号を出力する、請求項１３に記載の対象物検出方法。
16. 前記対象物は、前記車両に近接していて前記車両の運転の障害となるものであって、
    前記（ａ）ステップにおいては、前記フィードバックユニットが、前記車両に設けられる衝突センサにより出力される衝突信号と、前記車両から前記対象物までの距離を示す対象物距離信号との少なくともいずれかを更に受信し、
    前記（ｂ）ステップにおいては、前記フィードバックユニットが前記対象物検出信号を受信していないが前記衝突信号を受信した状況と、前記対象物距離信号により示される前記距離が前記車両の制動距離よりも小さい状況とのいずれかの状況においても、前記誤判定フィードバック信号を出力する、請求項１３に記載の対象物検出方法。
17. 前記（ａ）ステップにおける前記車両信号は、前記車両の走行速度を示す信号であり、
    前記（ｂ）ステップにおける前記車両の制動距離は、前記車両信号が示す前記走行速度に基づいて算出される、請求項１６に記載の対象物検出方法。
18. 前記（Ｅ）ステップにおいては、前記機械学習ユニットによって、前記訓練処理を行った後に、前記新たな弱分類器パラメータの信頼度スコアを計算した上で、計算された当該信頼度スコアが前記弱分類器パラメータの信頼度スコアよりも大きいときに、前記新たな弱分類器パラメータによって前記機械学習ユニットの前記弱分類器パラメータを更新すると共に、前記新たな弱分類器パラメータを前記更新のため前記検出ユニットに送信する、請求項１２に記載の対象物検出方法。

Images