JP2019068312A - 画像監視装置および画像監視システム - Google Patents

Abstract

【課題】車載カメラより取得した撮影画像から検出対象を適切に抽出することができる画像監視装置および画像監視システムを提供する。【解決手段】本発明の一形態に係る画像監視装置は、取得部と、判定部と、抽出部とを具備する。上記取得部は、移動体に設置されたカメラにより撮像された視野画像を時系列的に取得する。上記判定部は、上記視野画像の背景色を所定のフレーム単位で判定する。上記抽出部は、上記視野画像から上記背景色と異なる色の画素領域を検出対象として抽出する。【選択図】図１

Description

本発明は、視野画像から検出対象を検出する画像監視装置および画像監視システムに関する。

監視カメラ等の固定カメラで撮影した画像では、事前に登録しておりた背景画像や１フレーム前の画像を基準とし、基準と現在フレームとの差分をとることで、動的物体等の前景物体を検知する技術が知られている。

例えば特許文献１には、あらかじめ撮像された背景画像と入力画像との輝度値の差分を画素毎に行うことで差分画像を作成し、作成した差分画像を二値化することにより、前景領域と背景領域とを分離し、前景領域を抽出する画像監視装置が開示されている。

特開２０１７−５４８５号公報

近年、車載カメラを用いたフォークリフトの運転支援システムの一環として、走行路面にペイントされた標示や路面上に存在する落下物などを検出する技術の開発が進められている。しかしながら、特許文献１に記載の前景抽出技術は、固定カメラによる撮影画像を前提としているため、車載カメラのような背景画像が変化する撮影画像からは前景領域を適切に抽出することが困難である。

以上のような事情に鑑み、本発明の目的は、車載カメラより取得した撮影画像から検出対象を適切に抽出することができる画像監視装置および画像監視システムを提供することにある。

上記目的を達成するため、本発明の一形態に係る画像監視装置は、取得部と、判定部と、抽出部とを具備する。
上記取得部は、移動体に設置されたカメラにより撮像された視野画像を時系列的に取得する。
上記判定部は、上記視野画像の背景色を所定のフレーム単位で判定する。
上記抽出部は、上記視野画像から上記背景色と異なる色の画素領域を検出対象として抽出する。

上記画像監視装置は、所定のフレーム単位で背景色を判定し、それらを基準に検出対象を抽出するように構成される。これにより、背景領域が時々刻々と変化する移動体の視野画像をもとに検出対象を適切に抽出することができる。

上記判定部は、上記視野画像をグレースケール画像に変換し、上記グレースケール画像の最頻値およびその周辺の階調に対応する色域を背景色として判定するように構成されてもよい。これにより、路上の検出対象を容易に抽出することができる。

上記抽出部は、上記背景色と異なる色の画素の数が所定の閾値以上の場合に、上記画素領域を検出対象として抽出するように構成されてもよい。これにより、有意の大きさの検出対象を精度よく検出することができる。

上記画像監視装置は、表示制御部をさらに具備してもよい。上記表示制御部は、上記視野画像を表示する表示部へ検出対象の存在を知らせる画像情報を表示させるための制御信号を生成する。
これにより、表示部を介してユーザに路上への注意喚起を促すことができる。

上記抽出部は、上記視野画像の所定領域を検出対象の探索領域として設定し、上記表示制御部は、上記探索領域内に検出対象が抽出された場合に上記制御信号を生成するように構成されてもよい。
探索領域を設定することにより、背景色の検出対象の位置の特定が容易となる。

本発明の一形態に係る画像監視システムは、カメラと、取得部と、判定部と、抽出部と、表示部と、表示制御部とを具備する。
上記カメラは、移動体に設置される。
上記取得部は、上記カメラにより撮像された視野画像を時系列的に取得する。
上記判定部は、上記視野画像の背景色を所定のフレーム単位で判定する。
上記抽出部は、上記視野画像から上記背景色と異なる色の画素領域を検出対象として抽出する。
上記表示部は、上記視野画像を表示する。
上記表示制御部は、検出対象の存在を知らせる画像情報を上記表示部に上記視野画像に重畳して表示させるための制御信号を生成する。

以上述べたように、本発明によれば、車載カメラより取得した撮影画像から検出対象を適切に抽出することができる。

本発明の一実施形態に係る画像監視システムの構成を示すブロック図である。 上記画像監視システムを備えた移動体の概略側面図である。 上記画像監視システムの作用を説明する図である。 上記画像監視システムにおける表示部に表示される視野画像の一例を示す模式図である。 本発明の一実施形態に係る画像監視装置の動作手順を示すフローチャートである。 視野画像に設定される探索領域の配置の変形例を示す模式図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

図１は本発明の一実施形態に係る画像監視システム１００の構成を示すブロック図、図２は画像監視システム１００を備えた移動体１の概略側面図、図３は画像監視システム１００の作用の説明図である。

［画像監視システム］
図１及び図２に示すように、本実施形態の画像監視システム１００は、画像監視装置１０と、カメラ２０と、表示部３０とを備える。

画像監視システム１００は、例えば、工場内で運行される移動体１（本例では、フォークリフト）に搭載され、移動体の走行路上における所定の検出対象の存在の有無を判定し、検出対象を検出した場合にはその旨をオペレータへ報知する運行支援システムとして構成される。検出対象としては、後述する路上標示物や路上落下物等が含まれる。

画像監視装置１０は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等のコンピュータに用いられるハードウェア要素および必要なソフトウェアにより実現され得る。ＣＰＵに代えて、またはこれに加えて、ＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、あるいは、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、その他ＡＳＩＣ（Application Specific Integrated Circuit）等が用いられてもよい。

［画像監視装置］
画像監視装置１０は、機能ブロックとして、取得部１１と、判定部１２と、抽出部１３と、表示制御部１４と、通信部１５と、メモリ１６とを有する。

（取得部）
取得部１１は、移動体１に設置されたカメラ２０（２１，２２）により撮像された視野画像を時系列的に取得するように構成される。取得部１１は、カメラ２０に対する撮影の指示およびその停止を制御することが可能に構成されてもよい。

カメラ２０は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を有し、移動体１の進行方向の視野を撮影するビデオカメラで構成される。カメラ２０は、図２に示すように前進用および後退用の２台のカメラ２１，２２を備えていてもよい。カメラ２０は、移動体１の走行方向の路面（あるいは床面）Ｓを撮影することが可能に移動体１の適宜の場所に設置される。

視野画像は、典型的には、移動体の走行方向の視野を撮影した動画であり、主として、移動体の走行方向における路面Ｓおよびその周囲の画像を含む。取得した視野画像のデータは、メモリ１６に蓄積され、あるいは、通信部１５を介して管理装置４０へ無線送信される。

（判定部）
判定部１２は、取得部１１で取得された視野画像の背景色を所定のフレーム単位で判定するように構成される。取得部１１は、カメラ２０へ視野画像の動画撮影やその停止を指示するように構成されてもよい。

一般に、フォークリフトが走行する工場の路面Ｓを構成する床材は、コンクリート上に塗装された緑や白、グレー等の所定の色の塗料で構成される。床面上には、走行領域を規定する車線、通路番号、荷物の載置区画を標示するアドレス、さらには、一時停止ラインや進行方向等の標識（あるいは標示）といった路上標示物が床材とは異なる色でペイントされ、あるいは貼り付けられている。なお、床材は、一様な色合いであれば、塗装なしのコンクリートやアスファルト等であってもよい。

本実施形態において視野画像の背景色とは、検出対象の探索領域における各画素の輝度の代表値をいう。探索領域は、視野画像の全領域に設定されてもよいし、視野画像の一部の領域に設定されてもよい。探索領域が視野画像の全領域に設定される場合、カメラ２０の画角等によっては、移動体の走行領域だけでなく、その周辺の他の領域も含まれる。一方、探索領域が視野画像の一部の領域に設定される場合、探索領域は、例えば走行領域の一部の領域に設定される。

背景色の判定方法は特に限定されない。本実施形態において判定部１２は、視野画像をグレースケール画像に変換し、当該グレースケール画像の最頻値およびその周辺の階調に対応する色域を背景色として判定するように構成される。

例えば図３（Ａ）に示す路面Ｓの視野画像Ｖ１は、背景領域である床面ＶＢと、検出対象である路上標示物ＶＦとを含む。判定部１２は、視野画像Ｖ１を、図３（Ｂ）に示すようなグレースケール画像Ｖ２に変換する。グレースケール画像Ｖ２の階調数は特に限定されず、例えば２５６階調である。そして、判定部１２は、図３（Ｃ）に示すようにグレースケール画像Ｖ２の画素値（輝度）に関するヒストグラムを生成し、最頻値およびその周辺の階調に対応する色域Ｃｇ（図３（Ｃ）参照）を当該視野画像Ｖ１の背景色と判定する。

色域Ｃｇは、大きさは特に限定されず、視野画像Ｖ１の大きさ、路面Ｓの色、検出対象の種類等に応じて適宜設定可能である。色域Ｃｇは、典型的には、ヒストグラムの最頻値（図３（Ｃ）の例では８６）を中心とする所定範囲（±３０〜５０）の画素値の範囲が背景色と判定され、メモリ１６へ登録される。

判定部１２は、所定のフレーム単位で視野画像の背景色を判定するように構成される。判定部１２は、典型的には、取得部１１により時系列的に取得される視野画像Ｖ１の背景色を１フレーム単位で更新するが、数フレームあるいは数十フレーム単位で更新するようにしてもよい。

（抽出部）
抽出部１３は、視野画像からその背景色と異なる色の画素領域を検出対象として抽出するように構成される。検出対象は、典型的には、視野画像の背景色とは異なる輝度あるいは色相を有するため、これら背景色と異なる画素値を有する画素領域を抽出することで、検出対象等の物体の存在の有無を容易に検出することができる。

抽出部１３は、図３（Ｂ）に示したグレースケール画像Ｖ２を、背景色の色域Ｃｇに属する色の画素領域と、色域Ｃｇとは異なる色の画素領域とに分類し、図３（Ｄ）に示すような二値化画像Ｖ３にさらに変換する。この例では、色域Ｃｇに属する色の画素領域（床面ＶＢ）を黒、それ以外の色の画素領域（路上標示物ＶＦや光沢のある領域）を白で示しているが、勿論これに限られない。抽出部１３は、判定部１２において背景色が判定された各フレームのグレースケール画像について上記処理を実行する。

本実施形態において抽出部１３は、背景色と異なる色の画素の数が所定の閾値以上の場合に、当該画素領域を検出対象として抽出するように構成される。これにより、有意の大きさの検出対象を精度よく検出することができる。所定の閾値は、検出対象の大きさ等に応じて適宜設定され、例えば、視野画像Ｖ１の探索領域における全画素数の１０％以上に相当する数に設定される。

（表示制御部）
表示制御部１４は、視野画像Ｖ１を表示する表示部３０へ検出対象の存在を知らせる画像情報を表示させるための制御信号を生成するように構成される。これにより、表示部３０を介してユーザ（あるいはオペレータ）に路上への注意喚起を促すことができる。

表示部３０は、カメラ２０で撮影された視野画像Ｖ１を表示することが可能な液晶表示装置や有機ＥＬ表示装置等で構成され、典型的には、図２に示すように移動体１の運転席等に設置される。

図４（Ａ），（Ｂ）は、表示部３０に表示される視野画像Ｖ１の一例を示す模式図である。同図に示すように、表示部３０には視野画像Ｖ１として移動体１の進行方向の前方視野が表示される。ここで前方視野とは、移動体１が前進している場合はカメラ２１により撮影される画像であり、移動体１が後退している場合はカメラ２２により撮影される画像である。

表示制御部１４は、視野画像Ｖ１に重畳して、図４（Ａ），（Ｂ）において二点鎖線で示す探索領域Ｗが表示される。探索領域Ｗは、上述のように、検出対象の存在の有無を判定する探索領域であり、ここでは、探索領域Ｗとして、視野画像Ｖ１の一部に設定された矩形の枠線で表示される。これに限られず、探索領域Ｗは、円形が楕円形、台形等の他の形状の枠線で表示されてもよい。また、探索領域Ｗは、単数に限られず、後述するように複数設定されてもよい。

表示制御部１４は、抽出部１３において探索領域Ｗ内に検出対象（路上標示物ＶＦ）が存在しないと判定されたときは、探索領域Ｗを囲む矩形の枠線を例えば緑色で表示する。一方、表示制御部１４は、抽出部１３において探索領域Ｗ内に検出対象が存在すると判定されたとき、探索領域Ｗを囲む矩形の枠線を例えば赤色で強調表示する。この場合、枠線を太線で表示したり、点滅表示したりしてもよい。

（その他）
通信部１５は、画像監視装置１０と管理装置４０との間で情報を送受信することが可能なアンテナ等を含む通信モジュールを備える。通信部１５は、取得部１１で取得されたカメラ２０の画像、判定部１２あるいは抽出部１３において上記所定のフレーム単位で算出された視野画像Ｖ１の背景色、検出対象の存在の有無に関する情報等を管理装置４０へ出力するように構成される。
なお、通信部１５の設置は任意であり、必要に応じて省略されてもよい。

メモリ１６は、画像監視装置１０の各部の動作を実行するプログラムソフトウェアや演算パラメータが格納される。メモリ１６は、取得部１１において取得された視野画像Ｖ１、判定部１２において変換され又は生成されたグレースケール画像Ｖ２、画素値のヒストグラム又は二値化画像Ｖ３、抽出部１３における検出対象の存在の有無の判定結果等が格納されてもよい。
なお、メモリ１６は、画像監視装置１０とは別の記憶装置で構成されてもよい。

［画像監視システムの動作］
次に、本実施形態の画像監視システム１００の典型的な動作について説明する。

図５は、画像監視装置１０の動作手順を示すフローチャートである。

移動体１が走行を開始すると、取得部１１は、カメラ２０から路面Ｓの視野画像Ｖ１を時系列的に取得する（ステップ１０１）。視野画像Ｖ１は、表示部３０に表示される。表示部３０には、図４（Ａ）に示すように、検出対象の探索領域Ｗが視野画像Ｖ１と重畳して表示される。

続いて、判定部１２は、視野画像Ｖ１の背景色を所定のフレーム単位で判定する（ステップ１０２）。具体的に、判定部１２は、視野画像Ｖ１をグレースケール画像に変換し、画素値のヒストグラムからその最頻値およびその周辺の階調に対応する色域を背景色として判定する（図２（Ａ）〜（Ｃ）参照）。

続いて、抽出部１３は、背景色と異なる色の画素の数が所定の閾値以上の場合に、当該画素領域を検出対象として抽出する（ステップ１０３）。

表示制御部１４は、図４（Ａ）に示すように、探索領域Ｗにおいて検出対象（ここでは、停止線ＶＦ１や走行領域の境界線ＶＦ２等の路上標示物ＶＦ）が発見されない場合は、次フレームの視野画像を対象として上述の検出対象の抽出作業が実行される。一方、表示制御部１４は、図４（Ｂ）に示すように、探索領域Ｗにおいて検出対象（路上標示物ＶＦ）が発見された場合は、視野画像Ｖ１の探索領域Ｗの枠線を強調表示させる制御信号を生成する（ステップ１０４）。

以上の処理は、移動体１の運転が終了するまで繰り返し実行される（ステップ１０５）。

本実施形態の画像監視システム１および画像監視装置１０は、所定のフレーム単位で視野画像Ｖ１の背景色を判定し、それらを基準に検出対象を抽出するように構成される。これにより、背景領域が時々刻々と変化する移動体の視野画像Ｖ１をもとに検出対象を適切に抽出することができる。

本実施形態によれば、背景色とは異なる色の画素領域の集合を検出対象として抽出するように構成されているため、検出対象を画素値の違いのみで抽出することができ、したがってシステムの低コスト化および簡素化を図ることができる。

さらに本実施形態によれば、視野画像Ｖ１の所定領域を検出対象の探索領域Ｗとして設定し、その探索領域内に検出対象が抽出された場合に表示を制御するように構成されている。このように視野画像の一部に探索領域を設定することにより、検出対象の位置の特定が容易となる。

探索領域Ｗは、１つに限られず、複数設定されてもよい。例えば図６（Ａ），（Ｂ）に２つの探索領域Ｗ１，Ｗ２が設定された視野画像Ｖ１を示す。探索領域Ｗ１，Ｗ２は、視野画像Ｖ１において上下方向に配置された矩形の枠線で区画される。移動体１が走行すると、検出対象（路上標示物ＶＦ）は探索領域Ｗ１および探索領域Ｗ２において順次検出される。これにより、検出対象が移動体１に接近する様子がすることができる。

以上、本発明の実施形態について説明したが、本発明は上述の実施形態にのみ限定されるものではなく種々変更を加え得ることは勿論である。

例えば以上の実施形態では、移動体１としてフォークリフトを例に挙げて説明したが、これに限られず、有人または無人の他の移動体であってもよい。

また、以上の実施形態では検出対象として路上標示物ＶＦを例に挙げて説明したが、これに限られず、路面Ｓに落下した物体（路上落下物）等の標示物以外の他の物体の検出にも、本発明は適用可能である。

さらに以上の実施形態では、視野画像Ｖ１の探索領域Ｗに検出対象が検出された場合、探索領域Ｗを区画する枠線を表示部３０において強調表示するように構成されたが、これに代えて又は加えて、音や光等によりオペレータへ注意を喚起することが可能なブザー、ランプその他の警報器が設置されてもよい。

１…画像監視システム
１０…画像監視装置
１１…取得部
１２…判定部
１３…抽出部
１４…表示制御部
２０…カメラ
３０…表示部
Ｖ１…視野画像
Ｖ２…グレースケール画像
ＶＦ…路上標示物
Ｗ，Ｗ１，Ｗ２…探索領域

Claims (6)

1. 移動体に設置されたカメラにより撮像された視野画像を時系列的に取得する取得部と、
   前記視野画像の背景色を所定のフレーム単位で判定する判定部と、
   前記視野画像から前記背景色と異なる色の画素領域を検出対象として抽出する抽出部と
   を具備する画像監視装置。
2. 請求項１に記載の画像監視装置であって、
   前記判定部は、前記視野画像をグレースケール画像に変換し、前記グレースケール画像の最頻値およびその周辺の階調に対応する色域を前記背景色として判定する
   画像監視装置。
3. 請求項１又は２に記載の画像監視装置であって、
   前記抽出部は、前記背景色と異なる色の画素の数が所定の閾値以上の場合に、前記画素領域を検出対象として抽出する
   画像監視装置。
4. 請求項１〜３のいずれか１つに記載の画像監視装置であって、
   前記視野画像を表示する表示部へ検出対象の存在を知らせる画像情報を表示させるための制御信号を生成する表示制御部をさらに具備する
   画像監視装置。
5. 請求項４に記載の画像監視装置であって、
   前記抽出部は、前記視野画像の所定領域を検出対象の探索領域として設定し、
   前記表示制御部は、前記探索領域内に検出対象が抽出された場合に前記制御信号を生成する
   画像監視装置。
6. 移動体に設置されたカメラと、
   前記カメラにより撮像された視野画像を時系列的に取得する取得部と、
   前記視野画像の背景色を所定のフレーム単位で判定する判定部と、
   前記視野画像から前記背景色と異なる色の画素領域を検出対象として抽出する抽出部と、
   前記視野画像を表示する表示部と、
   検出対象の存在を知らせる画像情報を前記表示部に前記視野画像に重畳して表示させるための制御信号を生成する表示制御部と
   を具備する画像監視システム。

Images