JP2022017619A - 画像解析装置、画像解析システム、および制御プログラム - Google Patents

Abstract

【課題】撮影条件によらず、撮影領域内の対象物を高精度に解析することが可能な画像解析装置を提供する。【解決手段】画像解析装置３００は、ライダー１００から取得した測定データから、物体の位置、大きさを含む物体情報を検出する距離情報解析部３２０と、カメラ２００から取得した画像データから、物体情報を検出する画像解析部３３０と、ライダー１００、およびカメラ２００それぞれの第１、第２の撮影領域７１０、７２０における撮影条件を取得する撮影条件取得部３４０と、取得した撮影条件に基づいて、第１、第２の撮影領域７１０、７２０が重複する共通領域７３０における距離情報解析部３２０の検出結果、および画像解析部３３０の検出結果を統合する統合処理を行い、新たな物体情報を生成する、情報統合部３５０と、を備える。【選択図】図１

Description

本発明は、画像解析装置、画像解析システム、および制御プログラムに関する。

従来、監視カメラからの画像に基づいて、撮像されている人物の行動を解析し、その行動が不正行為等を含む異常行動であった人物を検知するとともに、その人物を警備員等に通報することが行われている。

例えば、特許文献１には、撮像カメラから得られた時系列の複数のフレーム画像を画像解析することにより、人物の挙動が、特定の挙動パターンに該当するか否かを判定し、該当する場合にアラームを発生させる監視装置が開示されている。

また、監視カメラから得られる画像の品質は、設置環境（監視環境）に影響され、例えば雨天や夜間といった環境下では画像品質が著しく低下するため正確に判定できないという問題がある。

このような問題に対して、特許文献２に開示された監視システムでは、撮影環境（監視環境）の影響を受けることなく、監視領域内の人物の挙動を解析することを目的とし、監視カメラではなく、レーザー測位装置（レーザーレーダーまたはレーザーライダーともいう）から得られた人物の位置情報を用いて、人物の挙動を判別している。

特開２０１２－０２３５６６号公報 特開２０１５－２１３２５１号公報

しかしながら、レーザーレーダーは、どのような環境下であっても、正しく対象物を検出できるとは限らない。例えば、撮影条件が霧等の場合には、レーザーレーダーは、対象物の手前側にある大気中の水滴（水粒）を検知してしまい、正しく対象物までの距離を検知することができない場合がある。

本発明は、上記事情に鑑みてなされたものであり、撮影条件によらず、撮影領域内の対象物を高精度に解析することが可能な画像解析装置を提供することを目的とする。

本発明の上記目的は、下記の手段によって達成される。

（１）第１の撮影領域内の測定対象となる物体までの距離値を測定するライダーから測定データを取得するとともに、前記第１の撮影領域を少なくとも含む第２の撮影領域を撮影し、画像データを生成するカメラから前記画像データを取得するデータ取得部と、
前記ライダーから取得した前記測定データから、物体の位置、大きさを含む物体情報を検出する距離情報解析部と、
前記カメラから取得した前記画像データから、物体情報を検出する画像解析部と、
前記第１、第２の撮影領域における撮影条件を取得する撮影条件取得部と、
取得した前記撮影条件に基づいて、前記第１、第２の撮影領域が重複する共通領域における前記距離情報解析部の検出結果、および前記画像解析部の検出結果を統合する統合処理を行い、新たな物体情報を生成する情報統合部と、
を備える画像解析装置。

（２）前記画像解析部は、前記カメラから取得した画像データを、複数の前記撮影条件のうち所定の撮影条件下において、撮影した画像データを元に学習を行って生成された推論処理パラメータを用いたニューラルネットワークによる推論処理により解析する、上記（１）に記載の画像解析装置。

（３）前記撮影条件には、天候、照度、温湿度の少なくともいずれかを含む、上記（１）、または上記（２）に記載の画像解析装置。

（４）前記撮影条件には、予め設定された対象物を含む、上記（１）から上記（３）のいずれかに記載の画像解析装置。

（５）前記予め設定された対象物は、前記画像解析部が検出した物体である、上記（４）に記載の画像解析装置。

（６）前記距離情報解析部、および前記画像解析部は、対象物として、人、車両、および前記車両以外の移動する機械を分類して検出する、上記（１）から上記（５）のいずれかに記載の画像解析装置。

（７）前記カメラから得られた前記画像データに基づく表示画像を表示する表示部を備え、
前記表示画像には、前記情報統合部が生成した物体情報を、重畳して表示させる、上記（１）から上記（６）のいずれかに記載の画像解析装置。

（８）前記カメラから得られた前記画像データに基づく表示画像を表示する表示部を備え、
前記表示画像には、前記撮影条件取得部が取得した前記撮影条件を表示する、上記（１）から上記（６）のいずれかに記載の画像解析装置。

（９）前記情報統合部は、前記撮影条件に応じて、前記距離情報解析部の検出結果、および前記画像解析部の検出結果のいずれか、または両方を採用しないか否かを判定し、判定結果に応じて、前記統合処理を行う、上記（１）から上記（６）のいずれかに記載の画像解析装置。

（１０）前記情報統合部は、前記撮影条件に応じて、検出した物体毎に、前記距離情報解析部の検出結果、および前記画像解析部の検出結果のいずれか、または両方を採用しないか否かを判定し、判定結果に応じて、前記統合処理を行う、上記（９）に記載の画像解析装置。

（１１）前記カメラから得られた前記画像データに基づく表示画像を表示する表示部を備え、
前記表示画像には、前記情報統合部が生成した物体情報を重畳して表示させ、表示する前記物体情報は、前記情報統合部の判定結果に応じて、異なる態様で表示させる、上記（９）、または上記（１０）に記載の画像解析装置。

（１２）前記ライダー、および前記カメラは、それぞれ所定のフレームレートで連続して測定、および撮影を行い、
前記画像解析部が処理する単位時間あたりのフレーム数は、前記距離情報解析部が処理する単位時間あたりのフレーム数よりも少なく、
前記情報統合部は、前記画像解析部の処理の完了タイミングに合わせて、前記統合処理を実行する、上記（１）から上記（１１）のいずれかに記載の画像解析装置。

（１３）人として検出した対象物が前記共通領域内の所定領域内にいるか否かを判定し、所定領域内にいると判定した場合には、アラート信号を出力する発報判定部を、さらに備える、上記（１）から上記（１２）のいずれかに記載の画像解析装置。

（１４）車両として検出した対象物の前記共通領域内における移動方向を判定し、前記移動方向が正常な方向でない場合に、アラート信号を出力する発報判定部を、さらに備える、上記（１）から上記（１２）のいずれかに記載の画像解析装置。

（１５）人として検出した対象物と車両として検出した対象物との間の距離、または人として検出した対象物と車両として検出した対象物との間の距離を判定し、距離が所定値以下となった場合には、アラート信号を出力する発報判定部を、さらに備える、上記（１）から上記（１２）のいずれかに記載の画像解析装置。

（１６）第１の撮影領域内の測定対象となる物体までの距離値を測定し、測定データを生成するライダーと、
前記第１の撮影領域の少なくとも一部を含む第２の撮影領域を撮影し、画像データを生成するカメラと、
上記（１）から上記（１５）のいずれかに記載の画像解析装置と、
を備える画像解析システム。

（１７）画像解析装置を制御するコンピューターで実行される制御プログラムであって、
第１の撮影領域内の測定対象となる物体までの距離値を測定するライダーから測定データを取得するステップ（ａ）と、
前記第１の撮影領域を少なくとも含む第２の撮影領域を撮影し、画像データを生成するカメラから前記画像データを取得するステップ（ｂ）と、
前記ステップ（ａ）で取得した前記測定データから、物体の位置、大きさを含む物体情報を検出するステップ（ｃ）と、
前記ステップ（ｂ）で取得した前記画像データから、物体情報を検出するステップ（ｄ）と、
前記第１、第２の撮影領域における撮影条件を取得するステップ（ｅ）と、
前記ステップ（ｅ）で取得した前記撮影条件に基づいて、前記第１、第２の撮影領域が重複する共通領域における前記ステップ（ｃ）の検出結果、および前記ステップ（ｄ）の検出結果を統合する統合処理を行い、新たな物体情報を生成するステップ（ｆ）と
を含む処理を前記コンピューターに実行させるための制御プログラム。

本発明に係る画像解析装置は、ライダーから取得した測定データから、物体の位置、大きさを含む物体情報を検出する距離情報解析部と、カメラから取得した画像データから、物体情報を検出する画像解析部と、ライダー、およびカメラそれぞれの第１、第２の撮影領域における撮影条件を取得する撮影条件取得部と、取得した撮影条件に基づいて、第１、第２の撮影領域が重複する共通領域における距離情報解析部の検出結果、および画像解析部の検出結果を統合する統合処理を行い、新たな物体情報を生成する情報統合部と、を備える。これにより、撮影条件によらず、撮影領域内の対象物を高精度に解析することが可能な画像解析装置を提供できる。

第１の実施形態に係る画像解析システムの構成を示す－ブロック図である。 ライダーの概略構成を示す断面図である。 車両が通行する道路上が撮影領域とるようにライダーを配置した状態を示す模式図である。 ライダーによって撮影領域を走査する状態を示す模式図である。 検出結果および撮影条件と、判定結果の対応関係を示すテーブルである。 第２の実施形態に係る画像解析システムの構成を示すブロック図である。 第３の実施形態に係る画像解析システムの構成を示すブロック図である。 検出結果および撮影条件と、判定結果の対応関係を示すテーブルである。 第４の実施形態に係る画像解析システムの構成を示すブロック図である。

以下、添付した図面を参照して、本発明の実施形態を説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

図１は、第１の実施形態に係る画像解析システム１０の主要構成を示すブロック図である。画像解析システム１０は、ライダー１００、カメラ２００、画像解析装置３００、および表示部４００を備える。ライダー１００（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）は、赤外線（８００～１０００ｎｍ程度）のレーザー光を用いて、ＴｏＦ方式により、撮影領域７１０（図３参照）を走査し、物体までの距離を測定する。このライダー１００についての詳細は、後述する。カメラ２００は、周知な撮影装置であり、ＣＣＤ、またはＣＭＯＳ等の可視光領域に感度を有する撮像素子と、レンズ等の光学系を備え、撮影領域７２０（図３参照）を撮影して画像（映像）を取得する。ライダー１００と、カメラ２００は、設置された状態で、光軸の向きを略一致させており、ライダー１００が測定する撮影領域７１０と、カメラ２００が撮影する撮影領域７２０とは少なくとも一部が重複する（以下、重複する領域を共通領域という）。表示部４００は、例えば液晶ディスプレイであり、各種情報を表示する。表示部４００は、画像解析装置３００の出力先であり、統合結果を用いた生成した表示画像を表示する。

以下においては、最初に、ライダー１００について説明し、画像解析装置３００についての説明は後述する。

（ライダー１００）
以下、図２、図３を参照し、ライダー１００の構成について説明する。図２は、ライダー１００の概略構成を示す断面図である。図３は、一例として道路６１上が撮影領域７１０、７２０となるようにライダー１００、およびカメラ２００を配置した状態を示す模式図である。ライダー１１０（およびカメラ２００）は柱６２の上部に、道路６１に向けて配置されている。また図３の例では、第１の撮影領域７１０は、第２の撮影領域７２０を包含する。第１、第２の撮影領域７１０、７２０が重複する共通領域７３０は、第２の撮影領域７２０と同等である。図３に示すように、道路６１上には、物体（動体）８１、８２が存在する。同図の例では、物体８１は車両（普通乗用車）であり、物体８２は歩行者である。

図２に示すようにライダー１００は、投受光ユニット１１１、および測距点群データ生成部１１２を有する。投受光ユニット１１１は、半導体レーザー５１、コリメートレンズ５２、ミラーユニット５３、レンズ５４、フォトダイオード５５、およびモーター５６、ならびにこれらの各構成部材を収容する筐体５７を有する。筐体５７内には、測距点群データ生成部１１２が配置されている。この測距点群データ生成部１１２は、この受光信号に基づいて、測定空間内の対象物までの距離値の分布を示す複数の画素で構成される測距点群データ（単に「測定データ」ともいう）を生成する。この測距点群データは距離画像、または距離マップとも称される。

半導体レーザー５１は、パルス状のレーザー光束を出射する。コリメートレンズ５２は、半導体レーザー５１からの発散光を平行光に変換する。ミラーユニット５３は、コリメートレンズ５２で平行とされたレーザー光を、回転するミラー面により測定領域に向かって走査投光するとともに、対象物からの反射光を反射させる。レンズ５４は、ミラーユニット５３で反射された対象物からの反射光を集光する。フォトダイオード５５は、レンズ５４により集光された光を受光し、Ｙ方向に並んだ複数の画素を有する。モーター５６はミラーユニット５３を回転駆動する。

測距点群データ生成部１１２は、投受光ユニット１１１の動作を制御し、所定周期（例えば、数～２０Ｈｚ）で連続したフレーム（測距点群データ）を生成する。測距点群データ生成部１１２は、ライダー１００の半導体レーザー５１の出射タイミングと、フォトダイオード５５の受光タイミングとの時間間隔（時間差）に基づいて距離情報（距離値）を求める。測距点群データ生成部１１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とメモリで構成され、メモリに記憶しているプログラムを実行することにより各種の処理を実行することによって測距点群データを求めるが、測距点群データ生成用の専用ハードウェア回路を備えてもよい。なお、測距点群データ生成部１１２を省略し、この機能を後述する距離情報解析部３２０が担うようにしてもよい。この場合、ライダー１００は、単に各画素に対応する受光信号を、画像解析装置３００に出力する。

本実施形態において、半導体レーザー５１とコリメートレンズ５２とで出射部５０１を構成し、レンズ５４とフォトダイオード５５とで受光部５０２を構成する。出射部５０１、受光部５０２の光軸は、ミラーユニット５３の回転軸５３０に対して直交していることが好ましい。

剛体である柱６２等に固定して設置されたボックス状の筐体５７は、上壁５７ａと、これに対向する下壁５７ｂと、上壁５７ａと下壁５７ｂとを連結する側壁５７ｃとを有する。側壁５７ｃの一部に開口５７ｄが形成され、開口５７ｄには透明板５８が取り付けられている。

ミラーユニット５３は、２つの四角錐を逆向きに接合して一体化した形状を有し、すなわち対になって向き合う方向に傾いたミラー面５３１ａ、５３１ｂを４対（但し４対に限られない）有している。ミラー面５３１ａ、５３１ｂは、ミラーユニットの形状をした樹脂素材（例えばＰＣ（ポリカーボネート））の表面に、反射膜を蒸着することにより形成されていることが好ましい。

ミラーユニット５３は、筐体５７に固定されたモーター５６の軸５６ａに連結され、回転駆動されるようになっている。本実施形態では、例えば、柱６２に設置された状態で、軸５６ａの軸線（回転軸線）が鉛直方向であるＹ方向に延在しており、Ｙ方向に直交するＸ方向およびＺ方向によりなすＸＺ平面が水平面となっているが、軸５６ａの軸線を鉛直方向に対して傾けてもよい。

次に、ライダー１００の対象物検出原理について説明する。図２において、半導体レーザー５１からパルス状に間欠的に出射された発散光は、コリメートレンズ５２で平行光束に変換され、回転するミラーユニット５３の第１ミラー面５３１ａに入射する。その後、第１ミラー面５３１ａで反射され、さらに第２ミラー面５３１ｂで反射した後、透明板５８を透過して外部の測定空間に向けて、例えば縦長の矩形断面を持つレーザースポット光として走査投光される。なお、レーザースポット光が出射される方向と、出射されたレーザースポット光が対象物で反射し、反射光として戻ってくる方向は重複し、この重複する２方向を投受光方向という（なお、図２では分かり易さのため、図面では出射光と反射光をずらして示している）。同一の投受光方向に進行するレーザースポット光は、同一の画素で検出される。

ここで、ミラーユニット５３の対のミラー（例えば第１ミラー面５３１ａと第２ミラー面５３１ｂ）の組み合わせにおいて、４対はそれぞれ交差角が異なっている。レーザー光は、回転する第１ミラー面５３１ａと第２ミラー面５３１ｂにて、順次反射される。まず１番対の第１ミラー面５３１ａと第２ミラー面５３１ｂにて反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の一番上の領域を水平方向（「主走査方向」ともいう）に左から右へと走査される。次に、２番対の第１ミラー面５３１ａと第２ミラー面５３１ｂで反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の上から２番目の領域を水平方向に左から右へと走査される。次に、３番対の第１ミラー面５３１ａと第２ミラー面５３１ｂで反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の上から３番目の領域を水平方向に左から右へと走査される。次に、４番対の第１ミラー面５３１ａと第２ミラー面で反射したレーザー光は、ミラーユニット５３の回転に応じて、測定空間の最も下の領域を水平方向に左から右へと走査される。これによりライダー１００が測定可能な測定空間全体（撮影領域７１０）の１回の走査が完了する。この４つの領域の走査により得られた画像を組み合わせて、１つのフレームが得られる。そして、ミラーユニット５３が１回転した後、再び１番対の第１ミラー面５３１ａと第２ミラー面５３１ｂに戻り、以降は測定空間の一番上の領域から最も下の領域までの走査（この上下方向を「副走査方向」ともいう）を繰り返し、次のフレームが得られる。

図２において、走査投光された光束のうち対象物に当たって反射したレーザー光の一部は、再び透明板５８を透過して筐体５７内のミラーユニット５３の第２ミラー面５３１ｂに入射し、ここで反射され、さらに第１ミラー面５３１ａで反射されて、レンズ５４により集光され、それぞれフォトダイオード５５の受光面で画素毎に検知される。さらに、測距点群データ生成部１１２が、半導体レーザー５１の出射タイミングとフォトダイオード５５の受光タイミングとの時間差に応じて距離情報を求める。これにより測定空間内の全領域で対象物の検出を行って、画素毎に距離情報を持つ測距点群データとしてのフレームを得ることができる。このフレームは、所定周期、例えば１０ｆｐｓで生成される。また、ユーザーの指示により、得られた測距点群データを背景画像データとして、測距点群データ生成部１１２内のメモリ、または画像解析装置３００のメモリに記憶してもよい。

また、キャリブレーション処理として、共通領域７３０に配置したマーカー（特徴ある形状の物体）をライダー１００で測定、およびカメラ２００で撮影し、それぞれから得られた測距点群データ、および画像データを解析し、このマーカーを認識する。そして認識した共通のマーカーの座標位置を対応付けることにより、ライダー１００、およびカメラ２００の座標位置補正用（画角（方向）の対応付け用）の補正データが生成される。この補正データは、画像解析装置３００のメモリに記憶される。

（画像解析装置３００）
図１を再び参照し、画像解析装置３００について説明する。画像解析装置３００は、例えば、コンピューターであり、ＣＰＵ、メモリ（半導体メモリ、磁気記録媒体（ハードディスク等））、入出力部（ディスプレイ、キーボード、等）、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）等を備える。通信Ｉ／Ｆは、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いてもよい。また、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースを用いてもよい。

画像解析装置３００は、データ取得部３１０、距離情報解析部３２０、画像解析部３３０、撮影条件取得部３４０、および情報統合部３５０を有する。主に、画像解析装置３００のＣＰＵが距離情報解析部３２０、画像解析部３３０、撮影条件取得部３４０、および情報統合部３５０として機能し、通信Ｉ／Ｆが、データ取得部３１０、および撮影条件取得部３４０として機能する。

（データ取得部３１０）
データ取得部３１０は、ライダー１００が生成した時系列に並んだ測距点群データ（フレームともいう）を取得し、取得した測距点群データを距離情報解析部３２０に送る。また、データ取得部３１０は、カメラ２００から時系列に並んだ画像データ（フレームともいう）を取得し、取得した画像データを画像解析部３３０に送る。ここで、ライダー１００のフレームレートと、カメラ２００のフレームレートは異なり、カメラ２００のフレームレートの方が大きい。例えば、ライダー１００は１０ｆｐｓであり、カメラ２００は６０ｆｐｓである。

（距離情報解析部３２０）
距離情報解析部３２０は、データ取得部３１０を経由して取得した測距点群データを用いて撮影領域７１０内の物体を認識する。認識により得られた物体の物体情報は、後段の情報統合部３５０に送られる。物体情報には、少なくとも物体の位置、大きさが含まれる。この位置の情報は、認識した物体の３次元的な中心位置を用いることができる。本実施形態では、物体の認識には、例えば背景差分法を採用する。この背景差分法では、予め生成し、メモリに保存しておいた背景画像データ（基準背景データともいう）を用いる。

距離情報解析部３２０の物体を認識する機能について説明する。距離情報解析部３２０はメモリに保持している背景画像データと現時点での測距点群データとを比較して、差が生じた場合、車両等の何らかの物体（前景の物体）が撮影領域７１０内に現れたことを認識できる。例えば、背景差分法を用いて、背景画像データと、現時点での測距点群データ（距離画像データ）とを比較することで、前景データを抽出する。そして抽出した前景データの画素（画素群）を、例えば画素の距離値に応じてクラスタに分ける。そして、各クラスタのサイズを算定する。例えば、垂直方向寸法、水平方向寸法、総面積等を算出する。なお、ここでいう「サイズ」は、実寸法であり、見た目上の大きさ（画角、すなわち画素の広がり）とは異なり、対象物までの距離に応じて画素群の塊が判断される。例えば、距離情報解析部３２０は算定したサイズが抽出対象の解析対象の動体を特定するための所定のサイズ閾値以下か否か判定する。サイズ閾値は、測定場所や行動解析対象等により任意に設定できる。車両、人を追跡して行動を解析するのであれば、車両、または人の大きさそれぞれの最小値を、クラスタリングする場合のサイズ閾値とすればよい。これにより、落ち葉やビニール袋等のゴミ、または小動物を検知対象から除外できる。

また、距離情報解析部３２０は、認識した物体の特定の対象物への分類（種類判別）を行う。本実施形態としては、この特定の設定された対象物としては、人、車両、車両以外の移動する機械、等である。車両には、普通車車両、大型車両（トラック等）、二輪車、およびフォークリフト等の運搬用車両がある。移動する機械には、重機、建機、ベルトコンベアーが含まれる。なお、対象物は、画像解析システム１０のライダー１００、カメラ２００が設置された環境に応じて適宜、取捨選択するようにしてもよい。例えば、一般道路、または高速道路であれば、人、および車両を対象物とする。また、工事現場であれば、人、車両、および重機を対象物とする。

対象物への分類は、例えば対象物の種類毎の特徴（サイズ、形状）が予め画像解析装置３００のメモリに記憶されており、この特徴とマッチングすることにより行う。また、この種別判定アルゴリズは公知のアルゴリズムにより事前に機械学習するようにしてもよい。この機械学習は、膨大なデータを用いて、事前に他の高性能なコンピューターで実施し、推論処理パラメータを決定する。距離情報解析部３２０は、決定した推論処理パラメータを用いて、種別を分類する。この分類結果は、情報統合部３５０に送る物体情報に含ませてもよく、さらに、分類結果を、表示部４００に表示してもよい。また分類結果に応じた統計処理（積算カウント等）を行い、外部の端末装置等に出力するようにしてもよい。

（画像解析部３３０）
画像解析部３３０は、データ取得部３１０を経由して取得した画像データを用いて撮影領域７１０内の物体を認識する。認識により得られた物体の物体情報は、後段の情報統合部３５０に送られる。物体情報には、少なくとも物体の位置、大きさが含まれる。この位置の情報は、認識した物体の画角における中心位置を用いることができる。

本実施形態では、物体の認識には、例えば時間差分法、または背景差分法を採用できる。時間差分法では、時系列に前後する２つのフレームの画像データにおいて、差分が相対的に大きい画素の範囲を抽出することにより物体を検出できる。また、背景差分法では、予め生成し、画像解析装置３００のメモリに保存しておいた背景画像データ（基準背景データともいう）を用い、前景の画素を抽出することで物体を検出できる。

また、画像解析部３３０は、検出した物体の形状、サイズから、特定の対象物への分類を行うようにしてもよい。特定の対象部としては、人、車両、車両以外の移動する機械、等である。また、車両には、その色に応じた細分類（黒車両（黒色で構成される車両））、およびサイズによる細分類（大型車両）を行うようにしてもよい。この分類結果は、情報統合部３５０に送る物体情報に含ませてもよい。

（撮影条件取得部３４０）
撮影条件取得部３４０は、撮影領域７１０、７２０（共通領域７３０）の撮影条件（撮影条件、測定条件）を取得する。例えば、撮影条件取得部３４０は、共通領域７３０の内部、または周辺に設けられた温湿度計９１から撮影条件として温湿度を取得する。また、共通領域７３０内部、または周辺に設けられた照度計９２から撮影条件として照度（明るさ）を取得する。また、撮影条件取得部３４０は、天候情報配信部９３から天候情報を取得する。天候情報配信部９３は、例えばネットワークを介して接続する外部の天候情報発信者（気象庁、民間気象事業者）が管理する装置である。天候情報としては、例えば雨、雪、霧がある。この天候情報を取得する際に、天候情報配信部９３が提供するＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を利用してもよい。また、他の例として、カメラ２００からの画像、またはライダー１００の測定データから、降雨、降雪、霧等の天候情報を推定し、その推定結果を撮影条件として用いてもよい。また、撮影条件取得部３４０は、視程計や、複数種類のセンサーを用いた環境センサーと接続し、これらの測定器から撮影条件を取得してもよい。さらに撮影条件取得部３４０は、時計機能を備え、日時から昼間、夜間の判定をしてもよい。

（情報統合部３５０）
情報統合部３５０は、撮影条件取得部から取得した撮影条件を用いて、距離情報解析部３２０の検出結果（以下、「検出結果１」ともいう）、および画像解析部３３０の検出結果（以下、「検出結果２」ともいう）の統合処理を行う。具体的には、共通領域７３０において、検出結果１、検出結果２のそれぞれで検出した物体の物体情報（位置、大きさ）を、物体毎に比較し、その検出結果が正しいか否かを、撮影条件を参照して判定する。そして判定結果に応じて、統合処理を行う。具体的な処理については後述する。

（表示制御部３６０）
表示制御部３６０は、カメラ２００から取得した画像データから表示用の表示画像を生成し、表示部４００に出力して、表示させる。また、表示画像には、統合された物体情報に基づく付加画像を重畳させる。例えば、物体として車両を検知した場合に車両を囲む矩形枠を付加画像として作成し、これを表示画像に重畳させる。また、このときに付加画像の表示態様を、情報統合部３５０の判定結果に応じて、変更するようにしてもよい。

（画像解析処理）
次に、図４、図５を参照し、第１の実施形態に係る画像解析システム１０で実行する画像解析処理について説明する。図４は、第１の実施形態に係る画像解析システム１０の画像解析装置３００が実行する画像解析処理を示すフローチャートである。図５は、検出結果および撮影条件と、判定結果の対応関係を示すテーブルである。

（ステップＳ１１）
画像解析装置３００は、ライダー１００に制御信号を出力して測定を開始させ、データ取得部３１０を通じてライダー１００から撮影領域７１０の測定により得られた測距点群データを取得する。また、画像解析装置３００は、カメラ２００に制御信号を出力して撮影を開始させ、データ取得部３１０を通じてカメラ２００から撮影領域７２０の撮影により得られた画像データを取得する。

（ステップＳ１２）
距離情報解析部３２０は、データ取得部３１０から送られた測距点群データを解析し、物体の認識、およびこの認識した物体の位置、および大きさを含む物体情報を検出する。１つのフレームで複数の物体を認識した場合には、それぞれの物体に対する物体情報を検出する。距離情報解析部３２０は、この検出結果（検出結果１）を、情報統合部３５０に送る。

（ステップＳ１３）
画像解析部３３０は、データ取得部３１０から送られた画像データを解析し、物体の認識、およびこの認識した物体の位置、および大きさを含む物体情報を検出する。１つのフレームで複数の物体を認識した場合には、それぞれの物体に対する物体情報を検出する。画像解析部３３０は、検出結果（検出結果２）を、情報統合部３５０に送る。

なお、単位時間あたりに画像解析部が処理できるフレーム数は、距離情報解析部３２０が処理できるフレーム数よりも少ない。そのため、画像解析部３３０は、全てのフレームに対して、画像処理する必要はなく、数分の１に間引いて処理してもよい。例えば、ライダー１００が１０ｆｐｓで測定を行い、距離情報解析部３２０の処理レートが同じ１０ｆｐｓで、カメラ２００の撮影による画像データが６０ｆｐｓである場合を想定する。この場合、画像解析部３３０は、６０ｆｐｓで取得したフレームのうち、１／６、または１／１２のフレームを処理することで１０ｆｐｓ、または５ｆｐｓで処理するようにしてもよい。また、後者（５ｆｐｓ）の場合、距離情報解析部３２０の処理のレートもこの５ｆｐｓに合わせて処理することが好ましい。また、このような状況の場合には、情報統合部３５０は、略同じタイミングで測定、および撮影して得られたフレームに対する距離情報解析部３２０、および画像解析部３３０の両方で行い、両方の処理の完了タイミング、すなわち処理が遅い画像解析部３３０の完了タイミングに合わせて、統合処理を実行する。

（ステップＳ１４）
撮影条件取得部３４０は、撮影条件を取得し、情報統合部３５０に送る。撮影条件には、上述のように、温湿度、照度、天候の情報のいずれかが含まれる。

（ステップＳ１５）
情報統合部３５０は、ステップＳ１２からＳ１４で得られた、検出結果１、２、および撮影条件により、物体情報の統合処理行う。この統合処理は、図５のテーブルを用いて下記のように行う。

（１）「結果Ａ」
検出結果１、２の両方で、対応する位置に同じ物体が検出された場合、すなわち、検出結果１、２の物体情報が対応する場合には、検出結果１、２の両方を真と判定する。通常の撮影条件においては、この結果Ａとなる。

（２）「結果Ｂ」
検出結果１（ライダー１００）のみで物体が検出された場合、すなわち検出結果１で物体が検出されたが、検出結果２（カメラ２００）では、その物体情報に対応する位置に、対応する大きさの物体が存在しなかった場合（未検出）には、撮影条件により真偽の判定を行う。

撮影条件が「霧」の場合には、検出結果１（ライダー１００）を偽と判定する。この場合、ここで判定した物体はないものとして取り扱う。ライダー１００は、所定サイズのパルス状のレーザーを撮影領域７１０に向けて照射するが、その一部は、霧（水粒）で反射して、反射光となる。この霧が濃い場合には、対象物の手前にある複数の水粒から反射した反射光により、あたかも霧の位置に物体があるものと誤検知してしまう可能性がある。具体的には、霧からの反射を物体からの反射として測定し、物体があるかのように誤認識してしまう可能性がある。このような状況であることを、カメラ２００の画像から物体が検出されなかったことにより判別し、検出結果１を偽と判定する。なお、霧の発生有無は、温湿度、天候の情報およびカメラ２００の画像データから総合的に判断するようにしてもよい。

また、結果Ｂで撮影条件が「降雨、降雪」の場合、および「夜間（低照度）」の場合には、検出結果１（ライダー１００）を真と判定する。ライダー１００は、降雨、降雪、夜間であってもそれほど影響せずに、検出を行える。また、このとき、検出結果１の物体情報が存在する領域に対応する、カメラ２００の撮影領域の画像データについて、再度、画像解析部３３０による解析を行うようにしてもよい。このとき、処理のパラメータを撮影条件に応じて、変更するようにしてもよい。

（３）「結果Ｃ」
検出結果２（カメラ２００）のみで物体が検出された場合、すなわち検出結果２で物体が検出されたが、検出結果１（ライダー１００）では、その物体情報に対応する位置に、対応する大きさの物体が存在しなかった場合（未検出）には、撮影条件により真偽の判定を行う。

具体的には、撮影条件が「霧」であれば、検出結果２は真であると判定する。カメラ２００は霧の程度により、物体を認識できる程度に画像データが得られる場合がある。

情報統合部３５０は、このような判定を行うことにより、検出結果１、２で検出した物体毎に、物体情報を統合する統合処理を行い、新たな物体情報を生成する。

なお、図５のテーブルにおいては、結果Ｂ、Ｃが同図に示す撮影条件以外の撮影条件下で発生した場合には、検出結果１、２の両方を偽と判定するとともに、エラーを出力するようにしてもよい。

（ステップＳ１６）
表示制御部３６０は、カメラ２００から取得した画像データ、およびステップＳ１５で生成した物体情報から表示画像を生成する。具体的には、画像データから表示用の画像に、物体情報から付加画像を生成し、これを表示用の画像に重畳して表示画像を生成する。付加画像としては、例えば、検出した物体の周囲を囲む矩形の枠である。また、この付加画像は、ステップＳ１５の判定結果に応じて、異なる表示態様としてもよい。例えば、結果Ａ、Ｂ、Ｃの判定により採用した物体情報に応じて付加画像を色分けしたり、採用した物体情報を示すテキストテータを含めたりする。表示制御部３６０は、生成した表示画像を表示部４００に送る。

（ステップＳ１７）
表示部４００は、表示制御部３６０が生成した表示画像を表示して終了する（エンド）。以降は、ステップＳ１１以下の処理を繰り返し、リアルタイムでカメラ２００の撮影により得られた画像データと、統合した物体情報を用いて、表示画像を生成し、表示部４００に表示し続ける。

このように第１の実施形態に係る画像解析システム１０、および画像解析装置３００は、ライダー１００から取得した測定データから、物体の位置、大きさを含む物体情報を検出する距離情報解析部３２０と、カメラ２００から取得した画像データから、物体情報を検出する画像解析部３３０と、ライダー１００、およびカメラ２００それぞれの第１、第２の撮影領域における撮影条件を取得する撮影条件取得部３４０と、取得した撮影条件に基づいて、第１、第２の撮影領域が重複する共通領域における距離情報解析部３２０の検出結果、および画像解析部３３０の検出結果を統合する統合処理を行い、新たな物体情報を生成する情報統合部３５０と、を備える。これにより、撮影条件によらず、撮影領域内の対象物を高精度に解析することが可能となる。

（第２の実施形態）
以下、図６を参照し、第２の実施形態に係る画像解析システム１０について説明する。図６は、第２の実施形態に係る画像解析システム１０の構成を示すブロック図である。第２の実施形態においては、画像解析部３３０は、推論処理パラメータを用いて、ニューラルネットワークによる推論処理により解析する。なお、同図においては、画像解析システム１０以外の構成については図示を省略しているが、第１の実施形態と同様に温湿度計９１等の他の装置と接続してもよい。また、情報統合部３５０が生成した統合後の物体情報は、種種の出力先に出力できる。

ニューラルネットワークを用いた物体検出アルゴリズムとしては、Ｙｏｌｏ、もしくはＳＳＤ（ｓｉｎｇｌｅ ｓｈｏｔ ｄｅｔｅｃｔｏｒ）、または、Ｒ－ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、Ｆａｓｔ Ｒ－ＣＮＮを適用できる。

この推論処理パラメータ３３１は、画像解析システム１０のメモリに記憶される。この推論処理パラメータ３３１は、複数の想定できる種種の撮影条件下で、カメラ２００から取得した膨大な画像データを用いて公知のアルゴリズムにより事前に機械学習して得られたものである。想定される所定の撮影条件としては天候、照度、温湿度のいずれか少なくとも含まれる。特に、雨、雪、および霧の天候、ならびに夜間（低照度）の撮影条件が含まれることが好ましい。

第２の実施形態に係る画像解析システム１０、および画像解析装置３００においては、想定される種種の撮影条件下で撮影により得られた画像データを用いて、学習して得られた推論処理パラメータ３３１を用いる。これにより、第１の実施形態と同様の効果が得られるととともに、第２の実施形態では、さらに、撮影条件が悪く、解析が困難な状況下で得られた画像データであっても、より精度よく物体を検出できるようになり、ロバストネス性を向上できる。

（第３の実施形態）
以下、図７、図８を参照し、第３の実施形態に係る画像解析システム１０について説明する。図７は、第３の実施形態に係る画像解析システム１０の構成を示すブロック図である。図８は、検出結果および撮影条件と、判定結果の対応関係を示すテーブルである。

第３の実施形態においては、撮影条件取得部３４０は、第１の実施形態と同様に外部の温湿度計９１、照度計９２、天候情報配信部９３から撮影条件を取得するとともに、画像解析部３３０の解析結果も撮影条件として用いるものである。さらに、第３の実施形態においては、画像解析システム１０は、ユーザーからの指示を受け付ける操作部５００を有し、画像解析装置３００は、操作部５００を制御する操作制御部３７０を有する。

（表示設定）
第３の実施形態においては、操作制御部３７０は、操作部５００を通じて、ユーザーによる表示設定を受け付ける。表示設定には、（１）情報統合部３５０の統合結果の表示有効／無効の設定、（２）統合結果の表示有効設定の場合にさらに表示する表示態様の選択設定、および（３）撮影条件の表示有効／無効の設定、が含まれる。

表示設定（１）は、統合した物体情報は、検出結果１、２の両方、またはいずれかを採用したかを示す付加画像を表示させるフラグである。

表示設定（２）は、表示設定（１）が有効の場合に、その表示態様を設定する。表示態様には、色分け、線の太さ、テキストデータ、等の表示がある。例えば、重畳する付加画像として物体の周囲を囲む枠の表示態様を、両方の検出結果を採用した場合には赤枠、検出結果１（ライダー１００）のみでは青枠、検出結果２（カメラ２００）のみでは緑枠で表示する。なお、ユーザーが選択できる表示設定として、さらに、移動軌跡の表示有効／無効の設定を含ませてもよい。移動軌跡が有効の場合には、過去数秒の物体の軌跡を表示部４００の表示画面に重畳させて表示する。

表示設定（３）が有効の場合、撮影条件取得部３４０が取得した撮影条件（天候情報、明度、等）を表示部４００の表示画像に重畳させて表示する。

（撮影条件としての対象物）
図８のテーブルは、図５に対応するテーブルである。図８では、図５に対して、撮影条件として対象物（黒い車両、大型車両）を含めている。

ライダー１００は、上述のようにレーザー光を撮影領域７１０の対象物に照射し、その反射光を受光するタイミングで対象物までの距離を測定する。対象物の表面が、全反射する素材である場合や、表面が黒色であることにより吸収成分が多かったりする場合は、受光部にレーザー光が十分に戻ってこず、対象物までの距離値を取得することができない。そのため、対象物が黒い車両である場合には、ライダー１００の測定データからは、物体を正しく認識できない場合がある。

また、略直方体の外形の大型車両において、物体の進行方向と、レーザー光の照射方向が平行に近いと、奥行き方向の正確な長さを捉えにくくなる。すなわち、ライダー１００の測定データから得られる測距点群データにおいて、隣接する画素間において、距離値が離散的になる。特に、全長が長い車両の場合では、距離値の広がりが大きくなり、このような場合には、１つの物体を、複数の物体と誤って認識してしまう虞がある。

すなわち、このような黒い車両、または大型車両の場合には、ライダー１００の測定データによる検出結果１では、物体がない（正しく検出できない）場合があり、検出結果２のみで物体が検出される場合がある。

画像解析部３３０は、カメラ２００からの画像データを解析することで、撮影領域７２０で検出した物体が予め設定された対象物、すなわち、黒い車両、または大型車両であるかを判定し、その判定結果を撮影条件取得部３４０に送る。

情報統合部３５０は、撮影条件取得部３４０から送られた予め設定された対象物を撮影条件として用い、図８のテーブルに示すような判定を行う。具体的には、情報統合部３５０は、結果Ｃの場合に、撮影条件が黒い車両、または大型車両の場合には、検出結果２は真であると判定し、統合処理を行う。

このように第３の実施形態においては、検出結果に応じて表示設定を切り替え、表示部４００に表示設定に応じた態様で表示することにより、ユーザーは容易に検出結果の状況を確認できる。また、ユーザーは、検出結果の根拠、または有効性（確からしさ）を認識できる。

また、撮影条件として、画像解析部３３０が解析した特定の対象物の情報を用いることで、第１、第２の実施形態よりもさらに、精度よく物体を検出できるようになり、ロバストネス性を向上できる。

（第４の実施形態）
次に、図９を参照し、第４の実施形態に係る画像解析システム１０について説明する。図９は、第４の実施形態に係る画像解析システム１０の構成を示すブロック図である。第４の実施形態においては、画像解析装置３００は発報判定部３８０を有する。また画像解析システム１０は、警報装置６００を有する。なお、同図においては、画像解析システム１０以外の構成については図示を省略しているが、第１、第３の実施形態と同様に他の装置と接続してもよい。

発報判定部３８０は、撮影領域７１０（共通領域７３０）の所定領域を立ち入り禁止区域として設定する。この設定は、ユーザーの指示により予め設定されるものである。この所定領域内に、人が侵入したか否かを判定する。具体的には、発報判定部３８０は、情報統合部３５０が統合した物体情報を用いて、人の所定領域への侵入を判定する。そして人の所定領域への侵入がある場合には、アラート信号を警報装置６００に送る。例えば、高速道路の一般道からの入口を撮影領域として、画像解析システム１０を用いた場合に、所定領域としての高速道路入口への人の侵入を検出した場合にアラート信号を出力する。

また、発報判定部３８０は、車両として検出対象物の移動方向を判定し、移動方向が正常な方向でない場合にアラート信号を警報装置６００に出力する。具体的には、図３に示す道路６１では、道路の車線に沿った進行方向を正しい移動方向に設定し、この移動方向とは、逆方向への車両の移動（逆走）を検出した場合には、アラート信号を出力する。発報判定部３８０は、情報統合部３５０が統合した物体情報を用いて、車両の移動方向が正常でないことを判定する。

さらに、発報判定部３８０は、情報統合部３５０が統合した物体情報を用いて、人と車両、または人と機械（車両以外の移動する機械）と距離を算出する。具体的には、ライダー１００から得られた測距点群データを用いて、人と車両との距離を算出する、または人と機械との距離を算出する。そして、所定閾値以下に人と車両、または人と機械が近づいた場合には、アラート信号を出力する。例えば、工事現場、製造工場を撮影領域として画像解析システム１０を用いた場合に、作業者と重機、または作業者と工場の機械とが、所定閾値以上に近づいたことを検出した場合にアラート信号を出力する。

警報装置６００は、撮影領域７１０（共通領域７３０）の内部、または周辺に配置されたスピーカー、または液晶ディスプレイ等で構成されたデジタルサイネージである。アラート信号に応じて、警告音を発したり、デジタルサイネージに警告を表示したりする。また、発報判定部３８０は、予め特定の管理者の連絡先アドレス、または管理者が使用するモニター端末（パーソナルコンピューター）を登録しておき、アラートの判定に応じて、その連絡先アドレスにメールを送信したり、端末に表示したりしてもよい。

このように第４の実施形態においては、情報統合部３５０が統合した物体情報を用いることで、正確に警報を発することができる。

以上に説明した画像解析装置３００、および画像解析システム１０の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種種改変することができる。また、一般的な画像解析装置３００、または画像解析システム１０が備える構成を排除するものではない。

例えば、上述の第１～第４の実施形態の各構成は、相互に組み合わせて用いることができる。また図４のフローチャートで説明した各処理は、必ずしも図のとおり行う必要はない。例えば、ステップＳ１１、Ｓ１２の処理は、並行して行う。この場合ＣＰＵがマルチコアのハードウェアであれば、各処理に割り当てるコアを分けて処理してもよい。

上述した実施形態に係る画像解析システム１０における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、装置の一機能としてその装置のソフトウエアに組み込まれてもよい。

１０ 画像解析システム
１００ ライダー
１１１ 投受光ユニット
１１２ 測距点群データ生成部
２００ カメラ
３００ 画像解析装置
３１０ データ取得部
３２０ 距離情報解析部
３３０ 画像解析部
３４０ 撮影条件取得部
３５０ 情報統合部
３６０ 表示制御部
３７０ 操作制御部
３８０ 発報判定部
４００ 表示部
５００ 操作部
６００ 警報装置

Claims (17)

1. 第１の撮影領域内の測定対象となる物体までの距離値を測定するライダーから測定データを取得するとともに、前記第１の撮影領域を少なくとも含む第２の撮影領域を撮影し、画像データを生成するカメラから前記画像データを取得するデータ取得部と、
   前記ライダーから取得した前記測定データから、物体の位置、大きさを含む物体情報を検出する距離情報解析部と、
   前記カメラから取得した前記画像データから、物体情報を検出する画像解析部と、
   前記第１、第２の撮影領域における撮影条件を取得する撮影条件取得部と、
   取得した前記撮影条件に基づいて、前記第１、第２の撮影領域が重複する共通領域における前記距離情報解析部の検出結果、および前記画像解析部の検出結果を統合する統合処理を行い、新たな物体情報を生成する情報統合部と、
   を備える画像解析装置。
2. 前記画像解析部は、前記カメラから取得した画像データを、複数の前記撮影条件のうち所定の撮影条件下において、撮影した画像データを元に学習を行って生成された推論処理パラメータを用いたニューラルネットワークによる推論処理により解析する、請求項１に記載の画像解析装置。
3. 前記撮影条件には、天候、照度、温湿度の少なくともいずれかを含む、請求項１、または請求項２に記載の画像解析装置。
4. 前記撮影条件には、予め設定された対象物を含む、請求項１から請求項３のいずれかに記載の画像解析装置。
5. 前記予め設定された対象物は、前記画像解析部が検出した物体である、請求項４に記載の画像解析装置。
6. 前記距離情報解析部、および前記画像解析部は、対象物として、人、車両、および前記車両以外の移動する機械を分類して検出する、請求項１から請求項５のいずれかに記載の画像解析装置。
7. 前記カメラから得られた前記画像データに基づく表示画像を表示する表示部を備え、
   前記表示画像には、前記情報統合部が生成した物体情報を、重畳して表示させる、請求項１から請求項６のいずれかに記載の画像解析装置。
8. 前記カメラから得られた前記画像データに基づく表示画像を表示する表示部を備え、
   前記表示画像には、前記撮影条件取得部が取得した前記撮影条件を表示する、請求項１から請求項６のいずれかに記載の画像解析装置。
9. 前記情報統合部は、前記撮影条件に応じて、前記距離情報解析部の検出結果、および前記画像解析部の検出結果のいずれか、または両方を採用しないか否かを判定し、判定結果に応じて、前記統合処理を行う、請求項１から請求項６のいずれかに記載の画像解析装置。
10. 前記情報統合部は、前記撮影条件に応じて、検出した物体毎に、前記距離情報解析部の検出結果、および前記画像解析部の検出結果のいずれか、または両方を採用しないか否かを判定し、判定結果に応じて、前記統合処理を行う、請求項９に記載の画像解析装置。
11. 前記カメラから得られた前記画像データに基づく表示画像を表示する表示部を備え、
    前記表示画像には、前記情報統合部が生成した物体情報を重畳して表示させ、表示する前記物体情報は、前記情報統合部の判定結果に応じて、異なる態様で表示させる、請求項９、または請求項１０に記載の画像解析装置。
12. 前記ライダー、および前記カメラは、それぞれ所定のフレームレートで連続して測定、および撮影を行い、
    前記画像解析部が処理する単位時間あたりのフレーム数は、前記距離情報解析部が処理する単位時間あたりのフレーム数よりも少なく、
    前記情報統合部は、前記画像解析部の処理の完了タイミングに合わせて、前記統合処理を実行する、請求項１から請求項１１のいずれかに記載の画像解析装置。
13. 人として検出した対象物が前記共通領域内の所定領域内にいるか否かを判定し、所定領域内にいると判定した場合には、アラート信号を出力する発報判定部を、さらに備える、請求項１から請求項１２のいずれかに記載の画像解析装置。
14. 車両として検出した対象物の前記共通領域内における移動方向を判定し、前記移動方向が正常な方向でない場合に、アラート信号を出力する発報判定部を、さらに備える、請求項１から請求項１２のいずれかに記載の画像解析装置。
15. 人として検出した対象物と車両として検出した対象物との間の距離、または人として検出した対象物と車両として検出した対象物との間の距離を判定し、距離が所定値以下となった場合には、アラート信号を出力する発報判定部を、さらに備える、請求項１から請求項１２のいずれかに記載の画像解析装置。
16. 第１の撮影領域内の測定対象となる物体までの距離値を測定し、測定データを生成するライダーと、
    前記第１の撮影領域の少なくとも一部を含む第２の撮影領域を撮影し、画像データを生成するカメラと、
    請求項１から請求項１５のいずれかに記載の画像解析装置と、
    を備える画像解析システム。
17. 第１の撮影領域内の測定対象となる物体までの距離値を測定するライダーから測定データを取得するステップ（ａ）と、
    前記第１の撮影領域を少なくとも含む第２の撮影領域を撮影し、画像データを生成するカメラから前記画像データを取得するステップ（ｂ）と、
    前記ステップ（ａ）で取得した前記測定データから、物体の位置、大きさを含む物体情報を検出するステップ（ｃ）と、
    前記ステップ（ｂ）で取得した前記画像データから、物体情報を検出するステップ（ｄ）と、
    前記第１、第２の撮影領域における撮影条件を取得するステップ（ｅ）と、
    前記ステップ（ｅ）で取得した前記撮影条件に基づいて、前記第１、第２の撮影領域が重複する共通領域における前記ステップ（ｃ）の検出結果、および前記ステップ（ｄ）の検出結果を統合する統合処理を行い、新たな物体情報を生成するステップ（ｆ）と
    を含む画像解析処理をコンピューターに実行させるための制御プログラム。

Images