JP2019020330A - 物体検出装置 - Google Patents

物体検出装置 Download PDF

Info

Publication number
JP2019020330A
JP2019020330A JP2017140982A JP2017140982A JP2019020330A JP 2019020330 A JP2019020330 A JP 2019020330A JP 2017140982 A JP2017140982 A JP 2017140982A JP 2017140982 A JP2017140982 A JP 2017140982A JP 2019020330 A JP2019020330 A JP 2019020330A
Authority
JP
Japan
Prior art keywords
polarization
normal direction
shape
pixel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017140982A
Other languages
English (en)
Other versions
JP6617124B2 (ja
Inventor
鮎子 太田
Ayuko Ota
鮎子 太田
清水 信昭
Nobuaki Shimizu
信昭 清水
全史 大津
Masafumi Otsu
全史 大津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Secom Co Ltd
Original Assignee
Secom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Secom Co Ltd filed Critical Secom Co Ltd
Priority to JP2017140982A priority Critical patent/JP6617124B2/ja
Publication of JP2019020330A publication Critical patent/JP2019020330A/ja
Application granted granted Critical
Publication of JP6617124B2 publication Critical patent/JP6617124B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

【課題】偏光情報を用いて得られる形状の違いから、物体の種類を判定する。【解決手段】偏光情報取得部20が、撮影部10が空間内の物体を撮影した画像から、画素毎の偏光度及び偏光方向を取得する。仮法線方向算出手段44が、画素毎の偏光度及び偏光方向に基づいて、当該画素が表す物体の表面の仮の法線方向を算出する。検出対象判定手段48が、仮の法線方向の分布に基づいて、物体の種類を判定する。【選択図】図1

Description

本発明は、検出対象を検出するための物体検出装置に関する。
可視光画像から侵入者を検出する画像センサでは、背景差分で変化領域を抽出している。このとき、侵入者(人物)だけでなく、影や植栽の揺れなど(外乱)も変化領域として抽出される。このため、従来、変化領域内のテクスチャや色などを用いて、人物とこれらの外乱を区別していた。
特開平4−294468号公報 特開昭62−136991号公報 特開平5−151356号公報
しかし、侵入者のテクスチャや色が外乱と似ている場合は、侵入者を外乱と区別することが難しかった。例えば、黒服の人物と影を区別したり、迷彩服の人物と植栽の揺れを区別したりすることが難しかった。
本発明は、上記課題を鑑みてなされたものであり、偏光情報を用いて得られる形状の違いから、物体の種類を判定することができる物体検出装置を提供することを目的とする。
上記の目的を達成するために本発明に係る物体検出装置は、空間内の物体を撮影した画像から、画素毎の偏光度及び偏光方向を取得する偏光情報取得部と、前記画素毎の前記偏光度及び前記偏光方向に基づいて、当該画素が表す前記物体の表面の仮の法線方向を算出する仮法線方向算出部と、前記仮の法線方向の分布に基づいて前記物体の種類を判定する物体判定部と、を含んで構成されている。
本発明に係る物体検出装置は、前記仮の法線方向の分布に基づいて、前記物体が撮影側に凸形状又は凹形状であるか否かを判定する形状判定部を更に含み、前記物体判定部は、前記凸形状又は凹形状と判定された物体が、検出対象であると判定する。
本発明に係る形状判定部は、前記仮の法線方向の分布として、前記仮の法線方向の分散、又は隣接する画素間の前記仮の法線方向の変化を用いて、前記物体が撮影側に凸形状若しくは凹形状であるか、前記物体が平面形状であるか、又は前記物体が凹凸形状であるかを判定する。
本発明に係る仮法線方向算出部は、前記画素毎の前記偏光度及び前記偏光方向に基づいて、撮像装置に入射された光を、当該画素が表す前記物体の表面で反射した拡散反射光と仮定して、前記仮の法線方向を算出する。
以上説明したように、本発明の物体検出装置によれば、偏光情報を用いて得られる形状の違いから、物体の種類を判定することができる、という効果が得られる。
本発明を適用した物体検出装置100の概略構成を示した図である。 偏光フィルタの偏光方向と偏光画像の輝度値との関係を示した図である。 反射面の法線方向と鏡面反射光の偏光方向及び拡散反射光の偏光方向との関係を説明するための図である。 (a)法線方向の天頂角と拡散反射光の偏光度の関係を示した図、及び(b)法線方向の天頂角と鏡面反射光の偏光度の関係を示した図である。 (a)対象領域が人間を表している場合の画像の例を示す図、(b)対象領域が影を表している場合の画像の例を示す図、及び(b)対象領域が植栽の一部を表している場合の画像の例を示す図である 本発明の実施の形態に係る物体検出装置による全体処理の動作を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
<本発明の実施の形態の原理>
本発明は、物体面から入射した反射光の偏光情報(偏光度や偏光方向)が、物体面の方向(物体の形状)に応じて変化することを利用したものである。
具体的には、本発明の実施の形態では、監視空間を撮影した画像の画素毎に偏光情報(偏光度と偏光方向)を取得し、画素毎に、当該画素の偏光度及び偏光方向を用いて、物体面の法線方向と関連がある方向(仮法線方向)を求める。そして、対象領域内(例えば、背景差分処理で検出した変化領域内)における、仮法線方向の分散や仮法線方向の空間的変動に基づいて、侵入物体と外乱を区別する。これにより、侵入物体のテクスチャや色が外乱と似ている場合であっても、外乱と区別して検出することができる。
例えば、変化領域内における仮法線方向の分散が大きく、隣接画素間で仮法線方向が大きく変化する画素が少ない場合には、撮影側に凸な形状であると判断する。これにより、人物や車両のような検出対象を検出することができる。
また、変化領域内における仮法線方向の分散が小さい場合には、平面であると判断する。これにより、対象領域は影であると判断することができる。
また、変化領域内における仮法線方向の分散が大きく、隣接画素間で仮法線方向が大きく変化する画素が多い場合には、凹凸形状であると判断する。これにより、対象領域が例えば植栽であると判断することができる。
<物体検出装置100の構成>
以下、本発明を適用した物体検出装置100の概略構成を示した図1を参照し、本発明の実施の形態の構成を説明する。
(物体検出装置100)
物体検出装置100は、監視空間を撮影した画像から取得した偏光情報を用いて、当該監視空間内に存在する検出対象を検出する。本実施の形態では、物体検出装置100にて、監視空間に存在する人物を検出対象として検出し、その検出結果を外部の監視センタなどに出力する例を説明する。
図1は、本実施の形態における物体検出装置100の構成を示した図である。
図1に示すように、本実施の形態における物体検出装置100は、撮影部10、偏光情報取得部20、記憶部30、情報処理部40、及び出力部52から構成される。
(撮影部10)
撮影部10は、カメラなどの撮影装置であり、所定の空間を撮影する。
撮影部10は、光学系、CCD素子またはCMOS素子から構成される。
本実施の形態における撮影部10は、空間を撮影したデータをA/D変換し、そのデジタル画像を、偏光情報取得部20に出力する。
撮影部10は、特定の偏光方向の光のみを透過する偏光フィルタを備え、偏光フィルタが透過する偏光方向が少なくとも3種類以上になるように、空間を撮影する。
具体的には、撮影部10は、偏光フィルタを回転させて、透過させる光の偏光方向を切換えながら、都度、撮影を行うことで、異なる3種類以上の偏光方向の画像(以下、偏光画像)を撮影する。
本実施の形態における撮影部10は、偏光フィルタを備え、それを回転させることで、4種類の偏光方向(0deg、45deg、90deg、135deg)の偏光画像を撮影する。すなわち、撮影部は、1シーン毎に4枚の偏光画像を撮影し、それらの偏光画像をシーン毎に対応付けて偏光情報取得部20に出力する。
なお、偏光画像の撮影方法はこれに限らない。例えば、画素毎に異なる偏光方向の偏光フィルタをモザイク状に配置した偏光カメラを用いて、偏光方向が互いに異なる3種類以上の偏光画像を撮影してもよい。このように、撮影部10の構成や撮影方法は特に限定されず、偏光方向が互いに異なる3種類以上の偏光画像を撮影できるものであればよい。
また、本実施の形態における物体検出装置100は、偏光フィルタを備えた撮影部10のみを用いているが、これに限らない。例えば、偏光フィルタを備えた撮影装置に加えて、偏光フィルタを備えない撮影装置を設け、当該撮影装置を用いて、監視空間を、偏光フィルタを備えた撮影装置と略同じ画角・略同時に撮影するようにしてもよい。そして、この偏光フィルタを備えない撮影装置で撮影された画像を、後述する情報処理部40の対象領域の検出処理に用いてもよい。
(偏光情報取得部20)
偏光情報取得部20は、撮影部10から受け取った、同じシーンを撮影した3種類以上の偏光画像を用いて、画素毎に、当該シーンにおける偏光情報を取得する。具体的には、本実施の形態における偏光情報取得部20は、偏光情報として、偏光度及び偏光方向を算出する。また、偏光情報取得部20は、各偏光画像の輝度値の平均値(平均輝度値)から、そのシーンにおける平均輝度値画像を生成する。以下、この画像を入力画像とする。
本実施の形態における偏光情報取得部20は、画素毎に算出した偏光情報を、入力画像の各画素に対応付けて、後述する情報処理部40に出力する。
また、本実施の形態では、物体検出装置100の撮影部10で撮影した偏光画像を用いて、偏光情報取得部20にて偏光情報の算出と入力画像の生成を行ったが、これに限らない。例えば、予め、物体検出装置100の外部で入力画像の画素毎に偏光情報を予め対応付けておき、それを物体検出装置100の記憶部30に記憶しておく。そして、後述する情報処理部40は、記憶部30からそれらの情報を取得して各種の処理を行うようにしてもよい。
また、平均輝度値画像を入力画像とするのではなく、前述したように、偏光フィルタを備えない撮影装置で撮影した画像について、当該画像の画素毎に、同一のシーンを撮影した偏光画像から算出した偏光情報を対応付けて、情報処理部40に出力するようにしてもよい。
また、対象領域検出手段42によって検出された対象領域を用いて、対象領域内の各画素についてのみ偏光情報を取得してもよい。
(偏光度・偏光方向・平均輝度値の算出)
次に、偏光度・偏光方向・平均輝度値の算出について説明する。図2は、偏光フィルタの偏光方向と偏光画像の輝度値との関係を示した図である。
偏光した光の輝度値は、偏光方向に対して正弦波として変化する。すなわち、偏光方向m[deg]の光が透過する偏光フィルタを介して撮影した場合の輝度値Imは、以下の式で表される。
偏光情報取得部20は、入力画像の画素毎に、最も強い輝度値を示す偏光方向の角度ρ(偏光角度ρ)を求め、それを当該画素の偏光方向とする。また、平均輝度値Mに対する正弦波の振幅Aの比率Dを偏光度とする。
本実施の形態のように、4種類の偏光方向の偏光画像(0deg、45deg、90deg、135deg)から偏光情報を算出する場合、ある画素における偏光画像の輝度値をそれぞれI0、I45、I90、I135とすると、偏光角度ρ、偏光度D、平均輝度値Mは、以下の式で求められる。
(記憶部30)
記憶部30は、ROM(Read Only Memory)、RAM(Random Access Memory)等の半導体メモリ、ハードディスクなどのメモリ装置で構成される。
記憶部30は、物体検出装置100において、各処理を実行するのに必要なプログラムやパラメータなどの各種情報を記憶する。また、記憶部30は、物体検出装置100を構成する各部などからアクセス可能である。
本実施の形態における記憶部30は、背景画像30Aを記憶する。背景画像30Aは、検出対象が映っていない入力画像である。
本実施の形態では、後述する情報処理部40の背景画像更新手段50にて、対象領域や検出対象が検出されなかった入力画像を背景画像として記憶部30に記憶する。これにより、背景画像が適宜更新される。
(情報処理部40)
情報処理部40は、取得した入力画像と、当該入力画像の画素毎の偏光情報を用いて、監視空間内に存在する物体の形状を判定し、その判定結果を用いて検出対象の存在を検出する。
本実施の形態における情報処理部40は、対象領域検出手段42、仮法線方向算出手段44、形状判定手段46、検出対象判定手段48、及び背景画像更新手段50から構成される。なお、検出対象判定手段48は、物体判定部の一例である。
(対象領域検出手段42)
対象領域検出手段42は、入力画像から検出対象が撮影されている可能性が高い領域を対象領域として検出する。本実施の形態では、対象領域検出手段42は、記憶部30から取得した背景画像30Aと入力画像を比較して、対象領域を検出する。
具体的には、本実施の形態における対象領域検出手段42は、入力画像と背景画像の輝度値の差分をとり、差分が所定値以上となった画素を、変化画素として検出する。そして、検出された変化画素について、8近傍で隣接する画素をひとまとまりとして、それらの変化画素の集合を対象領域とする。
なお、対象領域の検出方法はこれに限らない。例えば、輝度値の差分の他に、偏光方向や偏光度に対しても入力画像と背景画像の差分を画素毎に求め、輝度値、偏光方向、偏光度のいずれかで差分が所定値以上となった画素を変化画素としてもよい。
また、背景差分ではなく、フレーム間差分によって変化画素を検出してもよい。また、複数枚の画像の差分をとるのではなく、1枚の画像に対して、学習識別器(検出対象の画像を学習させたもの)やパターンマッチを用いて、検出対象らしい領域を検出し、それを対象領域としてもよい。
なお、これらの対象領域の検出方法を用いた場合、背景画像は必須ではないため、記憶部30に背景画像30Aを記憶することや、後述する背景画像更新手段50は不要となる。
また、本実施の形態では、入力画像である平均輝度値画像から対象領域を検出しているが、これに限らず、前述した偏光フィルタを備えない撮影装置で撮影した画像から対象領域を検出してもよい。
(仮法線方向算出手段44)
仮法線方向算出手段44は、入力画像の画素毎に、偏光情報を用いて、仮法線方向を算出する。本実施の形態では、対象領域内の画素毎に、偏光方向と偏光度を用いて、仮法線方向を算出する。以下、仮法線方向について詳細に説明する。
仮法線方向は、法線方向と関連のある情報ではあるが、厳密な法線方向ではない。この理由について、図3、図4を参照して説明する。
図3は、法線方向の天頂角及び方位角の定義と方位角と偏光方向の関係を示した図である。まず、視線方向に対して、反射面の法線方向の天頂角(視線方向と法線方向がなす角)と反射面を構成する物質の屈折率から、拡散反射光の偏光度が求まる。ここで、視線方向は、画素に映っている物体と撮影部10(レンズ)を結んだ線の方向である。
図4(a)は、法線方向の天頂角と拡散反射光の偏光度の関係を示した図である。なお、図4(a)は、反射面の屈折率を1.5と仮定した場合の例である。
また、法線方向の方位角(視線方向に垂直な平面に法線方向を射影した場合の法線方向を表す角)によって、拡散反射光の偏光方向が求まる。しかし、拡散反射光の偏光方向は、180degの差がある偏光方向とも同一となるため、偏光方向から法線方向の方位角を求めようとすると、180degの曖昧さが生じてしまう(図3参照)。
鏡面反射光の場合も拡散反射光と同様に、偏光度は反射面の法線方向の天頂角によって決定され、偏光方向は法線方向の方位角によって決定される。
図4(b)は、法線方向の天頂角と鏡面反射光の偏光度の関係を示した図である。なお、図4(b)は、反射面の屈折率を1.5と仮定した場合の例である。
図4(b)に示すように、拡散反射光とは異なり、同じ偏光度となる天頂角が複数存在するため、偏光度と屈折率が既知であっても法線方向の方位角を一意に定めることは出来ない。
以上のように、厳密には求めることができない法線方向の代わりとして、算出するものが、仮法線方向である。
以下、本実施の形態における仮法線方向の算出方法について詳細に説明する。本実施の形態における仮法線方向算出手段44は、物体面で反射した拡散反射光が撮影部10に入射し、対象領域内は屈折率が一様であると仮定し、偏光度D、偏光角度ρの場合の仮法線方向nを、以下のように定義する。
ただし、Dmaxは対象領域内の最大偏光度とする。
なお、仮法線方向の算出方法はこれに限らない。例えば、物体の屈折率を仮定し(例えば、1.5と仮定し)、Dmaxを、法線の天頂角が90degである場合の拡散反射光の偏光度としてもよい。また、各天頂角における拡散反射光の偏光度を、予め対応表として保持しておき、そこからγを算出するようにしてもよい。
また、本実施の形態では、対象領域内の画素についてのみ、それぞれ仮法線方向を算出するが、これに限らず、入力画像の全ての画素について、それぞれ仮法線方向を算出するようにしてもよい。
(形状判定手段46)
形状判定手段46は、対象領域内に撮影されている物体の形状を判定する。本実施の形態では、形状判定手段46は、対象領域における各画素の仮法線方向の分布に基づいて、対象領域内に撮影されている物体が、撮影側に凸形状であるか否かを判定する。
具体的には、形状判定手段46は、対象領域内の仮法線方向の分散が大きく、かつ隣接画素間で仮法線方向が大きく変化する画素が少ない場合に、当該対象領域内に撮影されている物体が、撮影側に凸形状であると判定する。ここで、撮影側に凸形状であるとは、撮影部10側に凸形状であることをいう。
以下に、本実施の形態における形状判定方法について、詳細に説明する。まず、対象領域内の仮法線方向の分散が大きいか否かを判定する。対象領域内の画素数をKとし、対象領域内のある画素での仮法線方向をk(k=0,1,・・・,K−1)とする。領域内の仮法線方向の平均meanを求めると、以下の式のようになる。
そして、各画素の仮法線方向と領域内の仮法線方向の平均との距離の平均値dを、以下の式で算出する。
この平均値dが所定値以上である場合、対象領域内の仮法線方向の分散が大きいと判定する。
なお、対象領域内に撮影されている物体が、平面形状である場合、対象領域内の各画素の仮法線方向はほぼ一定になると考えられる。すなわち、形状判定手段46は、この平均値dが所定値未満である場合、対象領域内の仮法線方向の分散が小さい、すなわち、対象領域内には平面が映っていると判定するようにしてもよい。
次に、隣接画素間で仮法線方向が大きく変化する画素が少ないか否かを判定する。対象領域内の仮法線方向の各成分sin2ρ、cos2ρ、sinγに対して、空間微分フィルタ(例えば、Sobelなど)を適用する。次に、フィルタ適用で得られた各成分の微分値の二乗和を画素ごとに算出する。そして、算出した値が所定値以上である画素数について、対象領域内の画素数のうち、空間微分フィルタが適用できる画素数に対する比率を求める。この比率が所定割合未満の場合は、隣接画素間で仮法線方向が大きく変化する画素が少ないと判定する。
形状判定手段46は、前述したように、対象領域内の仮法線方向の分散が大きいか否かを判定するとともに、隣接画素間で仮法線方向が大きく変化する画素が少ないか否かを判定する。そして、対象領域内の仮法線方向の分散が大きく、かつ隣接画素間で仮法線方向が大きく変化する画素が少ない場合に、当該対象領域内に撮影されている物体が撮影側に凸形状であると判定する。
なお、対象領域内の仮法線方向の分散が大きく、かつ隣接画素間で仮法線方向が大きく変化する画素が大きい場合に、当該対象領域内に撮影されている物体が撮影方向に凹凸がある凹凸形状であると判定するようにしてもよい。
また、仮法線方向の分散や、隣接画素間で仮法線方向が大きく変化する画素の多さを判定する方法は、前述した算出方法に限るものではなく、公知の方法を用いればよい。
(検出対象判定手段48)
検出対象判定手段48は、対象領域内に撮影されている物体の形状に基づいて、対象領域内に撮影されている物体が検出対象であるか否かを判定する。
本実施の形態では、人物を検出対象としているため、検出対象判定手段48は、形状判定手段46にて、撮影側に凸形状と判定された対象領域を人物が撮影されている対象領域と判定する。これにより、図5(a)のように、撮影側に凸形状となっている対象領域70が、人物を表していると判定することができる。
なお、検出対象判定手段48は、形状判定手段46にて、平面であると判定された対象領域については、床や壁に映った影や光であると判定してもよい。これにより、図5(b)のように、平面となっている対象領域72が、床面74に映った影を表していると判定することができる。また、検出対象判定手段48は、形状判定手段46にて、凹凸形状であると判定された対象領域については、表面に凹凸が多数存在する植栽であると判定してもよい。これにより、図5(c)のように、凹凸形状となっている対象領域76Aが、植栽76の一部分(風などで揺れている部分)を表していると判定することができる。
また、撮影側に凸形状である対象領域を人物と判定するのではなく、平面形状ではなく、かつ凹凸形状でもないと判定された対象領域を、人物と判定するようにしてもよい。
また、検出対象は、人物に限らず、車両などでもよい。また、植栽や影、光を検出対象として検出するようにしてもよい。
(背景画像更新手段50)
背景画像更新手段50は、記憶部30に記憶されている背景画像を更新する。本実施の形態における背景画像更新手段50は、検出対象が撮影されている対象領域が検出されなかった入力画像を、新たな背景画像として記憶する。なお、背景画像の更新方法は、これに限らず、公知の方法を用いればよい。
(出力部52)
出力部52は、検出対象判定手段48の検出結果を外部に出力する。本実施の形態では、出力部52は、検出対象判定手段48にて、入力画像中に人物などの検出対象が撮影されていると判定された対象領域が1つ以上存在する場合に、監視空間内に侵入物体が存在すると判定して、外部の監視センタなどに、その旨を出力する。
<物体検出装置100の動作>
以下、図6に示したフローチャートを参照しつつ、本発明を適用した物体検出装置100による全体処理の動作を説明する。図6に示すフローチャートは、ユーザーの指示等によって開始される。
最初に、撮影部10は、偏光フィルタが透過する偏光方向が少なくとも3種類以上になるように、空間を撮影し、同じシーンを撮影した3種類以上の偏光画像を取得する(ステップS1)。
そして、偏光情報取得部20は、撮影部10から受け取った、同じシーンを撮影した3種類以上の偏光画像を用いて、画素毎に、当該シーンにおける偏光情報を取得する(ステップS2)。具体的には、本実施の形態における偏光情報取得部20は、偏光情報として、偏光度及び偏光方向を算出する。また、偏光情報取得部20は、各偏光画像の輝度値の平均値(平均輝度値)から、そのシーンにおける平均輝度値画像を生成し、入力画像とする。
そして、対象領域検出手段42は、入力画像から検出対象が撮影されている可能性が高い領域を対象領域として検出する(ステップS3)。本実施の形態では、対象領域検出手段42は、記憶部30から取得した背景画像30Aと入力画像を比較して、対象領域を検出する。
そして、情報処理部40は、上記ステップS3で対象領域が検出されたか否かを判定する(ステップS4)。上記ステップS3で対象領域が検出されなかったと判定された場合には、ステップS10へ移行する。
一方、上記ステップS3で対象領域が検出されたと判定された場合には、検出された対象領域の数だけ、後述するステップS5〜ステップS7を繰り返し実行する。このとき、検出された対象領域の各々を、処理対象となる対象領域として、ステップS5〜ステップS7を繰り返し実行する。
まず、仮法線方向算出手段44は、処理対象の対象領域の画素毎に、偏光情報を用いて、仮法線方向を算出する(ステップS5)。本実施の形態では、処理対象の対象領域内の画素毎に、偏光方向と偏光度を用いて、仮法線方向を算出する。
そして、形状判定手段46は、処理対象の対象領域内に撮影されている物体の形状を判定する(ステップS6)。本実施の形態では、形状判定手段46は、対象領域における各画素の仮法線方向に基づいて、対象領域内に撮影されている物体が、撮影側に凸形状であるか否かを判定する。
そして、検出対象判定手段48は、処理対象の対象領域内に撮影されている物体の形状に基づいて、処理対象の対象領域内に撮影されている物体が検出対象であるか否かを判定する。
そして、情報処理部40は、上記ステップS7で検出対象が撮影されていると判定された対象領域が1つ以上存在するか否かを判定する(ステップS8)。上記ステップS7で検出対象が撮影されていると判定された対象領域が1つも存在しないと判定された場合には、ステップS10へ移行する。
一方、上記ステップS7で検出対象が撮影されていると判定された対象領域が1つ以上存在すると判定された場合には、ステップS9へ移行する。
出力部52は、検出対象判定手段48の検出結果を外部に出力する(ステップS9)。本実施の形態では、出力部52は、監視空間内に侵入物体が存在すると判定して、外部の監視センタなどに、その旨を出力し、上記ステップS1へ戻る。
背景画像更新手段50は、記憶部30に記憶されている背景画像を更新する(ステップS10)。本実施の形態における背景画像更新手段50は、検出対象が撮影されている対象領域が検出されなかった入力画像を、新たな背景画像30Aとして記憶部30に記憶し、上記ステップS1へ戻る。
以上説明してきたように、本発明の実施の形態に係る物体検出装置は、偏光情報を用いて得られる仮法線方向の分布に基づいて、形状の違いを判定し、画像中の物体の種類を判定することができる。また、偏光情報を用いて変化領域内に撮影されている物体の形状を求め、人物と外乱の形状の違いから、これらを区別できる。
以上、本発明の好適な実施形態について説明してきたが、本発明はこれらの実施形態に限定されるものではない。当業者は本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
例えば、本実施の形態における凸形状か否かの判定方法では、凸形状の物体だけでなく、凹形状の物体も検出される。本実施の形態では、監視空間に凹形状の物体が存在することが稀であることから、凸形状の物体を検出する判定方法として説明している。しかし、凹形状の物体を検出対象とする場合には、形状判定手段46は、対象領域における各画素の仮法線方向に基づいて、対象領域内に撮影されている物体が、撮影側に凹形状であるか否かを判定するようにしてもよい。この場合には、対象領域内の仮法線方向の分散が大きく、かつ隣接画素間で仮法線方向が大きく変化する画素が少ない場合に、当該対象領域内に撮影されている物体が、撮影側に凹形状であると判定すればよい。
また、仮法線方向算出手段44は、物体面で反射した拡散反射光が撮影部10に入射したと仮定して、仮法線方向を算出する場合を例に説明したが、これに限定されるものではない。例えば、仮法線方向算出手段44は、物体面で反射した鏡面反射光が撮影部10に入射したと仮定して、仮法線方向を算出するようにしてもよい。上述したように、物体面で反射した鏡面反射光が撮影部10に入射したと仮定した場合には、180degの曖昧さが生じるものの、なんらかの仮定を追加した上で、鏡面反射光を仮定した仮法線方向を算出するようにしてもよい。
10 撮影部
20 偏光情報取得部
30 記憶部
30A 背景画像
40 情報処理部
42 対象領域検出手段
44 仮法線方向算出手段
46 形状判定手段
48 検出対象判定手段
50 背景画像更新手段
52 出力部
100 物体検出装置

Claims (4)

  1. 空間内の物体を撮影した画像から、画素毎の偏光度及び偏光方向を取得する偏光情報取得部と、
    前記画素毎の前記偏光度及び前記偏光方向に基づいて、当該画素が表す前記物体の表面の仮の法線方向を算出する仮法線方向算出部と、
    前記仮の法線方向の分布に基づいて前記物体の種類を判定する物体判定部と、
    を含む物体検出装置。
  2. 前記仮の法線方向の分布に基づいて、前記物体が撮影側に凸形状又は凹形状であるか否かを判定する形状判定部を更に含み、
    前記物体判定部は、前記凸形状又は凹形状と判定された物体が、検出対象であると判定する請求項1記載の物体検出装置。
  3. 前記形状判定部は、前記仮の法線方向の分布として、前記仮の法線方向の分散、又は隣接する画素間の前記仮の法線方向の変化を用いて、前記物体が撮影側に凸形状若しくは凹形状であるか、前記物体が平面形状であるか、又は前記物体が凹凸形状であるかを判定する請求項2記載の物体検出装置。
  4. 前記仮法線方向算出部は、前記画素毎の前記偏光度及び前記偏光方向に基づいて、撮像装置に入射された光を、当該画素が表す前記物体の表面で反射した拡散反射光と仮定して、前記仮の法線方向を算出する請求項1〜請求項3の何れか1項記載の物体検出装置。
JP2017140982A 2017-07-20 2017-07-20 物体検出装置 Active JP6617124B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017140982A JP6617124B2 (ja) 2017-07-20 2017-07-20 物体検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017140982A JP6617124B2 (ja) 2017-07-20 2017-07-20 物体検出装置

Publications (2)

Publication Number Publication Date
JP2019020330A true JP2019020330A (ja) 2019-02-07
JP6617124B2 JP6617124B2 (ja) 2019-12-11

Family

ID=65354178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017140982A Active JP6617124B2 (ja) 2017-07-20 2017-07-20 物体検出装置

Country Status (1)

Country Link
JP (1) JP6617124B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014161537A (ja) * 2013-02-26 2014-09-08 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
US20150212009A1 (en) * 2012-08-02 2015-07-30 Vit Method and device for identifying materials in a scene
JP2016161331A (ja) * 2015-02-27 2016-09-05 国立大学法人岐阜大学 表面検査装置および表面検査方法
WO2016174915A1 (ja) * 2015-04-30 2016-11-03 ソニー株式会社 画像処理装置と画像処理方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150212009A1 (en) * 2012-08-02 2015-07-30 Vit Method and device for identifying materials in a scene
JP2014161537A (ja) * 2013-02-26 2014-09-08 Olympus Corp 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
JP2016161331A (ja) * 2015-02-27 2016-09-05 国立大学法人岐阜大学 表面検査装置および表面検査方法
WO2016174915A1 (ja) * 2015-04-30 2016-11-03 ソニー株式会社 画像処理装置と画像処理方法およびプログラム

Also Published As

Publication number Publication date
JP6617124B2 (ja) 2019-12-11

Similar Documents

Publication Publication Date Title
JP4308319B2 (ja) 画像処理装置および画像処理方法
US7893971B2 (en) Light source estimation device that captures light source images when it is determined that the imaging device is not being used by the cameraman
JP4317583B2 (ja) 法線情報生成装置および法線情報生成方法
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
JP4563513B2 (ja) 画像処理装置及び擬似立体画像生成装置
CN104956664B (zh) 校准装置、投影仪以及校准方法
CN105701756A (zh) 图像处理装置和图像处理方法
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
JP6556013B2 (ja) 処理装置、処理システム、撮像装置、処理方法、プログラム、および記録媒体
CN108900766A (zh) 一种全景图像自动增强装置和方法、以及应用该装置的全景相机
JP4193342B2 (ja) 3次元データ生成装置
JP6585668B2 (ja) 物体検出装置
JPH1062140A (ja) 形状の再構成方法および形状の再構成装置
JPH1069543A (ja) 被写体の曲面再構成方法及び被写体の曲面再構成装置
KR101348681B1 (ko) 영상탐지시스템의 다중센서 영상정렬방법 및 이를 이용한 영상탐지시스템의 다중센서 영상정렬장치
TWI746947B (zh) 用於偵測在一視訊序列中之移動之方法、電腦可讀媒體、移動偵測組件及攝影機
JP6550102B2 (ja) 光源方向推定装置
JP6617124B2 (ja) 物体検出装置
CN105472232B (zh) 影像撷取方法及电子装置
JP7381369B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP3616355B2 (ja) コンピュータによる画像処理方法と画像処理装置
US20240185559A1 (en) Method and system for identifying reflections in thermal images
Matsuyama et al. Multi-camera systems for 3d video production
Nakagawa et al. Detection of road surface conditions by using an omni-directional camera and polarization properties
KR20150125766A (ko) 광각 카메라 영상의 특징점 검출 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191111

R150 Certificate of patent or registration of utility model

Ref document number: 6617124

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250