JP2020135866A

JP2020135866A - オブジェクト検出方法、検出装置及び電子機器

Info

Publication number: JP2020135866A
Application number: JP2020005616A
Authority: JP
Inventors: チェヌ・シアオチィ; Shaoqi Chen; ワン・チィ; Qi Wang
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2019-02-22
Filing date: 2020-01-17
Publication date: 2020-08-31
Anticipated expiration: 2040-01-17
Also published as: CN111612812A; CN111612812B; US20200273145A1; JP7363504B2; US11398009B2

Abstract

【課題】本発明は、魚眼カメラが撮影した画像進行オブジェクト検出の装置、方法和電子機器を提供する。
【解決手段】該装置は、魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピングを行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面する第一処理ユニット；各逆マッピング画像におけるオブジェクトをそれぞれ検出する第二処理ユニット；及び、各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する第三処理ユニットを含む。
【選択図】図１

Description

本発明は、情報技術分野に関し、特に、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法、装置及び電子機器に関する。

従来のカメラに比べ、魚眼カメラ（fisheye camera）がより広い視野（Field Of View、FOV）を有し、より多くの環境情報を撮影することができ、例えば、魚眼カメラの視野は、120度以上に達することができ、ひいては、180度を超えることができる。

しかし、魚眼カメラは、幾つかの局限性も存在し、例えば、画像の辺縁（エッジ）に近いほど、変形が大きい。よって、魚眼カメラにより道路に対して撮影を行うときに、車線及び車両に往々にして大きいディストーションがあるため、画像処理が困難になり、これにより、画像処理の結果に基づいて車速を正確に計算することが難しい。

上述のようなことが原因で、今のところ、高度道路交通システム（Intelligent Traffic System、ITS）では、通常、従来のカメラを用いてビデオ監視を行う。

なお、上述の背景技術についての紹介は、本発明の技術案を明確且つ完全に説明し、また、当業者がそれを理解しやすいためのものである。これらの技術案は、本発明の背景技術の一部に記述されているため、当業者にとって周知であると解釈してはならない。

本発明の発明者が次のようなことを発見した。即ち、魚眼カメラを用いて撮影を行う場合、魚眼カメラが撮影した画像の辺縁部分が通常切除され、画像の中央部分のみが画像処理のために残され、このように、画像の辺縁部分の情報が捨てられるから、魚眼カメラの広視野の利点を発揮し難い。

本発明の実施例は、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法、装置及び電子機器を提供し、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基いいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。

本発明の実施例の第一側面によれば、魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う装置が提供され、該装置は、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面する第一処理ユニット；
各逆マッピング画像におけるオブジェクトをそれぞれ検出する第二処理ユニット；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する第三処理ユニットを含む。

本発明の実施例の第二側面によれば、魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う方法が提供され、該方法は、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出することを含む。

本発明の実施例の第三側面によれば、電子機器が提供され、それは、上述の第一側面に記載の装置を含む。

本発明の実施例の有益な効果は次の通りであり、即ち、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基づいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。

本発明の実施例1におけるオブジェクト検出方法を示す図である。本発明の実施例1におけるオリジナル画像及びサイズ調整後の画像を示す図である。本発明の実施例1に係る円柱面投影モデルにおける画像及び逆マッピングによる画像を示す図である。本発明の実施例1におけるオフセットの異なる値及び逆マッピングによる平面画像を示す図である。本発明の実施例1におけるオブジェクト検出を行う方法を示す図である。本発明の実施例1における同一のオブジェクトを検出する方法を示す図である。本発明の実施例1における魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法のフローチャートである。本発明の実施例2における魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置を示す図である。図8に示す装置における第三処理ユニットを示す図である。図8に示す装置における第六処理ユニットを示す図である。本発明の実施例3における電子機器の構成図である。

以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。

本発明の実施例1は、オブジェクト検出方法を提供し、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う。

図1は、本実施例におけるオブジェクト検出方法を示す図である。図1に示すように、該方法は、以下のステップを含む。

ステップ101：魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
ステップ102：各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
ステップ103：各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであるかを判断する。

本実施例によれば、魚眼カメラが撮影した画像に対して逆マッピングを行うときに、少なくとも２つの、視角の向きが異なる逆マッピング画像を形成し、そして、各逆マッピング画像に基づいてオブジェクトの検出を行い、これにより、魚眼カメラが撮影した画像に対して切除を行う必要がなく、魚眼カメラの撮影により得られた広視野画像における情報を十分に利用することができる。

本実施例では、魚眼カメラの撮影によるオリジナル画像は、魚眼カメラがリアルタイムに撮影した画像からのものであっても良く、記憶器に記憶された、魚眼カメラが撮影した画像からのものであっても良いが、本実施例では、これについて限定しない。

本実施例では、該魚眼カメラの撮影の被写対象は道路、室内環境などであっても良く、オブジェクトは画像における人物、車両などであっても良い。本実施例の以下の説明では、該魚眼カメラが交通監視を行うために用いられ、被写体が車道であり、オブジェクトが車道上の車両などの物体である。なお、本実施例は、これに限られず、該魚眼カメラは、他の被写体に対して撮影を行っても良く、また、オブジェクトは、画像における他の物体であっても良い。

本実施例のステップ101では、魚眼カメラが撮影したオリジナル画像を円柱面モデル又は球面モデルにマッピングすることで、該オリジナル画像に対して修正を行うことができる。そのうち、オリジナル画像を円柱面モデル又は球面モデルにマッピングする具体的な方法については、従来技術を参照することができ、例えば、画像のつなぎ合わせ（image stitching）のときに行われる、オリジナル画像を円柱面モデル又は球面モデルにマッピングする処理である。

本実施例の１つの実施方式では、ステップ101においてオリジナル画像を円柱面モデルにマッピングすることができ、そのうち、円柱面モデルは、例えば、半円柱面モデルであっても良く、これにより、オリジナル画像における視野角が180度の範囲内の画像を該半円柱面モデルにマッピングすることができる。

また、本実施例では、オリジナル画像を半円柱面モデルにマッピングする前に、さらにオリジナル画像のサイズを調整することで、調整後のサイズが以下の公式（1）を満たすようにさせることもできる。

公式（1）では、widthは、調整後の画像の幅、即ち、水平方向のサイズを表し；heightは、調整後の画像の高さ、即ち、水平方向に垂直な垂直方向のサイズを表し；HFOVは、オリジナル画像の水平視野角、即ち、幅方向に沿った視野角であり；UVFOVは、オリジナル画像の垂直方向の第一視野角であり、DVFOVは、オリジナル画像の垂直方向の第二視野角であり、そのうち、UVFOV及びDVFOVは、それぞれ、魚眼カメラのレンズの中心光軸の、オリジナル画像の上下辺縁に対しての開角度を表す。

また、公式（1）における180度とは、半円柱面モデルの横断面円弧に対応する中心角（central angle）を指し、半円柱面モデルの代わりに全円柱面モデルを使用するときに、円柱面モデルの横断面円弧に対応する中心角が360度であるので、公式（1）における180度は、360度で置換されても良い。

図2は、オリジナル画像及びサイズ調整後の画像を示す図であり、そのうち、w1及びh1は、それぞれ、オリジナル画像201の幅及び高さを示し、w2及びh2は、それぞれ、サイズ調整後の画像202の幅及び高さを示し、そのうち、w2及びh2は、それぞれ、公式（1）におけるwidth及びheightに等しい。

本実施例の以下の説明では、サイズ調整後のケースを例として説明を行う。なお、本実施例は、これに限られず、例えば、上述のようなサイズ調整を行わなくても良く、また、サイズ調整を行わない場合、以下の説明におけるサイズ調整後の画像についての記載がオリジナル画像についての説明にも適用される。

本実施例のステップ101では、円柱面投影モデルに投影された画像に対して逆マッピング（reverse mapping）を行うことができ、即ち、円柱面投影モデルにおける画像を平面に投影する。

図3は、本実施例に係る円柱面投影モデルにおける画像及び逆マッピングによる画像を示す図である。図3に示すように、円柱面投影モデルにおける画像301は、AEBCFDであり、そのうち、円柱面投影モデルの投影面は、半円柱面であり、逆マッピングにより得られた平面画像は、302であり、平面ABCDは、画像302の平面に平行である。

図3に示すように、oは、平面ABCDの中心点であり、座標系xyzの座標原点でもあり、x軸は、ABに平行であり、y軸は、ADに平行であり、z軸は、平面ABCDに垂直である。P(u,v)は、画像301における任意の点である。O及びPの接続線と、画像302との交点（交わる点）は、P’(X,Y)であり、即ち、P’(X,Y)は、画像302上の、P(u,v)に対応する点である。P’からy軸までの垂直線分と、z方向との夾角は、θである。

図3は、以下のような公式（2）、（3）を満足する。

そのうち、height_target及びweight_targetは、それぞれ、平面画像302の高さ及び幅を示し、fは、魚眼カメラの焦点距離を示し、h₁は、上述の調整後の画像の高さheightを示す。

平面画像302の高さ及び幅が与えられている場合下、P’(X,Y)とP(u,v)との間には、以下の公式（4）、（5）に示す関係を有する。

上述の公式は、以下のような限定条件がある。

そのうち、widthは、上述のサイズ調整後の画像の幅を表す。

本実施例では、offsetは、公式（4）に現れ、オリジナル画像の幅に関するオフセット量を表す。

本実施例では、上述の公式（2）〜（4）に基づいて逆マッピングを行うときに、offsetの値を調整することで、幅方向における視角が異なる方向に面する平面画像を得ることができ、例えば、offsetの値を第一値よりも大きく設定することで、第一平面画像を得ることができ、offsetの値を第一値よりも小さく設定することで、第二平面画像を得ることができ、第一平面画像及び第二平面画像の幅方向における視角は、異なる方向に面する。

１つの実施方では、offsetの値が第一値のときに、平面画像の幅方向における視角が幅方向の中心位置に面し、offsetの値が第一値よりも小さいときに、平面画像の幅方向における視角が幅方向の中心位置に対して左寄りであり、offsetの値が第一値よりも大きいときに、平面画像の幅方向における視角が幅方向の中心位置に対して右寄りである。

例えば、第一値が0.5であっても良く、この場合、offsetの値が第一値よりも小さいときに、offsetの値は、0.45であっても良く、offsetの値が第一値よりも大きいときに、offsetの値は、0.55であっても良い。

図4は、offsetの異なる値及び逆マッピングによる平面画像を示す図である。図4の（a）は、offsetの値が第一値のときの平面画像を示し、図4の（b）は、offsetの値が第一値よりも小さいときの平面画像を示し、図4の（c）は、offsetの値が第一値よりも大きいときの平面画像を示す。図4の各平面画像に対応するオリジナル画像は、図2のオリジナル画像201に示されるようである。

図4に示すように、本実施例では、（a）、（b）、及び（c）に対応するoffsetは、それぞれ、0.5、0.45、及び0.55であっても良い、他の値を取っても良い。

また、本実施例では、公式（5）に、オリジナル画像の高さに関するオフセット量offset1を設定しても良く、offset1を調整することで、高さ方向における視角が異なる方向に面する少なくとも２つの逆マッピング画像を得ることができる。

１つの実施方式では、ステップ101で逆マッピングを行うときに、オフセット量offsetを調整することで、少なくとも２つの逆マッピング画像を取得し、及び／又は、offset1を調整することで、少なくとも２つの逆マッピング画像を取得することができる。

また、本実施例の上述の説明では、オリジナル画像を円柱面投影モデルに投影する場合、逆マッピングを行い、少なくとも2つの逆マッピング画像を取得するのである。なお、本実施例は、これに限定されず、例えば、オリジナル画像を球面投影モデルに投影する場合、逆マッピングを行うことで少なくとも2つの逆マッピング画像を得ても良い。

本実施例の下述の説明では、「オフセット量offsetを調整することで２つの逆マッピング画像を得る」ことを例として説明を行うが、他の場合の処理がこれとほぼ同様である。

本実施例のステップ102では、ステップ101で生成された少なくとも２つの逆マッピング画像について、各逆マッピング画像におけるオブジェクトをそれぞれ検出することができ、これにより、各逆マッピング画像について、それに対応するオブジェクト検出結果があり、例えば、図4の（b）、（c）について、それぞれ、その中のオブジェクトを検出することができる。

１つの実施方式では、前景及び背景検出の方法に基づいて各逆マッピング画像におけるオブジェクトを検出しても良く、又は、分類器に基づいて各逆マッピング画像におけるオブジェクトを検出しても良く、又は、この２種類の検出方法を組み合わせても良く、例えば、前景及び背景検出の方法に基づいて検出されたオブジェクトと、分類器に基づいて検出されたオブジェクトとに対して融合を行うことで、最終のオブジェクト検出結果を得ても良い。

図5は、本実施例におけるオブジェクト検出を行う方法を示す図であり、図5に示すように、各逆マッピング画像について、オブジェクト検出を行う方法は、以下のステップを含む。

ステップ501：逆マッピング画像に対して前景検出及び背景検出を行い、例えば、Vibeアルゴリズムを採用して前景検出及び背景検出を行うことができ；
ステップ502：所定の閾値に基づいて、前景に対して閾値化処理を行い、二値化画像を取得し、例えば、前景における画素値が閾値以上の画素を白色画素とし、前景における画素値が閾値よりも小さい画素を黒色画素とすることで、二値化画像を得ることができ；
ステップ503：二値化画像に対して形態学的処理（morphological processing）を行い、二値化画像における画素数が比較的少ない領域を除去することで、少なくとも１つの画素集合（blob）を得ることができ；
ステップ504：形態学的処理後の二値化画像に対して接続領域合併処理（connected domain processing）を行うことで、隣接する画素集合を比較的大きい画素集合として合併することができ；
ステップ505：接続領域合併処理の結果に基づいて、ブロブ（blob）のクラスタリング（clustering）を行い、例えば、中心距離が所定の閾値よりも小さい画素集合を１つの画素クラスタとしてクラスタリングし、そのうち、１つの画素クラスタを、検出された１つのオブジェクトとし；
ステップ506：分類器により逆マッピング画像におけるオブジェクトを検出し、そのうち、該分類器は、オブジェクトに基づく訓練により得られた分類器であっても良く、例えば、該分類器は、車両の画像に基づいて訓練することにより得られた分類器であっても良く、これにより、逆マッピング画像から車両を検出することができ、該分類器は、例えば、HOG（Histogram of Oriented Gradient）特徴に基づいて検出を行うことができ；
ステップ507：ステップ505で検出されたオブジェクト及びステップ506で検出されたオブジェクトの融合を行うことで、最終のオブジェクト検出結果を取得し、そのうち、融合は、例えば、ステップ505で検出されたオブジェクト1の輪郭フレームBbox1と、ステップ506で検出されたオブジェクト2の輪郭フレームBbox2とを比較し、Bbox1とBbox2との両者のIoU（Intersection-over-Union）が所定の閾値T_mergeよりも大きいときに、該オブジェクト1を最終のオブジェクトとして確定し、そうでないときに、該オブジェクト1を最終のオブジェクトとして確定しない。

図5では、ステップ501〜ステップ505において前景及び背景検出の方法に基づいて逆マッピング画像におけるオブジェクトを検出し、ステップ506において分類器に基づいて逆マッピング画像におけるオブジェクトを検出し、ステップ507において両者を融合する処理が行われる。なお、図5における各ステップのより詳しい説明については、従来技術を参照することができる。また、図5は、例示に過ぎず、ステップ102では、他の方法で各逆マッピング画像におけるオブジェクトを検出しても良い。

本実施例のステップ103では、各逆マッピング画像の中から検出されたオブジェクトのうちから同一のオブジェクトを検出することができる。

図6は、本実施例における同一のオブジェクトの検出方法を示す図であり、図6に示すように、該方法は、以下のステップを含んでも良い。

ステップ601：各逆マッピング画像の重畳（overlapping）領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び
ステップ602：前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する。

以下、図4に示す画像を例として同一のオブジェクトの検出方法を説明する。

図4に示すように、（b）における領域S_public1及び（c）における領域S_public2ｊは、（b）及び（c）における互いに重畳した領域、即ち、共通領域を示す。

図4の（b）においてトータルでM個のオブジェクトが検出され、第i個目のオブジェクトの輪郭フレームがbox_i ^view1と表され得るとすると、該輪郭フレームの幾何中心の画素をc_i ^view1と表することができ、そのうち、i=1、2、…、Mであり、Mは、自然数である。

本実施例では、各オブジェクトにフラグを設定することで、該オブジェクトが領域S_public1にあるかを示すことができ、例えば、フラグF_i ^Spubilic1が、第i個目のオブジェクトが領域S_public1にあるかを示すために用いられても良く、そのうち、F_i ^Spubilic1が0のときに、該第i個目のオブジェクトが領域S_public1の外にあることを示し、F_i ^Spubilic1が1のときに、該第i個目のオブジェクトが該領域S_public1の中にあることを示しても良い。

本実施例では、フラグF_i ^Spubilic1により領域S_public1におけるオブジェクトの数を判定することができ、例えば、領域S_public1におけるオブジェクトの数がkであり、該k個のオブジェクトの輪郭フレームがbox_i ^Spub1と表され、そのうち、i=1、2、…、kであり、kは、自然数である。

図4の（c）においてトータルでN個のオブジェクトが検出され、各オブジェクトの輪郭フレームがbox_j ^view2と表されるとすれば、各輪郭フレームの幾何中心の画素をc_j ^view2と表することができ、そのうち、j=1、2、…、Nであり、Nは、自然数である。

本実施例では、各オブジェクトにフラグを設定することで、該オブジェクトが領域S_public2にあるかを示すことができ、例えば、フラグF_j ^Spubilic2により第j個目のオブジェクトが領域S_public1にあるかを示すことができ、例えば、F_j ^Spubilic2が0のときに、該第j個目のオブジェクトが領域S_public2の外にあることを示し、F_ｊ ^Spubilic2が1のときに、第j個目のオブジェクトが該領域S_public2の中にあることを示しても良い。

本実施例では、フラグF_j ^Spubilic2により領域S_public2におけるオブジェクトの数を判定することができ、例えば、領域S_public2におけるオブジェクトの数がpである。該p個のオブジェクトの輪郭フレームがbox_j ^Spub2と表され、そのうち、j=1、2、…、pであり、pは、自然数である。

本実施例では、図4の（b）の領域S_public1における各オブジェクトの輪郭フレームbox_i ^Spub1及び（c）の領域S_public2における各オブジェクトの輪郭フレームbox_j ^Spub2がそれぞれオリジナル画像201にマッピングされ、それぞれ輪郭フレームbox_i ^Spub1′及びbox_j ^Spub2′を形成し、そのうち、i=1、2、…、kであり、j=1、2、…、pである。

本実施例では、輪郭フレームbox_i ^Spub1′及びbox_j ^Spub2′の重畳度が閾値T_matchより大きいときに、輪郭フレームbox_i ^Spub1′におけるオブジェクト及び輪郭フレームbox_j ^Spub2′におけるオブジェクトが同一のオブジェクトであると判断し、例えば、第i個目のオブジェクトのマッチングフラグF_boxi ^Spub1及び第j個目のオブジェクトのマッチングフラグF_boxj ^Spub2をともに1に設定する。そのうち、重畳度は、例えば、IoU（Intersection-over-Union）と表されても良い。

また、本実施例では、輪郭フレームbox_i ^Spub1におけるオブジェクト及び輪郭フレームbox_j ^Spub2におけるオブジェクトが同一のオブジェクトのときに、さらにオブジェクトの移動方向に基づいて、どの輪郭フレームを該同一のオブジェクトの好適輪郭フレームとするかを設定することができる。例えば、オブジェクトが図2の左側から右側へと移動する方向を正方向とし、その逆の方向を逆方向とする場合、該オブジェクトが正方向に沿って移動するときに、box_j ^Spub2を好適輪郭フレームとし、また、F_boxj ^Spub2を0とすることで、もう１回の検出を行うことができ、また、該オブジェクトが逆方向に沿って移動するときに、box_i ^Spub1を好適輪郭フレームとし、また、F_boxi ^Spub1を0とすることで、もう１回の検出を行うこともできる。

本実施例では、該オブジェクトが正方向に沿って移動するか、それとも、逆方向に沿って移動するかについての判定が、例えば、或る期間内で画像中の該オブジェクトの移動軌迹に基づいて行われても良く、その具体的な方法は、従来技術を参照することができる。

本実施例では、図1に示すように、該方法はさらに以下のステップを含んでも良い。

ステップ104：ステップ103の検出結果に基づいて、オブジェクトの移動動状態の検出を行う。

本実施例のステップ104では、各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判定された場合、それぞれ、各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し、そして、それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する。

例えば、輪郭フレームbox_i ^Spub1におけるオブジェクト及び輪郭フレームbox_j ^Spub2におけるオブジェクトが同一のオブジェクトであるときに、該同一のオブジェクトが例えば車両である場合、図4の（b）に基づいて、輪郭フレームbox_i ^Spub1におけるオブジェクトの移動速度、例えば、v1を計算することができ、また、図4の（c）に基づいて、輪郭フレームbox_j ^Spub2におけるオブジェクトの移動速度、例えば、v2を計算することができ、そして、両者の差（v1-v2）を算出し、該差が閾値T_velocityよりも大きいときに、オブジェクトの移動が減速移動であると判断することができる。

本実施例の上述の説明では、オブジェクトの移動状態が加速又は減速状態であるが、本実施例は、これに限定されず、オブジェクトの移動状態が他の状態であっても良い。

以下、１つの例に基づいて本実施例における方法を説明する。

図7は、本実施例における魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法の１つのフローを示す図であり、ステップ101、ステップ102及びステップ103に対応する。

図7に示すように、該フローは、以下のステップを含む。

ステップ701：魚眼カメラが撮影を行うことでオリジナル画像を取得し；
ステップ702：オリジナル画像のサイズを調整して円柱面投影モデルに投影し；
ステップ703：第一値よりも小さいオフセット量を設定し、逆マッピングを行い、第一逆マッピング画像、例えば、図4の（b）を取得し；
ステップ704：第一値よりも大きいオフセット量を設定し、逆マッピングを行い、第二逆マッピング画像、例えば、図4の（c）を取得し；
ステップ705：第一逆マッピング画像におけるオブジェクトを検出し；
ステップ706：第二逆マッピング画像におけるオブジェクトを検出し；
ステップ707：第i個目のオブジェクトが領域S_public1にあるか、即ち、F_i ^Spublic1が1であるかを判断し、「はい」と判断された場合”、ステップ708に進み、「いいえ」と判断された場合、ステップ709に進み；
ステップ708：box_i ^Spub1をオリジナル画像にマッピングし、box_i ^Spub1′を取得し；
ステップ709：第i個目のオブジェクトの速度を計算し；
ステップ710：第j個目のオブジェクトが領域S_public2にあるか、即ち、F_j ^Spublic2が1であるかを判断し、「はい」と判断された場合、ステップ711に進み、「いいえ」と判断された場合、ステップ712に進み；
ステップ711：box_j ^pub2をオリジナル画像にマッピングし、box_j ^pub2′を取得し；
ステップ712：第j個目のオブジェクトの速度を計算し；
ステップ713：box_i ^Spub1′とbox_j ^Spub2′とのIoUが閾値T_matchよりも大きいか、即ち、F_boxi ^Spub1及びF_boxj ^Spub2がすべて1であるかを判断し、「はい」と判断された場合、ステップ714に進み；
ステップ714：該オブジェクトの移動方向が正方向であるかを判断し、「はい」と判断された場合、ステップ715に進み、「いいえ」と判断された場合、ステップ716に進み；
ステップ715：F_boxj ^Spub2を0に設定し、ステップ706に戻り；
ステップ716：F_boxi ^Spub1を0に設定し、ステップ705に戻る。

本実施例2は、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置を提供する。該装置が問題を解決する原理は、実施例1における方法に類似する。よって、その具体的な実施は、実施例1における方法の実施を参照することができ、ここでは、内容が同じである重複説明が省略される。

図8は、本実施例における魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置を示す図である。図8に示すように、該装置800は、以下のものを含む。

第一処理ユニット801：魚眼カメラが撮影したオリジナル画像を円柱面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
第二処理ユニット802：各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
第三処理ユニット803：各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する。

そのうち、第一処理ユニット801が前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく、及び、前記第一値よりも小さく設定することで、２つの逆マッピング画像を取得し、そのうち、前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する。

本実施例では、第二処理ユニット802は、前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行う。

図9は、図8の装置における第三処理ユニット803を示す図であり、図9に示すように、第三処理ユニット803は、以下のものを含む。

第四処理ユニット901：各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び
第五処理ユニット902：前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する。

図8に示すように、装置800は、さらに、以下のものを含む。

第六処理ユニット804：前記検出の結果に基づいて、オブジェクトの移動状態の検出を行う。

図10は、図8の装置における第六処理ユニット804を示す図である。図10に示すように、第六処理ユニット804は、以下のものを含む。

第七処理ユニット1001：各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ、各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し；及び
第八処理ユニット1002：それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する。

なお、本実施例における各ユニットの詳細な説明については、実施例1におけるそれ相応のステップの説明を参照することができ、ここでは、その詳しい説明を省略する。

本実施例3は、電子機器を提供し、該電子機器が問題を解決する原理が実施例2の装置800と類似したので、その具体的な実施は、実施例2の装置800の実施を参照することができ、ここでは、内容が同じである重複説明が省略される。

図11は、本発明の実施例における電子機器の構成図である。図11に示すように、電子機器1100は、中央処理器（CPU）1101及び記憶器1102を含んでも良く、記憶器1102は、中央処理器1101に接続される。そのうち、該記憶器1102は、各種のデータを記憶することができ、また、データ処理用のプログラムをさらに記憶し、且つ中央処理器1101の制御下で該プログラムを実行することもできる。

１つの実施方式では、装置800の機能が中央処理器1101に集積されても良い。そのうち、中央処理器1101は、実施例1における方法を実現するように構成されても良い。

中央処理器1101は、制御を行って、電子機器1100に以下の方法を実行させるように構成されても良く、即ち、魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び、各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する。

中央処理器1101は、さらに、次のように構成されても良く、即ち、前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく、及び前記第一値よりも小さく設定することで、２つの逆マッピング画像を取得し、そのうち、前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する。

中央処理器1101は、さらに、次のように構成されても良く、即ち、前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行う。

中央処理器1101は、さらに、次のように構成されても良く、即ち、各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び、前記マッピング後の各輪郭フレームの重畳度を検出し、該重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する。

中央処理器1101は、さらに、次のように構成されても良く、即ち、前記検出の結果に基づいて、オブジェクトの移動状態の検出を行う。

中央処理器1101は、さらに、次のように構成されても良く、即ち、各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し；及び、それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する。

また、図11に示すように、電子機器1100は、さらに、入出力ユニット1103、表示ユニット1104などを含んでも良く、そのうち、上述の部品の機能が従来技術と類似しているため、ここではその詳細な説明を割愛する。なお、電子機器1100は、図11に示す全部の部品を含む必要がない。また、電子機器1100は、さらに図11に無い部品を含んでも良く、これについては、従来技術を参照することができる。

本発明の実施例は、さらに、コンピュータ可読プログラムを記憶した記憶媒体を提供し、そのうち、該コンピュータ可読プログラムは、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置又は電子機器に、実施例1に記載の、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法を実行させる。

本発明の実施例は、さらに、コンピュータ可読プログラムを提供し、そのうち、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置又は電子機器中で該プログラムを実行するときに、該プログラムは、該魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う装置又は電子機器に、実施例1における、魚眼カメラが撮影した画像に基づいてオブジェクト検出を行う方法を実行させる。

本発明の実施例で説明した前記方法、装置などは、ハードウェア、処理器により実行されるソフトウェアモジュール、又は両者の組み合わせにより実現することができる。例えば、図8〜図10に示す機能ブロック図における１つ又は複数の機能及び／又は機能ブロック図における１つ又は複数の機能の組み合わせは、コンピュータプログラムにおける各ソフトウェアモジュールに対応しても良く、各ハードウェアモジュールに対応しても良い。また、これらのソフトウェアモジュールは、それぞれ、図1、図5、図6、図7に示す各ステップに対応することができる。これらのハードウェアモジュールは、例えば、FPGA（field-programmable gate array）を用いてこれらのソフトウェアモジュールを固化して実現することができる。

また、本発明の実施例による装置、方法などは、ソフトウェアにより実現されても良く、ハードェアにより実現されてもよく、ハードェア及びソフトウェアの組み合わせにより実現されても良い。本発明は、このようなコンピュータ可読プログラムにも関し、即ち、前記プログラムは、ロジック部品により実行される時に、前記ロジック部品に、上述の装置又は構成要素を実現させることができ、又は、前記ロジック部品に、上述の方法又はそのステップを実現させることができる。さらに、本発明は、上述のプログラムを記憶した記憶媒体、例えば、ハードディスク、磁気ディスク、光ディスク、DVD、フレッシュメモリなどにも関する。

また、以上の実施例などに関し、さらに以下のように付記を開示する。

（付記1）
魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う装置であって、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得する第一処理ユニットであって、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面する第一処理ユニット；
各逆マッピング画像におけるオブジェクトをそれぞれ検出する第二処理ユニット；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する第三処理ユニットを含む、装置。

（付記2）
付記1に記載の装置であって、
前記第一処理ユニットが前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定し、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、装置。

（付記3）
付記1に記載の装置であって、
前記第二処理ユニットは、前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行う、装置。

（付記4）
付記1に記載の装置であって、
第三処理ユニットは、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを得る第四処理ユニット；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する第五処理ユニットを含む、装置。

（付記5）
付記1に記載の装置であって、
第三処理ユニットの検出の結果に基づいて、オブジェクトの移動状態の検出を行う第六処理ユニットをさらに含む、装置。

（付記6）
付記5に記載の装置であって、
前記第六処理ユニットは、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算する第七処理ユニット；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する第八処理ユニットを含む、装置。

（付記7）
付記1〜6のうちの任意の一項に記載の装置を含む、電子機器。

（付記8）
魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う方法であって、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出するステップを含む、方法。

（付記9）
付記8に記載の方法であって、
前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定することで、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、方法。

（付記10）
付記8に記載の方法であって、
各逆マッピング画像におけるオブジェクトの検出は、
前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行うことを含む、方法。

（付記11）
付記8に記載の方法であって、
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトの検出は、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断することを含む、方法。

（付記12）
付記8に記載の方法であって、
前記検出の結果に基づいて、オブジェクトの移動状態の検出をさらに含む、方法。

（付記13）
付記12に記載の方法であって、
オブジェクトの移動状態の検出は、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出することを含む、方法。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims

魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う装置であって、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得する第一処理ユニットであって、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面する第一処理ユニット；
各逆マッピング画像におけるオブジェクトをそれぞれ検出する第二処理ユニット；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出する第三処理ユニットを含む、装置。
請求項1に記載の装置であって、
前記第一処理ユニットが前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定し、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、装置。
請求項1に記載の装置であって、
前記第二処理ユニットは、前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行う、装置。
請求項1に記載の装置であって、
第三処理ユニットは、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを得る第四処理ユニット；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断する第五処理ユニットを含む、装置。
請求項1に記載の装置であって、
第三処理ユニットの検出の結果に基づいて、オブジェクトの移動状態の検出を行う第六処理ユニットをさらに含む、装置。
請求項5に記載の装置であって、
前記第六処理ユニットは、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算する第七処理ユニット；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出する第八処理ユニットを含む、装置。
請求項1〜6のうちの任意の一項に記載の装置を含む、電子機器。
魚眼カメラが撮影した画像に基づいて、オブジェクト検出を行う方法であって、
魚眼カメラが撮影したオリジナル画像を円柱面又は球面投影モデルに投影し、逆マッピング（reverse mapping）を行い、少なくとも２つの逆マッピング画像を取得し、前記少なくとも２つの逆マッピング画像の視角が異なる方向に面し；
各逆マッピング画像におけるオブジェクトをそれぞれ検出し；及び
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトを検出するステップを含む、方法。
請求項8に記載の方法であって、
前記逆マッピングを行うときに、前記オリジナル画像の幅及び／又は高さに関するオフセット量（offset）をそれぞれ第一値よりも大きく及び前記第一値よりも小さく設定し、２つの逆マッピング画像を取得し、
前記オフセット量（offset）が第一値に等しいときに、前記視角は、前記オリジナル画像の幅及び／又は高さの中心に面する、方法。
請求項8に記載の方法であって、
各逆マッピング画像におけるオブジェクトの検出は、
前景及び背景に基づいて検出を行い、及び／又は、分類器に基づいて検出を行うことを含む、方法。
請求項8に記載の方法であって、
各逆マッピング画像から検出されたオブジェクトのうちの同一のオブジェクトの検出は、
各逆マッピング画像の重畳領域にすべて存在するオブジェクトについて、前記オブジェクトの各逆マッピング画像の重畳領域における輪郭フレームを前記オリジナル画像にマッピングし、マッピング後の各輪郭フレームを取得し；及び
前記マッピング後の各輪郭フレームの重畳度を検出し、前記重畳度が第一閾値よりも大きいときに、前記オブジェクトが同一のオブジェクトであると判断することを含む、方法。
請求項8に記載の方法であって、
前記検出の結果に基づいて、オブジェクトの移動状態の検出をさらに含む、方法。
請求項12に記載の方法であって、
オブジェクトの移動状態の検出は、
各逆マッピング画像から検出されたオブジェクトが同一のオブジェクトであると判断された場合、それぞれ各逆マッピング画像に基づいて該オブジェクトの移動速度を計算し；及び
それぞれ各逆マッピング画像に基づいて計算された該オブジェクトの各移動速度の差に基づいて、オブジェクトの移動状態を検出することを含む、方法。