JP2012253723A - 画像表示装置及び画像表示方法 - Google Patents

画像表示装置及び画像表示方法 Download PDF

Info

Publication number
JP2012253723A
JP2012253723A JP2011127186A JP2011127186A JP2012253723A JP 2012253723 A JP2012253723 A JP 2012253723A JP 2011127186 A JP2011127186 A JP 2011127186A JP 2011127186 A JP2011127186 A JP 2011127186A JP 2012253723 A JP2012253723 A JP 2012253723A
Authority
JP
Japan
Prior art keywords
image
area
frame
congestion
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011127186A
Other languages
English (en)
Other versions
JP5810296B2 (ja
Inventor
Takeshi Fujimatsu
健 藤松
Mikio Morioka
幹夫 森岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011127186A priority Critical patent/JP5810296B2/ja
Priority to US14/123,771 priority patent/US9600732B2/en
Priority to PCT/JP2012/003534 priority patent/WO2012169149A1/en
Priority to CN201280027875.XA priority patent/CN103688292B/zh
Priority to EP12726500.7A priority patent/EP2718898A1/en
Publication of JP2012253723A publication Critical patent/JP2012253723A/ja
Application granted granted Critical
Publication of JP5810296B2 publication Critical patent/JP5810296B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Abstract

【課題】全周囲画像のように、混雑領域と、非混雑領域と、が混在する可能性がある撮像画像において、安定した見易い検出枠及び切出画像を得ることができる画像表示装置を提供すること。
【解決手段】混雑領域検出部102は、撮像画像の動き領域を検出することで、撮像画像から混雑領域を検出する。物体検出部103は、パターンマッチングを行うことで、撮像画像からターゲットの画像を検出する。検出枠形成部110は、混雑領域検出部102によって検出された混雑領域を囲む混雑領域枠と物体検出部103によって検出されたターゲットの画像を囲む物体検出枠とを形成する。
【選択図】図1

Description

本発明は、例えば監視カメラにより得られた撮像画像から人物を検出し、その人物を検出枠で囲んで表示し、さらにはその人物を切り出して表示する画像表示装置及び画像表示方法に関する。特に、混雑領域が存在する撮像画像に適用して好適な技術である。
従来、監視カメラ、車載用カメラ等のビデオカメラでは、人物等のターゲット画像を自動追尾する自動追尾機能を有するものがある。ところで、物体を自動追尾するためには、物体を検出する必要があるが、物体が密集している混雑領域では物体同士が邪魔になって検出精度が低下する。よって、混雑領域では、自動追尾が失敗したり、自動追尾の精度が著しく低下する可能性がある。
特許文献1には、混雑領域の画像のように追尾が困難な画像に対しては非追尾モードを選択し、指定した固定の範囲を撮像することにより、無理な追尾を止めて誤追尾の可能性を低くする、自動追尾装置が開示されている。
特開2007−068008号公報 特開2009−110054号公報 特開2009−110152号公報
ところで、特許文献1に記載された技術は、パン、チルト及びズーム機能を有する所謂PTZカメラにおける自動追尾を想定したものである。従って、撮影領域が限定される。例えば、複数の別の動きをする人物がいる場合、ある人物をPTZを行いながら追尾すると、その人物とは別の動きをしている他の人物は撮影画角に入らなくなる可能性が高い。また、特許文献1の技術を採用すると、混雑領域から離れた場所に人物が現れた場合には、この人物は撮影画角から外れてしまう可能性が高い。
一方で、全周囲カメラのように広範囲の領域を撮像するカメラによって得られた画像からターゲット画像を検出し、この検出画像を検出枠で囲んで追尾したり、電子的なPTZを行って切り出す場合には、上述したような、あるターゲットが画角から外れてしまうといった不都合は回避できる。
しかしながら、全周囲カメラのように広範囲の領域を撮像するカメラによって得られた画像であり、かつ、混雑領域を含む画像において、どのように検出枠を形成し、どのように画像を切り出せば、安定した見易い画像を得ることができるかについては、十分な検討がなされていなかった。
本発明は、以上の点を考慮してなされたものであり、全周囲画像のように、混雑領域と、非混雑領域と、が混在する可能性がある撮像画像において、安定した見易い検出枠及び切出画像を得ることができる画像表示装置及び画像表示方法を提供することを目的とする。
本発明の画像表示装置の一つの態様は、撮像画像の動き領域を検出することで、前記撮像画像から混雑領域を検出する混雑領域検出部と、パターンマッチングを行うことで、前記撮像画像からターゲットの画像を検出する物体検出部と、前記混雑領域検出部によって検出された前記混雑領域を囲む混雑領域枠と、前記物体検出部によって検出された前記ターゲットの画像を囲む物体検出枠と、を形成する検出枠形成部と、を具備する。
本発明の画像表示装置の一つの態様は、前記混雑領域枠に囲まれた領域の画像及び前記物体検出枠に囲まれた領域の画像を、前記撮像画像から切り出す画像切出し部を、さらに具備する。
本発明の画像表示方法の一つの態様は、撮像画像の動き領域を検出することで、前記撮像画像から混雑領域を検出する混雑領域検出ステップと、パターンマッチングを行うことで、前記撮像画像からターゲットの画像を検出する物体検出ステップと、前記混雑領域検出ステップで検出された前記混雑領域を囲む混雑領域枠と、前記物体検出ステップで検出された前記ターゲットの画像を囲む物体検出枠と、を形成する検出枠形成ステップと、を含む。
本発明の画像表示方法の一つの態様は、前記混雑領域枠に囲まれた領域の画像及び前記物体検出枠に囲まれた領域の画像を、前記撮像画像から切り出す画像切出しステップを、さらに含む。
本発明によれば、混雑検出と物体検出とをそれぞれに適した異なる方法で行って、検出枠(混雑領域枠及び物体検出枠)を形成したことにより、安定した見易い検出枠及び切出画像を得ることができる。
本発明の実施の形態に係る画像表示装置の構成を示すブロック図 距離算出部による距離算出処理の説明に供する図であり、図2Aは、全周囲画像上の距離d1及びパノラマ展開画像上の周方向の距離d2を示す図、図2Bは、パノラマ展開画像上の周方向の距離d2及びパノラマ展開画像上の縦方向の距離d3を示す図 画像表示装置による検出枠の形成動作の説明に供するフローチャート 検出枠形成部によって形成される検出枠の例を示す図 検出枠形成部によって形成される検出枠の例を示す図であり、特に、移動人物が存在する場合の例を示す図 実施の形態の画像表示装置による第1の表示画像例を示す図 実施の形態の画像表示装置による第2の表示画像例を示す図 実施の形態の画像表示装置による第3の表示画像例を示す図 実施の形態の画像表示装置による第4の表示画像例を示す図
以下、本発明の実施の形態について図面を参照して詳細に説明する。
以下の実施の形態では、主に、ターゲットの画像が人物画像である例について説明するが、ターゲットの画像は人物画像に限らない。ターゲットの画像は、例えば車両やその他の物体であってもよい。
図1に、本実施の形態の画像表示装置の構成を示す。画像表示装置100は、画像入力部101に全周囲カメラにより得られた全周囲画像を入力する。なお、画像入力部101に入力される画像は、全周囲画像に限らず、広角ビデオカメラにより得られた撮像画像であればよい。画像入力部101は、入力された撮像画像を混雑領域検出部102及び物体検出部103に出力する。
混雑領域検出部102は、撮像画像の動き領域を検出することで、撮像画像から混雑領域を検出する。混雑領域検出部102は、動き情報算出部104及び混雑領域決定部105を有する。動き情報算出部104は、入力された撮像画像に対してフレーム間差分を算出することで、差分値が閾値以上の領域を前景領域(換言すれば、動き領域)として求める。動き情報算出部104は、求めた前景領域の情報(動き領域の情報)を、混雑領域決定部105に出力する。
混雑領域決定部105は、前景領域の情報をクラスタリングし、前景領域の面積が閾値以上の領域を、混雑領域と決定する。このような、動き情報を用いた混雑領域の決定方法については、例えば特許文献2、3にも記載されている。ここで、混雑領域を決定するために用いる前記閾値は、撮像画像が全周囲画像の場合には、全周囲画像上の中心からの距離に応じて変えることが好ましい。具体的には、一般に、全周囲画像は、同一面積の対象を撮像した場合、画像中心ほど大きな領域として撮像されるので、前記閾値は、画像中心ほど大きな値に設定すると好ましい。これにより、全領域で公平な混雑度推定を行うことができる。混雑領域決定部105は、決定した混雑領域の情報を検出枠形成部110に出力する。
物体検出部103は、パターンマッチングを行うことで、撮像画像からターゲットの画像を検出する。本実施の形態の場合、ターゲットは人物なので、物体検出部103は、予め用意した人物パターンと、撮像画像との間でパターン認識処理を行うことで、撮像画像中の人物を検出する。物体検出部103は、検出した人物の画像上での位置情報を、物体位置記憶部106、移動方向算出部107及び距離算出部108に出力する。
移動方向算出部107は、物体検出部103によって検出された各人物の移動方向を算出する。具体的には、移動方向算出部107は、各人物について、物体位置記憶部106に記憶された過去の位置と、新たに入力された現在の位置とから、移動方向を算出する。移動方向算出部107は、算出した各人物の移動方向を検出枠形成部110に出力する。
距離算出部108は、物体検出部103によって検出された各人物間の距離を算出する。距離算出部108は、例えば、以下のi)〜iii)のいずれかの方法で、図2の距離d1、d2又はd3を算出する。つまり、算出する距離は、d1であってもよく、d2であってもよく、d3であってもよい。
i)図2Aに示すような、全周囲画像上の距離d1を算出する。
ii)図2A、図2Bに示すような、パノラマ展開画像上の周方向の距離d2を算出する。
iii)図2Bに示すような、パノラマ展開画像上の縦方向の距離d3を算出する。
距離算出部108は、算出した距離d1、d2又はd3を検出枠形成部110に出力する。
検出枠形成部110は、混雑領域検出部102によって検出された混雑領域を囲む混雑領域枠と、物体検出部103によって検出された人物の画像を囲む物体検出枠と、を形成する。
検出枠形成部110は、先ず、混雑領域と、検出人物とを、グループ分けする。この際、混雑領域は1つのグループ(同一グループ)として扱われる。検出人物は、互いの距離が閾値未満の検出人物同士が同一グループとして扱われる。検出枠形成部110は、同一グループを囲む枠を検出枠として形成する。つまり、混雑領域を囲む検出枠が混雑領域枠として形成され、互いの距離が閾値未満の検出人物同士を囲む枠が物体検出枠として形成される。
ここで、検出枠形成部110がグループ分けするグループ数(換言すれば、形成する枠数)は、最大表示数保持部111によって保持されているグループ数以内である。つまり、最大表示数保持部111に保持されているグループ数が例えば3の場合には、最大グループ数(最大枠数)は、3である。なお、最大表示数保持部111によって保持するのは、最大グループ数(最大枠数)に限らず、例えば、枠の最大サイズであってもよい。
検出枠形成部110は、以下の規則に従ってグループ分け及び検出枠の形成を行う。
a) 混雑領域検出部102によって検出された混雑領域が存在する場合には、その混雑領域に、物体検出部103によって検出された人物よりも、優先的に検出枠を割り当てて、混雑領域枠を形成する。
b) 物体検出部103によって検出された人物については、検出された人物間の距離に基づいてグループ分けしながら、物体検出枠を形成する。
c) 物体検出部103によって検出された人物画像のうち、混雑領域枠外に存在する人物画像に対して物体検出枠を形成する。換言すれば、混雑領域枠内に包含される物体検出枠は形成しない。
d) 混雑領域の方向に移動している人物は、混雑領域と同一の検出枠内に含める。あるいは、混雑領域の方向に移動している人物が存在する場合には、混雑領域の検出枠のサイズを徐々に移動人物の方向に拡大しながら、移動人物を徐々に混雑領域と同一の検出枠内に包含させる。
上記a)及びc)のように、物体検出枠よりも混雑領域枠を優先して形成するようにしたのは、物体検出部によるパターンマッチングを用いた人物検出では、混雑領域において検出が不安定になるためである。換言すれば、混雑領域では、検出が不安定である個別追尾を行わずに(つまり個別追尾枠を形成せずに)、混雑領域枠を形成したことにより、安定して見易い検出枠の形成及び画像切出しを行うことができるようになる。
また、上記b)のようにしたことにより、物体検出枠の無駄な増加を抑制して、見易い物体検出枠及び切出し画像を得ることができる。
また、上記d)のようにしたことにより、混雑領域枠に沿った画像切出しを行った場合に、混雑領域と移動人物との位置関係が分かり易い切出し画像を得ることができる。
なお、検出枠のサイズは、検出枠の数などに応じて変更してもよく、固定でもよい。検出枠形成部110は、形成した検出枠の情報を画像切出し部112に出力する。
画像切出し部112は、検出枠に沿って画像を切り出す。これにより、各検出枠に囲まれた領域の切出し画像が得られる。画像切出し部112は、切出し画像を歪補正部113に出力する。
歪補正部113は、各切出し画像を歪補正し、歪補正後の切出し画像を画像出力部114に出力する。具体的には、全周囲画像から切り出された画像は、中心ほど大きく写っているので、歪補正部113は、周辺部ほど画素を補間しながら拡大する歪補正処理を行う。
画像出力部114は、歪補正後の切出し画像の向きを調整する処理や、画面上での配置を調整する処理等を行い、処理後の画像をモニタに出力する。
図3は、画像表示装置100による検出枠の形成動作の説明に供するフローチャートである。
画像表示装置100においては、ステップST1で処理を開始すると、ステップST2で混雑領域決定部105が混雑領域を決定し、ステップST3で物体検出部103が人物を検出する。続くステップST4では、検出枠形成部110が混雑領域情報及び人物間の距離情報に基づいてグループ分けを行い、ステップST5では検出枠形成部110が検出枠を形成する。続く、ステップST6では、検出枠形成部110が検出された各人物が移動しているか否かを判断し、移動していると判断した場合には、ステップST7に移って、混雑領域の検出枠のサイズを移動している人物の方向に拡大する。画像表示装置100は、ステップST8で検出枠の形成処理を終了する。
次に、図4及び図5を用いて、検出枠形成部110によって形成される検出枠について説明する。図4は移動人物が存在しない場合の例を示し、図5は移動人物が存在する場合の例を示す。なお、図4及び図5の例では、人物間の距離として、図2A、図2Bで説明した、パノラマ展開画像上の周方向の距離d2を用いるものとする。また、最大表示数保持部111によって保持されているグループ数(つまり最大枠数)は、3であるとする。
図4Aは、3人の人物間の距離がすべて所定値以上の例であり、この場合、各人物は別々のグループに分けられ、別々の検出枠(物体検出枠)によって囲まれる。
図4Bは、2人の人物間の距離が所定値未満で、これらの人物から他の1人の人物までの距離が所定値以上の例である。この場合、2人の人物は、同一のグループに分けられ、同一の検出枠によって囲まれる。他の1人の人物は、別のグループに分けられ、別の検出枠によって囲まれる。図4Cは、図4Bと同様に、2人の人物のグループと、1人の人物のグループにグループ分けが行われた例である。図4Cでは、図2Aに示すような全周囲画像上の距離d1は小さいが、図2A、図2Bで示すようなパノラマ展開画像上の周方向の距離d2が所定値以上なので、1人の人物は2人の人物とは別のグループに分けられている。
図4Dは、混雑領域が混在する場合の例である。混雑領域は、優先的に同一グループとされ、検出枠によって囲まれる。混雑領域以外の領域で検出された人物については、2人の人物間の距離は所定値未満で、これらの人物から他の1人の人物までの距離は所定値以上である。よって、2人の人物は、同一のグループに分けられ、同一の検出枠によって囲まれ、他の1人の人物は、別のグループに分けられ、別の検出枠によって囲まれる。
次に、図5を用いて、混雑領域及び移動人物が存在する場合の例について説明する。図5Aに示すように、混雑領域は混雑領域枠によって囲まれ、混雑領域以外の領域で検出された人物は物体検出枠によって囲まれる。ここで、1人の人物が矢印で示すように、混雑領域に近づく方向に移動している。すると、図5Bに示すように、混雑領域枠は近づいてくる人物の方向に拡大される。やがて、図5Cに示すように、移動人物は混雑領域枠内に入る。図5Dに示すように、移動人物の物体検出枠が完全に混雑領域枠内に収まると、移動人物の物体検出枠は消去される。つまり、移動人物の追尾が終了する。
次に、本実施の形態の画像表示装置100により得られる表示画像の例を示す。以下に説明する表示画像例では、画面を4分割し、左上の分割領域に全周囲画像を表示し、他の3つの分割領域に切出し画像を表示するようになっている。
[第1の表示画像例]
図6に、第1の表示画像例を示す。全周囲画像には検出枠が表示される。ここで、混雑領域枠と、物体検出枠は、例えば異なる色で識別可能に表示される。図では、便宜上、物体検出枠が実線で示され、混雑領域枠が点線で示されている。なお、物体検出枠は、物体の移動に伴って移動するので、追尾枠と呼ぶこともできる。
図6A、図6B、図6C、図6D、図6Eは、この順序で順次変化する時系列のフレーム画像を示す。
図6A、図6Bでは、3人の人物が物体検出部103によって検出され、3つの物体検出枠が形成され、3つの切出しが表示されている。
一方、図6Cの状態では、混雑領域が検出され、混雑領域枠が形成され、混雑領域枠によって包含された画像が切出し画像として表示されている。
図6Dの状態では、非混雑領域に人物が現れ、この人物を囲む新たな物体検出枠が形成され、この検出枠によって包含された画像が切出し画像として表示されている。
図6Eの状態では、混雑領域の1人の人物が非混雑領域に移動し、この人物が物体検出部103によって検出され、この人物を囲む新たな物体検出枠が形成され、この検出枠によって包含された画像が切出し画像として表示されている。
[第2の表示画像例]
図7に、第2の表示画像例を示す。この表示画像例は、混雑領域の方向に移動している人物が存在する場合の表示画像例である。
図7Aの状態では、混雑領域が検出され、混雑領域枠が形成され、この混雑領域枠によって包含される画像が切り出されて表示されている。図7Bの状態では、非混雑領域に人物が現れ、この人物を囲む新たな物体検出枠が形成され、この物体検出枠によって包含される画像が切出し画像として表示されている。
図7C及び図7Dの状態では、非混雑領域の人物が混雑領域の方向に移動していることが検出されたので、混雑領域枠が移動人物の方向に拡大されている。これにより、図7C及び図7Dの右上の分割画面からも分かるように、混雑領域の画像の隅に移動人物が表示されるので、混雑領域と移動人物との位置関係が分かり易い表示を行うことができる。
図7Eの状態は、移動人物が混雑領域枠に完全に入った状態(実際には、移動人物の物体検出枠が混雑領域枠に完全に入った状態)を示すもので、この状態では、移動人物の物体検出枠の表示は終了され、この人物に対する個別の切出し表示も終了される。
図7F及び図7Gは、混雑領域枠内のある人物が混雑領域枠から離れていく状態を示すものである。図7Fに示すように、混雑領域と移動人物との距離(この距離は検出枠形成部110で計算すればよい)が所定値未満の場合には、混雑領域枠を移動人物の方向に拡大することで、混雑領域の切出し画像に移動人物が入るようにする。やがて、混雑領域と移動人物との距離が所定値以上になると、図7Gに示すように、混雑領域枠の拡大が終了されると共に移動人物の物体検出枠が形成され、混雑領域と移動人物が完全に独立に切出されて表示される。
[第3の表示画像例]
図8に、第3の表示画像例を示す。この表示画像例は、図8C又は図8Hに示すように、混雑領域に近づく又は混雑領域から遠ざかる移動人物が存在する場合に、移動人物の移動に合わせて移動するウィンドウを表示するものである。ウィンドウ内には移動人物が切り出して表示される。
具体的には、混雑領域の方向に移動してくる人物が存在する場合には、図8Cに示すように、この人物を切り出したウィンドウをモニタに表示する。このとき、ウィンドウの位置は、切り出されて分割表示された混雑領域画像とウィンドウとの位置関係が、実空間上での、混雑領域と移動人物との位置関係に同じになるように、設定される。また、ウィンドウの近傍には移動人物の移動方向を表す矢印が表示される。これにより、移動人物が混雑領域にどのようにして接近してくるかを一目で認識できるようになる。
一方、混雑領域から離れていく人物が存在する場合には、図8Hに示すように、この人物を切り出したウィンドウをモニタに表示する。また、ウィンドウの近傍には移動人物の移動方向を表す矢印が表示される。これにより、移動人物が混雑領域からどのようにして離れていくかを一目で認識できるようになる。
このような、ウィンドウ表示処理は、画像出力部114によって行えばよい。
図8C、図8H以外の、図8A、図8B、図8D、図8E、図8F、図8G、図8Iは、実質的に、図7で説明した表示状態と同様なので、ここでの説明は省略する。
[第4の表示画像例]
図9に、第4の表示画像例を示す。この表示画像例では、全周囲画像内に新たな人物が現れた場合に、図9Cに示すように、この人物を切り出したウィンドウをモニタに表示する。このとき、ウィンドウの位置は、既に表示されている切出し画像(図9Cの例では、切り出されて分割表示された混雑領域画像)とウィンドウとの位置関係が、実空間上での位置関係と同じになるように、設定される。また、新たに現れた人物とウィンドウとを例えば図9Cに示すように矢印で関連付ける。これにより、ウィンドウ画像がどの人物のものであるかが識別し易くなる。このようにすることで、全周囲画像と切出し画像との対応付けが分かり、見易い表示が可能となる。
[効果]
以上説明したように、本実施の形態によれば、撮像画像の動き領域を検出することで、撮像画像から混雑領域を検出する混雑領域検出部102と、パターンマッチングを行うことで、撮像画像からターゲットの画像を検出する物体検出部103と、混雑領域検出部102によって検出された混雑領域を囲む混雑領域枠と物体検出部103によって検出されたターゲットの画像を囲む物体検出枠とを形成する検出枠形成部110と、を設けた。
これにより、混雑領域以外の物体については、物体検出部103によって高い検出精度が得られるので、物体検出部103での検出結果を基に物体検出枠及び切出し画像を得る一方、混雑領域の物体は、物体検出部103によって高い検出精度が得られないので、混雑領域検出部102での検出結果を基に混雑領域枠及び切出し画像を得る、といった処理を行うことができるようになる。この結果、安定して見易い検出枠の形成及び画像切出しを行うことができるようになる。
つまり、全周囲画像のように、人物の混雑領域と、非混雑領域と、が混在する可能性がある撮像画像において、混雑領域での物体検出枠(追尾枠)の不安定な表示を回避しつつ、非混雑領域では物体検出枠(追尾枠)を安定して表示できるようになる。つまり、混雑領域については、物体検出枠(追尾枠)の表示を止めて、それに代えて、物体検出枠とは別の方法で検出された混雑領域枠を表示することにより、安定して見易い検出枠を表示できるようになる。そして、このような安定した検出枠を基に切出しを行うので、安定した切出し表示を行うことができるようになる。
なお、上述の実施の形態の画像表示装置100は、メモリ・CPUを含むパソコン等のコンピュータによって構成することができる。そして、画像表示装置100を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをCPUが読み出して実行処理することで実現できる。
本発明は、例えば全周囲カメラにより得られた全周囲画像に対して、ターゲットの検出枠を形成して表示し、ターゲットの切出し画像を表示させる場合に好適である。
100 画像表示装置
102 混雑領域検出部
103 物体検出部
104 動き情報算出部
105 混雑領域決定部
107 移動方向算出部
108 距離算出部
110 検出枠形成部
112 画像切出し部

Claims (10)

  1. 撮像画像の動き領域を検出することで、前記撮像画像から混雑領域を検出する混雑領域検出部と、
    パターンマッチングを行うことで、前記撮像画像からターゲットの画像を検出する物体検出部と、
    前記混雑領域検出部によって検出された前記混雑領域を囲む混雑領域枠と、前記物体検出部によって検出された前記ターゲットの画像を囲む物体検出枠と、を形成する検出枠形成部と、
    を具備する画像表示装置。
  2. 前記混雑領域枠に囲まれた領域の画像及び前記物体検出枠に囲まれた領域の画像を、前記撮像画像から切り出す画像切出し部を、さらに具備する、
    請求項1に記載の画像表示装置。
  3. 前記混雑検出部は、フレーム間差分値に基づいて検出された動き領域に基づき、当該動き領域の面積が閾値以上の領域を、前記混雑領域と決定する、
    請求項1又は請求項2に記載の画像表示装置。
  4. 前記検出枠形成部は、前記物体検出枠よりも、前記混雑領域枠を優先的に形成する、
    請求項1から請求項3のいずれか一項に記載の画像表示装置。
  5. 前記検出枠形成部は、前記物体検出部によって検出された前記ターゲットの画像のうち、前記混雑領域枠外に存在する前記ターゲットの画像に対して前記物体検出枠を形成する、
    請求項1から請求項4のいずれか一項に記載の画像表示装置。
  6. 前記検出枠形成部は、前記混雑領域枠内に包含される前記物体検出枠は形成しない、
    請求項1から請求項5のいずれか一項に記載の画像表示装置。
  7. 前記物体検出部により得られた検出結果に基づいて、前記ターゲットの移動方向を算出する移動方向算出部を、さらに具備し、
    前記検出枠形成部は、前記物体検出部で検出された前記ターゲットの移動方向が前記混雑領域に接近する方向である場合、前記混雑領域枠を前記ターゲットの方向に拡大する、
    請求項1から請求項6のいずれか一項に記載の画像表示装置。
  8. 前記物体検出部により得られた検出結果に基づいて、前記ターゲット間の距離を算出する距離算出部を、さらに具備し、
    前記検出枠形成部は、前記物体検出部で検出された前記ターゲットの画像のうち、ターゲット間の距離が閾値以下のターゲットの画像を、同一の物体検出枠によって囲む、
    請求項1から請求項7のいずれか一項に記載の画像表示装置。
  9. 撮像画像の動き領域を検出することで、前記撮像画像から混雑領域を検出する混雑領域検出ステップと、
    パターンマッチングを行うことで、前記撮像画像からターゲットの画像を検出する物体検出ステップと、
    前記混雑領域検出ステップで検出された前記混雑領域を囲む混雑領域枠と、前記物体検出ステップで検出された前記ターゲットの画像を囲む物体検出枠と、を形成する検出枠形成ステップと、
    を含む画像表示方法。
  10. 前記混雑領域枠に囲まれた領域の画像及び前記物体検出枠に囲まれた領域の画像を、前記撮像画像から切り出す画像切出しステップを、さらに含む、
    請求項9に記載の画像表示方法。
JP2011127186A 2011-06-07 2011-06-07 画像表示装置及び画像表示方法 Active JP5810296B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011127186A JP5810296B2 (ja) 2011-06-07 2011-06-07 画像表示装置及び画像表示方法
US14/123,771 US9600732B2 (en) 2011-06-07 2012-05-30 Image display apparatus and image display method
PCT/JP2012/003534 WO2012169149A1 (en) 2011-06-07 2012-05-30 Image display apparatus and image display method
CN201280027875.XA CN103688292B (zh) 2011-06-07 2012-05-30 图像显示装置和图像显示方法
EP12726500.7A EP2718898A1 (en) 2011-06-07 2012-05-30 Image display apparatus and image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011127186A JP5810296B2 (ja) 2011-06-07 2011-06-07 画像表示装置及び画像表示方法

Publications (2)

Publication Number Publication Date
JP2012253723A true JP2012253723A (ja) 2012-12-20
JP5810296B2 JP5810296B2 (ja) 2015-11-11

Family

ID=46229898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011127186A Active JP5810296B2 (ja) 2011-06-07 2011-06-07 画像表示装置及び画像表示方法

Country Status (5)

Country Link
US (1) US9600732B2 (ja)
EP (1) EP2718898A1 (ja)
JP (1) JP5810296B2 (ja)
CN (1) CN103688292B (ja)
WO (1) WO2012169149A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014192770A (ja) * 2013-03-28 2014-10-06 Denso Corp 車両用周辺監視制御装置
JP2016085675A (ja) * 2014-10-28 2016-05-19 セコム株式会社 移動物体追跡装置
JP2017038742A (ja) * 2015-08-18 2017-02-23 株式会社ユニバーサルエンターテインメント 情報処理装置
JPWO2015198767A1 (ja) * 2014-06-27 2017-04-20 日本電気株式会社 異常検知装置及び異常検知方法
US10607088B2 (en) 2015-04-14 2020-03-31 Sony Corporation Image processing device, image processing method, and image processing system
JPWO2022004302A1 (ja) * 2020-06-30 2022-01-06
JP2022139871A (ja) * 2021-03-12 2022-09-26 大日本印刷株式会社 撮影システム
WO2022264551A1 (ja) * 2021-06-18 2022-12-22 パナソニックIpマネジメント株式会社 通知システム、通知方法、プログラム及び管理システム

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014220724A (ja) * 2013-05-10 2014-11-20 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP6032163B2 (ja) * 2013-09-11 2016-11-24 トヨタ自動車株式会社 三次元物体認識装置、三次元物体認識方法、及び移動体
EP3185206B1 (en) * 2015-12-22 2018-09-26 Thomson Licensing Methods and systems for image processing of digital images
US10867166B2 (en) * 2016-06-22 2020-12-15 Sony Corporation Image processing apparatus, image processing system, and image processing method
KR20180042777A (ko) * 2016-10-18 2018-04-26 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
EP3496100A1 (en) * 2017-12-08 2019-06-12 Nokia Technologies Oy Method and apparatus for applying video viewing behavior
JP7188067B2 (ja) * 2018-12-27 2022-12-13 オムロン株式会社 人検出装置および人検出方法
CN112437249B (zh) * 2019-08-26 2023-02-07 杭州海康威视数字技术股份有限公司 一种人员跟踪方法及一种人员跟踪系统
TWI749365B (zh) * 2019-09-06 2021-12-11 瑞昱半導體股份有限公司 移動影像整合方法及移動影像整合系統
CN112511764A (zh) * 2019-09-16 2021-03-16 瑞昱半导体股份有限公司 移动图像整合方法及移动图像整合系统
CN111343393A (zh) * 2020-02-25 2020-06-26 四川新视创伟超高清科技有限公司 超高清视频切画方法
CN111327841A (zh) * 2020-02-25 2020-06-23 四川新视创伟超高清科技有限公司 基于x86架构的超高清视频切画方法及其系统
CN111314660A (zh) * 2020-02-25 2020-06-19 四川新视创伟超高清科技有限公司 应用于超高清视频切画的视频信号处理方法及系统
CN111311645A (zh) * 2020-02-25 2020-06-19 四川新视创伟超高清科技有限公司 超高清视频切画目标跟踪识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007174A (ja) * 2002-05-31 2004-01-08 Toshiba Corp 画像処理システム、画像処理方法、画像処理プログラム
JP2007311860A (ja) * 2006-05-16 2007-11-29 Opt Kk 画像処理装置、カメラ装置および画像処理方法
JP2010102596A (ja) * 2008-10-26 2010-05-06 Sanyo Electric Co Ltd 画像処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4594197B2 (ja) 2005-09-01 2010-12-08 パナソニック株式会社 自動追尾装置
JP4966820B2 (ja) 2007-10-29 2012-07-04 パナソニック株式会社 混雑推定装置および方法
JP4624396B2 (ja) 2007-10-26 2011-02-02 パナソニック株式会社 状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法および異常判定プログラム
US20090296989A1 (en) * 2008-06-03 2009-12-03 Siemens Corporate Research, Inc. Method for Automatic Detection and Tracking of Multiple Objects
JP4715909B2 (ja) * 2008-12-04 2011-07-06 ソニー株式会社 画像処理装置及び方法、画像処理システム、並びに、画像処理プログラム
US8494553B2 (en) * 2011-01-11 2013-07-23 Qualcomm Incorporated Position determination using horizontal angles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007174A (ja) * 2002-05-31 2004-01-08 Toshiba Corp 画像処理システム、画像処理方法、画像処理プログラム
JP2007311860A (ja) * 2006-05-16 2007-11-29 Opt Kk 画像処理装置、カメラ装置および画像処理方法
JP2010102596A (ja) * 2008-10-26 2010-05-06 Sanyo Electric Co Ltd 画像処理装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014192770A (ja) * 2013-03-28 2014-10-06 Denso Corp 車両用周辺監視制御装置
JPWO2015198767A1 (ja) * 2014-06-27 2017-04-20 日本電気株式会社 異常検知装置及び異常検知方法
US10846536B2 (en) 2014-06-27 2020-11-24 Nec Corporation Abnormality detection device and abnormality detection method
US11106918B2 (en) 2014-06-27 2021-08-31 Nec Corporation Abnormality detection device and abnormality detection method
US11250268B2 (en) 2014-06-27 2022-02-15 Nec Corporation Abnormality detection device and abnormality detection method
JP2016085675A (ja) * 2014-10-28 2016-05-19 セコム株式会社 移動物体追跡装置
US10607088B2 (en) 2015-04-14 2020-03-31 Sony Corporation Image processing device, image processing method, and image processing system
JP2017038742A (ja) * 2015-08-18 2017-02-23 株式会社ユニバーサルエンターテインメント 情報処理装置
JPWO2022004302A1 (ja) * 2020-06-30 2022-01-06
WO2022004302A1 (ja) * 2020-06-30 2022-01-06 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2022139871A (ja) * 2021-03-12 2022-09-26 大日本印刷株式会社 撮影システム
WO2022264551A1 (ja) * 2021-06-18 2022-12-22 パナソニックIpマネジメント株式会社 通知システム、通知方法、プログラム及び管理システム

Also Published As

Publication number Publication date
WO2012169149A1 (en) 2012-12-13
JP5810296B2 (ja) 2015-11-11
US20140098996A1 (en) 2014-04-10
US9600732B2 (en) 2017-03-21
CN103688292B (zh) 2017-06-23
CN103688292A (zh) 2014-03-26
EP2718898A1 (en) 2014-04-16

Similar Documents

Publication Publication Date Title
JP5810296B2 (ja) 画像表示装置及び画像表示方法
JP6621798B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20230059657A1 (en) Multi-camera zoom control method and apparatus, and electronic system and storage medium
JP4912117B2 (ja) 追跡機能付き撮像装置
JP5284048B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5592006B2 (ja) 三次元画像処理
JP5906028B2 (ja) 画像処理装置、画像処理方法
US9648229B2 (en) Image processing device and associated methodology for determining a main subject in an image
JP5746937B2 (ja) オブジェクト追跡装置
US9823331B2 (en) Object detecting apparatus, image capturing apparatus, method for controlling object detecting apparatus, and storage medium
JP5484184B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2007166269A (ja) 画像処理装置、撮像装置および画像処理方法
JP2007280043A (ja) 映像監視検索システム
WO2012086188A1 (ja) カメラ装置、画像処理システム、画像処理方法および画像処理プログラム
US20050052533A1 (en) Object tracking method and object tracking apparatus
US8625922B2 (en) Image processing method and program for determining whether sabotage has occurred to an image
JP2010114752A (ja) 撮像装置及び撮像方法及びプログラム
JP2008281385A (ja) 画像処理装置
JP2013218432A (ja) 画像処理装置、画像処理方法、画像処理用プログラム、および、記録媒体
JP5884723B2 (ja) 画像合成装置、画像合成方法及びプログラム
TWI693828B (zh) 顯示擷取裝置與其操作方法
JP4198536B2 (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
JP6367037B2 (ja) 画像処理装置、画像処理プログラム、電子機器及び画像処理方法
JP2008211534A (ja) 顔検知装置
JP5768172B2 (ja) 画像表示制御方法及びその装置並びに画像撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140417

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141008

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20141024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150414

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150416

R151 Written notification of patent or utility model registration

Ref document number: 5810296

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151