JP2012134920A - カメラ装置、画像処理システムおよび画像処理方法 - Google Patents

カメラ装置、画像処理システムおよび画像処理方法 Download PDF

Info

Publication number
JP2012134920A
JP2012134920A JP2010287420A JP2010287420A JP2012134920A JP 2012134920 A JP2012134920 A JP 2012134920A JP 2010287420 A JP2010287420 A JP 2010287420A JP 2010287420 A JP2010287420 A JP 2010287420A JP 2012134920 A JP2012134920 A JP 2012134920A
Authority
JP
Japan
Prior art keywords
image
shooting
reference position
distance
cutout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010287420A
Other languages
English (en)
Other versions
JP5613041B2 (ja
Inventor
Kazuhiro Tsubota
一広 坪田
Junya Kuwata
純哉 桑田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2010287420A priority Critical patent/JP5613041B2/ja
Priority to PCT/JP2011/007121 priority patent/WO2012086188A1/ja
Priority to US13/883,129 priority patent/US8928778B2/en
Publication of JP2012134920A publication Critical patent/JP2012134920A/ja
Application granted granted Critical
Publication of JP5613041B2 publication Critical patent/JP5613041B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】 撮影対象がカメラ装置の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることのできるカメラ装置を提供する。
【解決手段】 カメラ装置1は、撮影エリアを上方から撮影した撮影エリア画像を生成する撮像部2と、撮影エリア画像から切り出された切出し画像を用いて、撮像エリア内を移動する撮影対象の表示画像を生成する表示画像生成部3を備える。この場合、撮影エリア画像で撮影対象に対応する切出し基準位置Pが決定され、撮影エリア画像で撮像部に対応する撮影基準位置Oと切出し基準位置Pとの間の距離である基準距離rが算出される。基準距離rが小さい場合には、撮影エリア画像での撮影対象の傾きに対応する基準角度θと基準距離rとに基づいて、表示画像を生成するときに切出し画像を回転させる回転角θNEWが算出される。
【選択図】 図1

Description

本発明は、撮影エリアを上方から撮影した画像(撮影エリア画像)から切り出された切出し画像を用いて、撮影エリア内を移動する撮影対象の表示画像を生成する機能を備えたカメラ装置に関するものである。
従来、魚眼レンズを備えたカメラで撮影した全方位画像(魚眼画像)を処理して表示画像を生成するシステムが提案されている(例えば、特許文献1〜特許文献3参照)。そのような画像処理システムの一つとして、撮影エリアを上方から撮影した画像(撮影エリア画像)から切り出された切出し画像を用いて、撮影エリア内を移動する撮影対象の表示画像を生成するシステムが知られている。
このような従来のシステムでは、魚眼レンズを備えたカメラで撮影エリア画像を撮影するため、撮影エリア画像における撮影対象の位置に応じて、その撮影対象が傾くことになる。したがって、撮影エリア画像から切り出して切出し画像から表示画像を生成するときに、その傾きに応じて切出し画像を回転させる処理が行われる。
特開2006−20141号公報 特開2008−33607号公報 特開2006−301034号公報
しかしながら、従来のシステムにおいては、切出し画像を回転させる処理の影響で、撮影対象がカメラの真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化することになり、表示画像が見難くなるという問題があった。
本発明は、上記従来の問題を解決するためになされたもので、撮影対象がカメラ装置の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることのできるカメラ装置を提供することを目的とする。
本発明のカメラ装置は、撮影エリアの上方に設置され、前記撮影エリアを上方から撮影した画像である撮影エリア画像を生成する撮像部と、前記撮影エリア画像から切り出された切出し画像を用いて、前記撮像エリア内を移動する撮影対象の表示画像を生成する表示画像生成部と、を備え、前記表示画像生成部は、前記撮影エリア画像において前記撮影対象に対応する位置であって、前記撮影エリア画像から前記切出し画像を切り出すときの基準となる位置である切出し基準位置を決定する基準位置決定部と、前記撮影エリア画像において前記撮像部に対応する位置である撮影基準位置と前記切出し基準位置との間の距離である基準距離を算出する距離算出部と、前記基準距離が所定のしきい距離以下である場合に、前記撮影エリア画像における前記撮影対象の傾きに対応する角度である基準角度と前記基準距離とに基づいて、前記表示画像を生成するときに前記切出し画像を回転させる回転角を算出する回転角算出部と、前記切出し基準位置と前記回転角に基づいて、前記切出し画像を切り出して前記表示画像を生成する画像切出し部と、を備えた構成を有している。
この構成により、撮影エリアを上方から撮影した画像(撮影エリア画像)から切り出された切出し画像を用いて、撮影エリア内を移動する撮影対象の適切な表示画像を生成することができる。この場合、撮影対象に対応する位置(切出し基準位置)と撮像部に対応する位置(撮影基準位置)との間の距離(基準距離)が小さいとき、すなわち、撮影対象が撮像部(カメラ装置)の真下近くを通過するときに、撮影エリア画像における撮影対象の傾き角度(基準角度)と基準距離とに基づいて、表示画像を生成するときに切出し画像を回転させる回転角が適切に算出される。これにより、撮影対象が撮像部(カメラ装置)の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることができる。
また、本発明のカメラ装置では、前記回転角算出部は、前記切出し基準位置が前記撮影基準位置に最も近づいたときに前記切出し画像を回転させる角度である目標角度と前記基準角度とに対して、前記基準距離に応じた重み付け処理を行うことにより、前記回転角を算出し、前記重み付け処理は、前記基準距離が小さいほど、前記基準角度の重み付けを小さくし、前記目標角度の重み付けを大きくする処理である構成を有している。
この構成により、撮影対象(切出し基準位置)が撮像部(撮影基準位置)に最も近づいたときに切出し画像を回転させる角度(目標角度)と基準角度とに対して、基準距離に応じた重み付け処理を行うことによって、回転角が適切に算出される。具体的には、基準距離が小さいほど、基準角度の重み付けを小さくし、目標角度の重み付けを大きくするような重み付け処理が行われる。これにより、撮影対象が撮像部(カメラ装置)の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることができる。
また、本発明のカメラ装置では、前記重み付け処理は、前記基準距離が、前記しきい距離より小さい第2しきい距離以下である場合に、前記回転角を前記目標角度とする処理である構成を有している。
この構成により、撮影対象に対応する位置(切出し基準位置)と撮像部に対応する位置(撮影基準位置)との間の距離(基準距離)がさらに小さいとき、すなわち、撮影対象が撮像部(カメラ装置)の真下により近い場所を通過するときに、回転角を目標角度とする(基準角度の重み付けを0%にし、目標角度の重み付けを100%にする)ような重み付け処理が行われる。これにより、撮影対象が撮像部(カメラ装置)の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることができる。
また、本発明のカメラ装置では、前記目標角度は、前記撮影エリアに前記撮影対象が入ってきたときの前記基準角度、または、0度である構成を有している。
この構成により、目標角度が、撮影エリアに撮影対象が入ってきたときの基準角度、または、0度に設定される。これにより、目標角度の設定が適切に行われる。
また、本発明のカメラ装置では、前記撮影エリア画像に画像処理を施すことにより、前記撮影エリア画像に含まれる前記撮影対象を検出する対象検出部を備えた構成を有している。
この構成により、撮影エリア画像に画像処理を施すことにより、撮影エリア画像に含まれる撮影対象を検出することができる。したがって、撮影対象を検出するために、他の専用の装置を設ける必要がない。
また、本発明のカメラ装置では、前記表示画像生成部は、前記基準距離が前記しきい距離以下である場合に、前記切出し基準位置に基づいて、前記撮影基準位置との間の距離が前記しきい距離より小さくならない仮想切出し基準位置を決定する仮想基準位置決定部を備え、前記回転角算出部は、前記基準距離が前記しきい距離以下である場合に、前記切出し基準位置が前記仮想切出し基準位置であると仮定したときの前記基準角度と前記基準距離とに基づいて、前記回転角を算出し、前記画像切出し部は、前記切出し基準位置と前記切出し基準位置が前記仮想切出し基準位置であると仮定したときの前記回転角に基づいて、前記切出し画像を切り出して前記表示画像を生成する構成を有している。
この構成により、撮影対象に対応する位置(切出し基準位置)と撮像部に対応する位置(撮影基準位置)との間の距離(基準距離)が小さいとき、すなわち、撮影対象が撮像部(カメラ装置)の真下近くを通過するときに、撮影基準位置との間の距離がしきい距離より小さくならない仮想切出し基準位置が求められ、切出し基準位置が仮想切出し基準位置であると仮定したときの基準角度と基準距離とに基づいて、回転角が適切に算出される。そして、切出し基準位置が仮想切出し基準位置であると仮定したときの切出し基準位置と回転角に基づいて、切出し画像を切り出して表示画像が生成される。これにより、撮影対象が撮像部(カメラ装置)の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることができる。
また、本発明のカメラ装置では、前記撮像部は、標準レンズより広い画角を有するレンズを備えた構成を有している。
この構成により、標準レンズより広い画角を有するレンズ(魚眼レンズ、準広角レンズ、広角レンズ、超広角レンズなど)を用いて撮影された撮影エリア画像(魚眼画像または広角画像)から切り出された切出し画像を用いて、撮影エリア内を移動する撮影対象の適切な表示画像を生成することができる。
本発明の画像処理システムは、撮影エリアの上方に設置され、前記撮影エリアを上方から撮影した画像である撮影エリア画像を生成するカメラ装置と、前記撮影エリア画像から切り出された切出し画像を用いて、前記撮像エリア内を移動する撮影対象の表示画像を生成する画像処理装置と、を備えた画像処理システムであって、前記画像処理装置は、前記撮影エリア画像において前記撮影対象に対応する位置であって、前記撮影エリア画像から前記切出し画像を切り出すときの基準となる位置である切出し基準位置を決定する基準位置決定部と、前記撮影エリア画像において前記カメラ装置に対応する位置である撮影基準位置と前記切出し基準位置との間の距離である基準距離を算出する距離算出部と、前記基準距離が所定のしきい距離以下である場合に、前記撮影エリア画像における前記撮影対象の傾きに対応する角度である基準角度と前記基準距離とに基づいて、前記表示画像を生成するときに前記切出し画像を回転させる回転角を算出する回転角算出部と、前記切出し基準位置と前記回転角に基づいて、前記切出し画像を切り出して前記表示画像を生成する画像切出し部と、を備えた構成を有している。
この画像処理システムによっても、上記のカメラ装置と同様に、撮影エリアを上方から撮影した画像(撮影エリア画像)から切り出された切出し画像を用いて、撮影エリア内を移動する撮影対象の適切な表示画像を生成することができる。この場合、撮影対象に対応する位置(切出し基準位置)と撮像部に対応する位置(撮影基準位置)との間の距離(基準距離)が小さいとき、すなわち、撮影対象が撮像部(カメラ装置)の真下近くを通過するときに、撮影エリア画像における撮影対象の傾き角度(基準角度)と基準距離とに基づいて、表示画像を生成するときに切出し画像を回転させる回転角が適切に算出される。これにより、撮影対象が撮像部(カメラ装置)の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることができる。
本発明の画像処理方法は、撮影エリアの上方に設置されたカメラ装置を用いて、前記撮影エリアを上方から撮影した画像である撮影エリア画像を生成し、前記撮影エリア画像から切り出された切出し画像を用いて、前記撮像エリア内を移動する撮影対象の表示画像を生成する画像処理方法において、前記撮影エリア画像において前記撮影対象に対応する位置であって、前記撮影エリア画像から前記切出し画像を切り出すときの基準となる位置である切出し基準位置を決定し、前記撮影エリア画像において前記カメラ装置に対応する位置である撮影基準位置と前記切出し基準位置との間の距離である基準距離を算出し、前記基準距離が所定のしきい距離以下である場合に、前記撮影エリア画像における前記撮影対象の傾きに対応する角度である基準角度と前記基準距離とに基づいて、前記表示画像を生成するときに前記切出し画像を回転させる回転角を算出し、前記切出し基準位置と前記回転角に基づいて、前記切出し画像を切り出して前記表示画像を生成するものである。
この画像処理方法によっても、上記のカメラ装置と同様に、撮影エリアを上方から撮影した画像(撮影エリア画像)から切り出された切出し画像を用いて、撮影エリア内を移動する撮影対象の適切な表示画像を生成することができる。この場合、撮影対象に対応する位置(切出し基準位置)と撮像部に対応する位置(撮影基準位置)との間の距離(基準距離)が小さいとき、すなわち、撮影対象が撮像部(カメラ装置)の真下近くを通過するときに、撮影エリア画像における撮影対象の傾き角度(基準角度)と基準距離とに基づいて、表示画像を生成するときに切出し画像を回転させる回転角が適切に算出される。これにより、撮影対象が撮像部(カメラ装置)の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることができる。
本発明は、撮影対象がカメラ装置の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることができるという効果を有するカメラ装置を提供することができるものである。
本発明の第1の実施の形態におけるカメラ装置のブロック図 撮影エリア画像から切出し画像を切り出して表示画像を生成する処理の説明図 撮像エリア内の撮影対象の移動と特定領域の説明図 撮像エリア内の撮影対象の移動と特定領域の説明図 特定領域内を撮影対象が移動したときの表示画像の推移の説明図 第1の実施の形態における回転角の算出(重み付け処理)の説明図 本発明の第2の実施の形態におけるカメラ装置のブロック図 第2の実施の形態における仮想切出し基準位置の説明図 本発明の他の実施の形態である画像処理システムのブロック図 本発明の他の実施の形態である画像処理システムのブロック図
以下、本発明の実施の形態のカメラ装置について、図面を用いて説明する。本実施の形態では、所定の撮影エリア(店舗や駅の構内など)を監視するシステム等に用いられる映像処理装置の場合を例示する。
(第1の実施の形態)
本発明の第1の実施の形態のカメラ装置の構成を、図面を参照して説明する。図1は、第1の実施の形態のカメラ装置の構成を示すブロック図である。図1に示すように、カメラ装置1は、撮影エリアの画像(撮像エリア画像)を撮影する撮像部2と、撮像部2で撮影した画像に所定の画像処理(後述する)を施して表示画像を生成する表示画像生成部3と、表示画像を表示する表示部4を備えている。
撮像部2は、CCDやCMOSなどの撮像素子(図示せず)と、撮像素子の光軸上に配置されるレンズ(図示せず)を備えている。この撮像部2のレンズは、標準レンズより広い画角を有するレンズ(例えば、魚眼レンズ、準広角レンズ、広角レンズ、超広角レンズなど)である。そして、撮像部2は、撮影エリアの天井などに設置され、光軸の向きは上下方向である。したがって、この撮像部2は、撮影エリアを上方から撮影した画像(天井から見下ろすような画角で撮影した画像)を生成する。
表示画像生成部3は、撮影エリア画像から切り出した切出し画像を用いて、撮像エリア内を移動する撮影対象(人物など)の表示画像を生成する機能を備えており(図2参照)、そのための構成として、対象検出部5と、基準位置決定部6と、距離算出部7と、特定領域内判定部8と、回転角算出部9と、画像切出し部10を備えている。
対象検出部5は、撮影エリア画像に画像処理を施すことにより、撮影エリア画像に含まれる撮影対象(人物など)を検出する機能を備えている。例えば、対象検出部5は、動き差分処理や背景差分処理などを施すことにより、撮影エリア画像から撮影対象(人物)を検出する。
基準位置決定部6は、対象検出部5の検出結果に基づいて、切出し画像を切り出すときの基準となる位置(切出し基準位置)を決定する。例えば、基準位置決定部6は、検出された撮影対象の画像領域の重心の位置を、切出し基準位置として決定する。また、基準位置決定部6は、検出された撮影対象を囲むフレーム(例えば、撮影対象に外接する矩形フレーム)の中心の位置を、切出し基準位置として決定してもよい。この切出し基準位置は、撮影エリア画像において撮影対象に対応する位置であるともいえる。
距離算出部7は、撮影エリア画像において撮像部2に対応する位置(撮影基準位置)と、基準位置決定部6で決定された切出し基準位置との間の距離(基準距離)を算出する。図2の例を用いて具体的に説明すると、撮像部2が魚眼レンズを備えたカメラ装置1の場合、撮影基準位置Oは、撮影エリア画像(魚眼画像)の中心となる。したがって、距離算出部7は、基準位置決定部6で決定された切出し基準位置Pと撮影基準位置Oとの間の距離rを、基準距離として算出する。この基準距離rは、撮影エリア画像におけるピクセル数で算出されてもよく、実際の距離に換算した値(メートルなど)で算出されてもよい。
特定領域内判定部8は、撮影エリア画像に含まれる撮影対象が、所定の特定領域(例えば、撮影基準位置Oを中心とする半径aの円形エリア)内であるか否かの判定を行う(図3参照)。具体的には、特定領域内判定部8は、距離算出部7で算出された基準距離rが半径a以下であるか否かの判定を行う。この半径aは、ユーザによって適宜設定することができる。半径aは、例えば10mなどに設定される。なお、この特定領域は、撮影エリアの全域に設定することができる。その場合、半径aは、無限大に設定される。
回転角算出部9は、撮影エリア画像から表示画像を生成するときに切出し画像を回転させる回転角を算出する(図2参照)。この場合、以下に説明するように、撮影対象が特定領域外である場合の回転角θと、撮影対象が特定領域内である場合の回転角θNEWとは、異なる手法で算出される。
撮影対象が特定領域外である場合、回転角算出部9は、従来と同様に、切出し基準位置が撮影エリア画像のどこに位置するかに応じて、回転角θを決定する。例えば、図2に示すように、撮像部2が魚眼レンズを備えたカメラ装置1の場合、撮影基準位置Oに対する切出し基準位置Pの角度θを、回転角として決定する。この角度θは、撮影エリア画像における撮影対象の傾きに対応する角度でもある。したがって、この角度θだけ切出し画像を回転させると、傾きのない表示画像が得られる(図2参照)。
撮影対象が特定領域内である場合、回転角算出部9は、上記の角度θ(基準角度θ)と基準距離rとに基づいて、回転角θNEWを算出する。この場合、回転角算出部9は、切出し基準位置Pが撮影基準位置Oに最も近づいたときに切出し画像を回転させる角度(目標角度θC)と角度θとに対して、基準距離rに応じた重み付け処理を行うことにより、回転角θNEWを算出する。具体的には、基準距離rが小さいほど、基準角度θの重み付けを小さくし、目標角度θCの重み付けを大きくする重み付け処理を行う(図5(a)〜(c)参照)。なお、この重み付け処理は、ベクトル空間において二つのベクトルの内挿、例えば、ベクトル(cosθ,sinθ)とベクトル(cosθC,sinθC)の内挿を利用して計算することもできる。
なお、図5(c)の例のように、重み付け処理は、基準距離rが、所定の半径b以下である場合に、回転角θNEWを目標角度θCとする(目標角度θCの重み付けを100%にして、基準角度θの重み付けを0%にする)処理であってもよい。この半径bは、半径aより小さい値であればよく、ユーザによって適宜設定することができる。また、この場合、目標角度θCは、撮影エリアに撮影対象が入ってくるときの角度θINであってもよく(図3参照)、あるいは、0度であってもよい。
画像切出し部10は、基準位置決定部6で決定された切出し基準位置に基づいて、撮影エリア画像から切出し画像を切出す。また、この画像切出し部10は、撮像部2のレンズ(魚眼レンズなど)の光学特性に起因する歪みを補正する。さらに、この画像切出し部10は、回転角算出部9で算出された回転角(撮影対象が特定領域外である場合には回転角θ、撮影対象が特定領域内である場合には回転角θNEW)に基づいて、切出し画像を回転させる。このようにして、画像切出し部10は、撮影エリア画像から表示画像を生成する(図2参照)。
以上のように構成されたカメラ装置1について、図面を参照してその動作を説明する。
ここでは、図3(a)に示すように、撮影エリア内の撮影対象(人物など)が特定領域(カメラ装置1の真下近く)を通過するときの処理について説明する。図3(b)は、特定領域の近傍の拡大図である。この例では、撮影対象が位置Aから位置Eへ移動し、位置Aが特定領域外であり、位置B〜Dが特定領域内であり、位置Eが特定領域外である。
図4は、このように撮影対象が位置Aから位置Eへ移動したときの表示画像の推移を示す図である。図4(a)には、本実施の形態のカメラ装置1で生成される表示画像の推移が示されており、図4(b)には、比較例として、従来の装置で生成される表示画像の推移が示されている。図4に示すように、本実施の形態では、従来の装置に比べて、撮影対象がカメラ装置1の真下近くを通過するとき(位置Bから位置Dのとき)に、撮影対象の向きが急に変化するのが抑えられる。
このような第1の実施の形態のカメラ装置1によれば、撮影エリアを上方から撮影した画像(撮影エリア画像)から切り出された切出し画像を用いて、撮影エリア内を移動する撮影対象の適切な表示画像を生成することができる。この場合、撮影対象に対応する位置(切出し基準位置P)と撮像部2に対応する位置(撮影基準位置O)との間の距離(基準距離r)が小さいとき、すなわち、撮影対象が撮像部2(カメラ装置1)の真下近くを通過するときに、撮影エリア画像における撮影対象の傾き角度(基準角度θ)と基準距離rとに基づいて、表示画像を生成するときに切出し画像を回転させる回転角θNEWが適切に算出される。これにより、中心部付近で急激に回転角の変動が大きくなるところを中心からの距離による重みをつけることで回転角を緩やかに変動させることができ、撮影対象が撮像部2(カメラ装置1)の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることができる(図4参照)。
本実施の形態では、撮影対象(切出し基準位置P)が撮像部2(撮影基準位置O)に最も近づいたときに切出し画像を回転させる角度(目標角度θC)と基準角度θとに対して、基準距離rに応じた重み付け処理を行うことによって、回転角θNEWが適切に算出される。具体的には、基準距離rが小さいほど、基準角度θの重み付けを小さくし、目標角度θCの重み付けを大きくするような重み付け処理が行われる。これにより、撮影対象が撮像部2(カメラ装置1)の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることができる(図4参照)。
また、本実施の形態では、撮影対象に対応する位置(切出し基準位置P)と撮像部2に対応する位置(撮影基準位置O)との間の距離(基準距離r)がさらに小さいとき、すなわち、撮影対象が撮像部2(カメラ装置1)の真下により近い場所を通過するときに、回転角θNEWを目標角度θCとする(基準角度θの重み付けを0%にし、目標角度θCの重み付けを100%にする)ような重み付け処理が行われる。これにより、撮影対象が撮像部2(カメラ装置1)の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることができる。
また、本実施の形態では、目標角度θCが、撮影エリアに撮影対象が入ってきたときの基準角度θIN、または、0度に設定される。これにより、目標角度θCの設定が適切に行われる。
また、本実施の形態では、撮影エリア画像に画像処理を施すことにより、撮影エリア画像に含まれる撮影対象(人物など)を検出することができる。したがって、撮影対象を検出するために、他の専用の装置を設ける必要がない。
また、本実施の形態では、標準レンズより広い画角を有するレンズ(魚眼レンズ、準広角レンズ、広角レンズ、超広角レンズなど)を用いて撮影された撮影エリア画像(魚眼画像や広角画像)から切り出された切出し画像を用いて、撮影エリア内を移動する撮影対象の適切な表示画像を生成することができる。
(第2の実施の形態)
次に、本発明の第2の実施の形態のカメラ装置について説明する。ここでは、第2の実施の形態のカメラ装置が、第1の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第1の実施の形態と同様である。
図6は、第2の実施の形態のカメラ装置1の構成を示すブロック図である。図6に示すように、表示画像生成部3は、仮想基準位置決定部11を備えている。仮想基準位置決定部11は、撮影エリア画像に含まれる撮影対象が、所定の特定領域(例えば、撮影基準位置Oを中心とする半径cの円形エリア)内である場合に、切出し基準位置Pに基づいて、撮影基準位置Oとの間の距離rが半径cより小さくならない仮想切出し基準位置P’を決定する。この半径cは、ユーザによって適宜設定することができる。半径cは、例えば10mなどに設定される。
例えば、図7に示すように、仮想基準位置決定部11は、撮影対象が特定領域内である場合、すなわち、切出し基準位置Pが基準距離rが半径c以下である場合に、その切出し基準位置Pを半径cの円周上に撮像対象の移動方向と垂直方向に正射影した位置を、仮想切出し基準位置P’として決定する。画像切出し部10は、切出し基準位置Pが仮想切出し基準位置P’であると仮定したときの切出し基準位置と回転角に基づいて、撮影エリア画像から切出し画像を切り出すことにより、表示画像を生成する。
また、回転角算出部9は、撮影対象が特定領域内である場合、すなわち、切出し基準位置Pが基準距離rが半径c以下である場合に、切出し基準位置Pが仮想切出し基準位置P’であると仮定したときの基準角度と基準距離とに基づいて、回転角を算出する。そして、画像切出し部10は、このようにして算出された回転角に基づいて、撮影エリア画像から切出し画像を回転させることにより、表示画像を生成する。
このような第2の実施の形態のカメラ装置1によっても、第1の実施の形態と同様の作用効果が奏される。
本実施の形態では、撮影対象に対応する位置(切出し基準位置P)と撮像部2に対応する位置(撮影基準位置O)との間の距離(基準距離r)が小さいとき、すなわち、撮影対象が撮像部2(カメラ装置1)の真下近くを通過するときに、撮影基準位置Oとの間の距離が半径cより小さくならない仮想切出し基準位置P’が求められ、切出し基準位置Pが仮想切出し基準位置P’であると仮定したときの基準角度と基準距離とに基づいて、回転角が適切に算出される。そして、切出し基準位置Pが仮想切出し基準位置P’であると仮定したときの回転角に基づいて、切出し画像を切り出して表示画像が生成される。これにより、中心部での回転角の変動が大きくなるところを仮想切出し基準位置における回転角を用いることで回転角の変動を抑制することができ、撮影対象が撮像部2(カメラ装置1)の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることができる。
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
例えば、以上の説明では、図1や図6に示すカメラ装置の例について説明したが、本発明の範囲はこれに限定されるものではなく、図8や図9に示すようにカメラ装置110と画像処理装置120と表示装置130で構成される画像処理システム100でも同様に実現可能である。そのような画像処理システム100の場合には、カメラ装置110が撮像部2の機能を備えればよく、画像処理装置120が表示画像生成部3の機能を備えればよく、表示装置130が表示部4の機能を備えればよい。
以上のように、本発明にかかるカメラ装置は、撮影対象がカメラ装置の真下近くを通過するときに、表示画像に表示されている撮影対象の向きが急に変化するのを抑えることができるという効果を有し、所定の撮影エリア(店舗や駅の構内など)を監視するシステム等に適用され、有用である。
1 カメラ装置
2 撮像部
3 表示画像生成部
4 表示部
5 対象検出部
6 基準位置決定部
7 距離算出部
8 特定領域内判定部
9 回転角算出部
10 画像切出し部
11 仮想基準位置決定部
100 画像処理システム
110 カメラ装置
120 画像処理装置
130 表示装置

Claims (9)

  1. 撮影エリアの上方に設置され、前記撮影エリアを上方から撮影した画像である撮影エリア画像を生成する撮像部と、
    前記撮影エリア画像から切り出された切出し画像を用いて、前記撮像エリア内を移動する撮影対象の表示画像を生成する表示画像生成部と、
    を備え、
    前記表示画像生成部は、
    前記撮影エリア画像において前記撮影対象に対応する位置であって、前記撮影エリア画像から前記切出し画像を切り出すときの基準となる位置である切出し基準位置を決定する基準位置決定部と、
    前記撮影エリア画像において前記撮像部に対応する位置である撮影基準位置と前記切出し基準位置との間の距離である基準距離を算出する距離算出部と、
    前記基準距離が所定のしきい距離以下である場合に、前記撮影エリア画像における前記撮影対象の傾きに対応する角度である基準角度と前記基準距離とに基づいて、前記表示画像を生成するときに前記切出し画像を回転させる回転角を算出する回転角算出部と、
    前記切出し基準位置と前記回転角に基づいて、前記切出し画像を切り出して前記表示画像を生成する画像切出し部と、
    を備えたことを特徴とするカメラ装置。
  2. 前記回転角算出部は、前記切出し基準位置が前記撮影基準位置に最も近づいたときに前記切出し画像を回転させる角度である目標角度と前記基準角度とに対して、前記基準距離に応じた重み付け処理を行うことにより、前記回転角を算出し、
    前記重み付け処理は、前記基準距離が小さいほど、前記基準角度の重み付けを小さくし、前記目標角度の重み付けを大きくする処理であることを特徴とする請求項1に記載のカメラ装置。
  3. 前記重み付け処理は、前記基準距離が、前記しきい距離より小さい第2しきい距離以下である場合に、前記回転角を前記目標角度とする処理であることを特徴とする請求項2に記載のカメラ装置。
  4. 前記目標角度は、前記撮影エリアに前記撮影対象が入ってきたときの前記基準角度、または、0度であることを特徴とする請求項2または請求項3に記載のカメラ装置。
  5. 前記撮影エリア画像に画像処理を施すことにより、前記撮影エリア画像に含まれる前記撮影対象を検出する対象検出部を備えたことを特徴とする請求項1ないし請求項4に記載のカメラ装置。
  6. 前記表示画像生成部は、
    前記基準距離が前記しきい距離以下である場合に、前記切出し基準位置に基づいて、前記撮影基準位置との間の距離が前記しきい距離より小さくならない仮想切出し基準位置を決定する仮想基準位置決定部を備え、
    前記回転角算出部は、
    前記基準距離が前記しきい距離以下である場合に、前記切出し基準位置が前記仮想切出し基準位置であると仮定したときの前記基準角度と前記基準距離とに基づいて、前記回転角を算出し、
    前記画像切出し部は、
    前記切出し基準位置と前記切出し基準位置が前記仮想切出し基準位置であると仮定したときの前記回転角に基づいて、前記切出し画像を切り出して前記表示画像を生成することを特徴とする請求項1に記載のカメラ装置。
  7. 前記撮像部は、標準レンズより広い画角を有するレンズを備えたことを特徴とする請求項1ないし請求項6のいずれかに記載のカメラ装置。
  8. 撮影エリアの上方に設置され、前記撮影エリアを上方から撮影した画像である撮影エリア画像を生成するカメラ装置と、
    前記撮影エリア画像から切り出された切出し画像を用いて、前記撮像エリア内を移動する撮影対象の表示画像を生成する画像処理装置と、
    を備えた画像処理システムであって、
    前記画像処理装置は、
    前記撮影エリア画像において前記撮影対象に対応する位置であって、前記撮影エリア画像から前記切出し画像を切り出すときの基準となる位置である切出し基準位置を決定する基準位置決定部と、
    前記撮影エリア画像において前記カメラ装置に対応する位置である撮影基準位置と前記切出し基準位置との間の距離である基準距離を算出する距離算出部と、
    前記基準距離が所定のしきい距離以下である場合に、前記撮影エリア画像における前記撮影対象の傾きに対応する角度である基準角度と前記基準距離とに基づいて、前記表示画像を生成するときに前記切出し画像を回転させる回転角を算出する回転角算出部と、
    前記切出し基準位置と前記回転角に基づいて、前記切出し画像を切り出して前記表示画像を生成する画像切出し部と、
    を備えたことを特徴とする画像処理システム。
  9. 撮影エリアの上方に設置されたカメラ装置を用いて、前記撮影エリアを上方から撮影した画像である撮影エリア画像を生成し、前記撮影エリア画像から切り出された切出し画像を用いて、前記撮像エリア内を移動する撮影対象の表示画像を生成する画像処理方法において、
    前記撮影エリア画像において前記撮影対象に対応する位置であって、前記撮影エリア画像から前記切出し画像を切り出すときの基準となる位置である切出し基準位置を決定し、
    前記撮影エリア画像において前記カメラ装置に対応する位置である撮影基準位置と前記切出し基準位置との間の距離である基準距離を算出し、
    前記基準距離が所定のしきい距離以下である場合に、前記撮影エリア画像における前記撮影対象の傾きに対応する角度である基準角度と前記基準距離とに基づいて、前記表示画像を生成するときに前記切出し画像を回転させる回転角を算出し、
    前記切出し基準位置と前記回転角に基づいて、前記切出し画像を切り出して前記表示画像を生成することを特徴とする画像処理方法。
JP2010287420A 2010-12-24 2010-12-24 カメラ装置、画像処理システムおよび画像処理方法 Active JP5613041B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010287420A JP5613041B2 (ja) 2010-12-24 2010-12-24 カメラ装置、画像処理システムおよび画像処理方法
PCT/JP2011/007121 WO2012086188A1 (ja) 2010-12-24 2011-12-20 カメラ装置、画像処理システム、画像処理方法および画像処理プログラム
US13/883,129 US8928778B2 (en) 2010-12-24 2011-12-20 Camera device, image processing system, image processing method and image processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010287420A JP5613041B2 (ja) 2010-12-24 2010-12-24 カメラ装置、画像処理システムおよび画像処理方法

Publications (2)

Publication Number Publication Date
JP2012134920A true JP2012134920A (ja) 2012-07-12
JP5613041B2 JP5613041B2 (ja) 2014-10-22

Family

ID=46313479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010287420A Active JP5613041B2 (ja) 2010-12-24 2010-12-24 カメラ装置、画像処理システムおよび画像処理方法

Country Status (3)

Country Link
US (1) US8928778B2 (ja)
JP (1) JP5613041B2 (ja)
WO (1) WO2012086188A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163024A (zh) * 2015-08-27 2015-12-16 华为技术有限公司 一种获取目标图像的方法以及目标追踪设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5259010B2 (ja) * 2010-02-24 2013-08-07 京セラ株式会社 携帯電子機器および投影システム
WO2013150775A1 (ja) 2012-04-02 2013-10-10 パナソニック株式会社 画像生成装置、カメラ装置、画像表示装置及び画像生成方法
JP5538483B2 (ja) 2012-06-29 2014-07-02 株式会社ソニー・コンピュータエンタテインメント 映像処理装置、映像処理方法、および映像処理システム
US9741150B2 (en) 2013-07-25 2017-08-22 Duelight Llc Systems and methods for displaying representative images
US9658688B2 (en) * 2013-10-15 2017-05-23 Microsoft Technology Licensing, Llc Automatic view adjustment
JP6507626B2 (ja) * 2014-12-19 2019-05-08 アイシン精機株式会社 車両周辺監視装置
JP5920507B1 (ja) * 2015-03-10 2016-05-18 株式会社リコー 画像処理システム、画像処理方法およびプログラム
JP6938237B2 (ja) 2017-06-21 2021-09-22 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7043255B2 (ja) 2017-12-28 2022-03-29 キヤノン株式会社 電子機器及びその制御方法
JP2019121857A (ja) * 2017-12-28 2019-07-22 キヤノン株式会社 電子機器及びその制御方法
CN108810411A (zh) * 2018-06-08 2018-11-13 Oppo广东移动通信有限公司 滑动组件的控制方法、控制组件及电子设备
CN109151257B (zh) * 2018-09-20 2020-12-08 浙江大华技术股份有限公司 一种图像处理的方法及摄像机
CN117714840A (zh) * 2023-08-16 2024-03-15 荣耀终端有限公司 图像处理方法、装置、芯片、电子设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048443A (ja) * 2007-09-21 2008-02-28 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像抽出方法
JP2010224691A (ja) * 2009-03-19 2010-10-07 Dainippon Printing Co Ltd 画像変換装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006020141A (ja) 2004-07-02 2006-01-19 Denso Corp 表示制御装置
JP2006301034A (ja) 2005-04-15 2006-11-02 Sony Corp オートフォーカス装置とオートフォーカス方法およびプログラム
JP2008033607A (ja) 2006-07-28 2008-02-14 Opt Kk 撮像装置および撮像システム
JP5233926B2 (ja) * 2009-09-10 2013-07-10 大日本印刷株式会社 魚眼監視システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008048443A (ja) * 2007-09-21 2008-02-28 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像抽出方法
JP2010224691A (ja) * 2009-03-19 2010-10-07 Dainippon Printing Co Ltd 画像変換装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163024A (zh) * 2015-08-27 2015-12-16 华为技术有限公司 一种获取目标图像的方法以及目标追踪设备

Also Published As

Publication number Publication date
WO2012086188A1 (ja) 2012-06-28
JP5613041B2 (ja) 2014-10-22
US20130222646A1 (en) 2013-08-29
US8928778B2 (en) 2015-01-06

Similar Documents

Publication Publication Date Title
JP5613041B2 (ja) カメラ装置、画像処理システムおよび画像処理方法
JP5906028B2 (ja) 画像処理装置、画像処理方法
US9609217B2 (en) Image-based motion sensor and related multi-purpose camera system
JP5942270B2 (ja) 撮影システム及びそれに用いるカメラ制御装置、撮影方法及びカメラ制御方法、並びにコンピュータプログラム
US20120242782A1 (en) Image capture device and image processing method
US20160057445A1 (en) Image processing apparatus to which moving vector search technique is applicable, control method therefor, and storage medium storing control program therefor
JP6089233B1 (ja) プロジェクタシステム
JP4979525B2 (ja) マルチカメラシステム
US11190747B2 (en) Display control apparatus, display control method, and storage medium
JP2007166269A (ja) 画像処理装置、撮像装置および画像処理方法
JP2011061511A (ja) 魚眼監視システム
US9251559B2 (en) Image generation device, camera device, image display device, and image generation method
JPWO2019069469A1 (ja) 物体検知装置、物体検知方法、及びプログラム
KR102314943B1 (ko) 정보 처리장치, 정보 처리방법 및 기억매체
JP4198536B2 (ja) 物体撮影装置、物体撮影方法及び物体撮影プログラム
JP2017529709A (ja) オプティカルフロー場を構築する方法
JP5248951B2 (ja) カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム
JP6625654B2 (ja) 投影装置、投影方法、および、プログラム
CN113108919B (zh) 人体温度检测方法、装置和存储介质
JP2016111561A (ja) 情報処理装置、システム、情報処理方法及びプログラム
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP2014165866A (ja) 画像処理装置及びその制御方法、プログラム
JP2013012930A (ja) 全方位撮像装置、及びその制御方法
JP2008263270A (ja) カメラ装置
CN107111877B (zh) 用于确定面向前面的场景并对全向图像定心的方法及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140905

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250