JP2008011497A - カメラ装置 - Google Patents

カメラ装置 Download PDF

Info

Publication number
JP2008011497A
JP2008011497A JP2007051259A JP2007051259A JP2008011497A JP 2008011497 A JP2008011497 A JP 2008011497A JP 2007051259 A JP2007051259 A JP 2007051259A JP 2007051259 A JP2007051259 A JP 2007051259A JP 2008011497 A JP2008011497 A JP 2008011497A
Authority
JP
Japan
Prior art keywords
camera control
camera
control parameter
image
cutout
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007051259A
Other languages
English (en)
Inventor
Motohiro Onishi
元大 大西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007051259A priority Critical patent/JP2008011497A/ja
Priority to US11/755,900 priority patent/US8363105B2/en
Publication of JP2008011497A publication Critical patent/JP2008011497A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)

Abstract

【課題】自動追尾に支障が出ない範囲で、自動追尾中の追加のカメラ制御を可能にするカメラ装置を提供する。
【解決手段】画像中の追尾対象の位置を算出してそれに基づいたカメラ制御を行うためのカメラ制御パラメータ1を算出する追尾方法算出手段104を備える。また、ユーザーによるカメラ制御要求に基づいたカメラ制御を行うためのカメラ制御パラメータ2を取得するカメラ制御要求入力手段105を備える。また、カメラ制御パラメータ1及びカメラ制御パラメータ2からカメラ制御パラメータ3を生成するカメラ制御方法算出手段110を備える。また、カメラ制御方法算出手段110で生成されたカメラ制御パラメータ3からパン駆動部107、チルト駆動部108、ズーム駆動部109の各駆動部を制御するための制御信号を生成するカメラ制御手段106を備える。
【選択図】図1

Description

本発明は、撮影画像の解析によって追尾対象を検出してカメラ制御を行う自動追尾機能を備えたカメラ装置に関する。
撮影画像の解析によって追尾対象を追いかける自動追尾機能を備えたカメラ装置が従来から知られている。例えば、特許文献1には、追尾対象が撮影画像の中央に映るように、追尾対象の撮影画像上での重心位置を算出し、前記重心位置が撮影画像の中心位置と重なるようにカメラの首振りを制御するカメラ装置が提案されている。
また、全体画像から任意の部分画像を切り出して出力することで、仮想的なパン、チルト、ズームによるカメラ制御を実現したカメラ装置としては、以下のものが知られている。
全方位ミラーや魚眼レンズなどの広角の光学系を使用し、クライアント側で入力された視野範囲に応じて全体画像の歪みを補正し、指定された視野範囲に相当する部分画像を切り出して出力する(例えば、特許文献2参照)。
図9は、従来例に係るカメラ装置のブロック構成を概略的に示す図である。
図9において、カメラ装置は、映像をキャプチャして画像信号に変換する撮像部901、必要に応じて画像信号にデジタル変換処理、各種画像処理、圧縮処理を施して、画像信号を画像データに変換する画像処理部902を備える。
また、カメラ装置は、画像データを出力する画像出力手段903、画像中の追尾対象の位置を算出してそれに基づいたカメラ制御を行うためのカメラ制御パラメータ1を算出する追尾方法算出手段904を備える。
また、カメラ装置は、ユーザーによるカメラ制御要求に基づいたカメラ制御を行うためのカメラ制御パラメータ2を取得するカメラ制御要求入力手段905を備える。
また、カメラ装置は、カメラ制御パラメータ1またはカメラ制御パラメータ2のいずれかを選択して、パン駆動部907、チルト駆動部908、ズーム駆動部909の各駆動部を制御するための制御信号を生成するカメラ制御手段906を備える。
カメラ制御手段906が制御信号を生成する際に使用されるカメラ制御パラメータは、自動追尾機能が有効な場合はカメラ制御パラメータ1が選択され、自動追尾機能が無効な場合はカメラ制御パラメータ2が選択される。
ここで、上記各手段は必ずしも独立した構成である必要は無く、CPUとメモリ及び幾つかの手段の機能を統合したプログラムによって実現されても良い。また、本カメラ装置はネットワークを介してクライアントと接続される構成でも良い。
その場合は、画像出力手段903には通信手段及び画像データを展開して表示する画像表示手段が含まれ、カメラ制御要求入力手段905には通信手段及びユーザーがカメラ制御要求を行うためのクライアントのGUIが含まれる。
特開平2−140073号公報 特開平9−261522号公報
しかし、上記のような従来のカメラ装置では、自動追尾中はユーザーによるカメラ操作が全く行えなくなるため、追尾対象の周囲の状況を確認するために自動追尾機能によって決定された画角よりも広角方向にズーム制御しなければならない。あるいは、追尾対象である人物の視線の先にあるものを確認するために自動追尾機能によって決定された位置よりも追尾対象の前方寄りにパン制御しなければならない。従って、カメラ位置の微調整が
行えないという問題があった。
本発明の目的は、自動追尾に支障が出ない範囲で、自動追尾中の追加のカメラ制御を可能にするカメラ装置を提供することにある。
上記目的を達成するために、請求項1記載のカメラ装置は、撮影画像の解析によって追尾対象を検出するとともに追尾対象を追尾するための第一のカメラ制御パラメータを算出する追尾方法算出手段、外部から受け付けたカメラ制御要求から第二のカメラ制御パラメータを取得するカメラ制御要求入力手段、前記第一のカメラ制御パラメータと前記第二のカメラ制御パラメータから第三のカメラ制御パラメータを算出するカメラ制御方法算出手段、及び前記第三のカメラ制御パラメータに従ってカメラ制御を行うカメラ制御手段を備え、自動追尾機能が有効な状態で前記カメラ制御要求入力手段がカメラ制御要求を受け付けた場合、前記カメラ制御方法算出手段は、前記第一のカメラ制御パラメータ及び前記第二のカメラ制御パラメータに基づく条件式を満たし、前記第一のカメラ制御パラメータに従って制御した場合の撮影範囲が含まれるように前記第三のカメラ制御パラメータを算出する機能を有することを特徴とする。
請求項6記載のカメラ装置は、全体画像を取得する撮像手段と、第一の切り出し領域を出力する切り出し領域生成手段と、追加のカメラ制御要求を受け付けるとともにそれに基づいて第二の切り出し領域を出力する切り出し領域決定手段と、第二の切り出し領域に基づいて全体画像から部分画像を切り出して出力する画像切り出し手段とを備え、前記追加のカメラ制御要求には第一の切り出し領域に対する第二の切り出し領域の相対的な位置または大きさに関する条件が含まれ、第一の切り出し領域の位置または大きさが変化した場合には、前記切り出し領域決定手段が前記条件を満たすように第二の切り出し領域を変化させることを特徴とする。
本発明のカメラ装置は、自動追尾機能が有効な状態でカメラ制御要求入力手段がカメラ制御要求を受け付けた場合、カメラ制御方法算出手段は、以下のように第三のカメラ制御パラメータを算出する。即ち、第一のカメラ制御パラメータ及び第二のカメラ制御パラメータに基づく条件式を満たし、第一のカメラ制御パラメータに従って制御した場合の撮影範囲が含まれるように第三のカメラ制御パラメータを算出する。
従って、自動追尾中であってもユーザーが自動追尾に支障が出ない範囲内で追加のカメラ操作を行うことができるようになるので、ユーザーが追尾対象の周囲の状況をより正確に把握することができるようになる。
以下、本発明の実施の形態を図面を参照しながら詳細に説明する。
図1は、本発明の第1の実施の形態に係るカメラ装置のブロック構成を概略的に示す図である。
図1において、カメラ装置は、映像をキャプチャして画像信号に変換する撮像部101、必要に応じて画像信号にデジタル変換処理、各種画像処理、圧縮処理を施して、画像信号を画像データに変換する画像処理部102を備える。
また、カメラ装置は、画像データを出力する画像出力手段103、画像中の追尾対象の位置を算出してそれに基づいたカメラ制御を行うためのカメラ制御パラメータ1を算出する追尾方法算出手段104を備える。追尾対象の検出は、背景差分による方法やフレーム間差分による方法、或いは、パターンマッチングによる方法等、撮影画像の解析により行われる。追尾対象の位置は、例えば、追尾対象の撮影画像上での重心位置を算出により求められる。この場合、重心位置が撮影画像の中心位置と重なるようにカメラの首振りが制御される。
また、カメラ装置は、外部からのユーザーによるカメラ制御要求に基づいたカメラ制御を行うためのカメラ制御パラメータ2を取得するカメラ制御要求入力手段105を備える。
また、カメラ装置は、カメラ制御パラメータ1及びカメラ制御パラメータ2からカメラ制御パラメータ3を生成するカメラ制御方法算出手段110を備える。
また、カメラ装置は、カメラ制御方法算出手段110で生成されたカメラ制御パラメー
タ3からパン駆動部107、チルト駆動部108、ズーム駆動部109の各駆動部を制御するための制御信号を生成するカメラ制御手段106を備える。
ここで、上記各手段は必ずしも独立した構成である必要は無く、CPUとメモリ及び幾つかの手段の機能を統合したプログラムによって実現されても良い。また、本カメラ装置はネットワークを介してクライアントと接続される構成でも良い。
その場合は、画像出力手段103には通信手段及び画像データを展開して表示する画像表示手段が含まれ、カメラ制御要求入力手段105には通信手段及びユーザーがカメラ制御要求を行うためのクライアントのGUIが含まれる。
図2は、図1における各カメラ制御パラメータの対応関係を表す図である。
図2において、カメラ制御パラメータ1による撮影範囲201、カメラ制御パラメータ2による撮影範囲202、カメラ制御パラメータ3による撮影範囲203が示される。カメラ制御パラメータ1は、追尾方法算出手段104によって、常に撮影画像に対して追尾対象204を一定の大きさと位置で捉える値に決定される。可視範囲205は自動追尾機能が有効な場合におけるカメラ制御パラメータ3による撮影範囲203の限界を表す。
カメラ制御パラメータ3は、それによる撮影範囲203が必ず可視範囲205に含まれ、かつカメラ制御パラメータ1による撮影範囲201を含むように決定される。また、カメラ制御パラメータ3による撮影範囲203の画像サイズに対するカメラ制御パラメータ1による撮影範囲201の画像サイズの比率は、予め1以下でかつ0より大きい下限値aが定められる。これは、追尾対象が検出不可能なほど画像サイズが小さくなってしまう事態を避けるために、検出可能な最小の画像サイズの条件を決めるためのものである。
ここで、カメラ制御パラメータ1による撮影範囲201の中心位置の座標を(x1,y1)、幅方向の画角をθx1、高さ方向の画角をθy1とする。また、カメラ制御パラメータ3による撮影範囲203の中心位置の座標を(x3,y3)、幅方向の画角をθx3、高さ方向の画角をθy3とする。
その場合は、常に下記数式に示した条件式を満たす値に決定される。可視範囲205の中心位置はカメラ制御パラメータ1による撮影範囲201の中心位置と一致し、可視範囲205の大きさはカメラ制御パラメータ1による撮影範囲201を(2−a)/a倍した大きさである。
Figure 2008011497
図3乃至図5は、図1におけるカメラ制御パラメータ2の変化に対するカメラ制御パラメータ3の変化を表す図である。
図2の状態では、カメラ制御パラメータ2は上記数式の条件式を全て満たしているので、カメラ制御パラメータ3はカメラ制御パラメータ2と同じ値になり、カメラ制御パラメータ2による撮影範囲202とカメラ制御パラメータ3による撮影範囲203は一致する。
図3の状態では、カメラ制御パラメータ2の値をそのままカメラ制御パラメータ3の値にすると数式の(5)、(8)の条件式を満たさなくなる。
従って、条件式を満たすように、カメラ制御パラメータ3による撮影範囲303の左辺と上辺がカメラ制御パラメータ1による撮影範囲301の左辺と上辺に一致する値に調整されて、カメラ制御パラメータ3の値が決定される。
図4の状態では、カメラ制御パラメータ2の値をそのままカメラ制御パラメータ3の値にすると、数式の(1)、(2)の条件式を満たさなくなる。
従って、条件式を満たすように、カメラ制御パラメータ3による撮影範囲403がカメラ制御パラメータ1による撮影範囲401に一致する値に調整されて、カメラ制御パラメータ3の値が決定される。
図5の状態では、カメラ制御パラメータ2の値をそのままカメラ制御パラメータ3の値にすると数式の(3)、(4)の条件式を満たさなくなる。
従って、条件式を満たすように、カメラ制御パラメータ3による撮影範囲503がカメラ制御パラメータ1による撮影範囲501の1/a倍になるように調整されて、カメラ制御パラメータ3の値が決定される。
尚、図3乃至図5の符号は、図2と対応する。
図6は、図1のカメラ装置がネットワークを介してクライアントと接続される場合の、カメラ制御要求入力手段におけるクライアントGUIの例を示す図である。
図6において、カメラ制御要求入力手段105のクライアントGUI610には、カメラ装置から受信した画像を表示する画像ウィンドウ611、カメラ装置に対して制御の開始を通知するための制御開始ボタン612が備えられる。
また、クライアントGUI610には、パン制御を要求するためのパンスクロールバー613、チルト制御を要求するためのチルトスクロールバー614、ズーム制御を要求するためのズームスクロールバー615が備えられる。
パン、チルト、ズームの各スクロールバーにはつまみ613−1、614−1、615−1があり、まずマウスカーソル616で制御開始ボタン612をクリックしてカメラ装置の制御権を取得する。そして、つまみ613−1、614−1、615−1をドラッグすることによってパン、チルト、ズーム制御を要求する。
これらのつまみ613−1、614−1、615−1の位置は現在のカメラ装置におけるパン、チルト、ズーム位置を常時反映する。
つまみ613−1、614−1、615−1のドラッグによってユーザーが要求したカメラ制御を行った場合だけでなく、カメラ装置側で自動追尾によるパン、チルト、ズーム制御が行われた場合でも、制御後のカメラ位置を反映してつまみの位置が変化する。
従って、数式の条件式を満たさない場合など、つまみのドラッグ後の位置に対応したカメラ制御が行えない場合には、つまみのドラッグ後の位置が制御結果に応じて変化することになる。
さらに、図6のGUIでは、カメラ装置側で自動追尾機能が有効な場合に制御権を取得すると表示される追尾対象捕捉枠620によってもカメラ制御の要求が可能である。追尾
対象捕捉枠620内にマウスカーソル616を移動させてクリックすると、追尾対象捕捉枠620は追尾対象捕捉枠630のような選択状態になり、ドラッグによる移動や大きさの変更が可能になる。
ここで、画像ウィンドウに対するドラッグ直後の追尾対象捕捉枠はカメラ制御パラメータ2に対するカメラ制御パラメータ1を表しており、位置と大きさの変更によってカメラ制御パラメータ2を指定することができる。また、追尾対象捕捉枠のドラッグによるカメラ制御が行われた直後の画像ウィンドウ611、631、641の表示範囲は、カメラ制御パラメータ3による撮影範囲に対応する。
図7は、図6のGUIにおいて、追尾対象捕捉枠をドラッグして小さくした場合の画面表示の変化を表した図である。
図7において、マウスカーソル716を追尾対象捕捉枠750の角に移動させると、図のようにマウスカーソル716上に斜め矢印が表示されて追尾対象捕捉枠の大きさを変更できるようになる。
この状態で追尾対象捕捉枠750を追尾対象捕捉枠751のように小さくすると、カメラ制御パラメータ1による撮影範囲に対するカメラ制御パラメータ2による撮影範囲が大きくなる。
従って、カメラ制御パラメータ2が数式の条件式を満たしてそのままカメラ制御パラメータ3の値になると仮定すると、広角方向にズーム制御が行われる。そして、追尾対象704は追尾対象744のように追尾対象捕捉枠751との相対的な位置と大きさを保ちながら、画像ウィンドウ741に対する大きさが小さくなる。
尚、符号710乃至715は図6の符号610乃至615に対応している。
図8は、図7のGUIにおいて、追尾対象捕捉枠をドラッグして移動した場合の画面表示の変化を表した図である。
図8において、追尾対象捕捉枠850をマウスカーソル816で掴んだままマウスを移動させると、追尾対象捕捉枠の大きさを変えずに移動させることができる。この状態で追尾対象捕捉枠850を追尾対象捕捉枠851のように右下に移動すると、カメラ制御パラメータ1による撮影範囲に対するカメラ制御パラメータ2による撮影範囲は左上に移動する。
従って、カメラ制御パラメータ2が数式の条件式を満たしてそのままカメラ制御パラメータ3の値になると仮定すると、左方向へのパン制御及び上方向へのチルト制御が行われる。そして、追尾対象804は追尾対象844のように、追尾対象捕捉枠851との相対的な位置と大きさを保ちながら、画像ウィンドウ841に対する位置が変化する。
尚、符号810乃至815は図6の符号610乃至615に対応している。
図10は、本発明の第2の実施の形態に係るカメラ装置のブロック構成を概略的に示す図である。
図10において、本カメラ装置は、シーンをキャプチャして全体画像データを生成する撮像部1001、入力された切り出し領域を全体画像から切り出して部分画像データを生成する画像切り出し手段1002を備える。
また、入力された画像データを表示装置等に出力する画像出力手段1003、入力された全体画像の画像認識によって全体画像中の追尾対象の位置と大きさを算出し、追尾対象が含まれる切り出し領域を算出して出力する切り出し領域生成手段1004を備える。また、全体画像に対する切り出し領域の位置と大きさを表す図を表示装置等に出力する切り出し領域出力手段1005を備える。画像切り出し手段1002が部分画像データを生成する際に使用される切り出し領域は、切り出し領域生成手段1004が出力する切り出し領域である。
また、本カメラ装置は、上記の各手段の他に、ユーザーによるカメラ制御要求を受け付け、画像切り出し手段1002に入力する第二の切り出し領域を決定するための決定条件を出力するカメラ制御要求手段1006を備える。
また、第二の切り出し領域を決定するための決定条件及び切り出し領域生成手段1004によって出力された第一の切り出し領域から、画像切り出し手段1002に入力するための第二の切り出し領域を生成する切り出し領域決定手段1007を備える。
切り出し領域出力手段1005には、切り出し領域生成手段1004によって生成される第一の切り出し領域と、切り出し領域決定手段1007によって生成される第二の切り出し領域が入力される。そして、全体画像に対するそれぞれの位置と大きさを表す図が表示装置等に出力される。
ここで、上記各手段は必ずしも独立した構成である必要は無く、CPUとメモリ及び上記各手段の機能を統合したプログラムによって実現されても良い。
また、図10の例では切り出し領域生成手段1004は、画像認識によって追尾対処の位置と大きさから切り出し領域を生成することを想定しているが、予め登録された切り出し領域変更スケジュールに従って切り出し領域を生成してもよい。その場合、切り出し領域生成手段1004は全体画像の入力を必要としない。
さらに、本実施の形態のカメラ装置は、ネットワークを介してクライアントと接続される構成でもよい。その場合、画像出力手段1003には通信手段及び画像データを展開して表示する画像表示手段が含まれる。また、切り出し領域出力手段1005及びカメラ制御要求手段1006には通信手段及びユーザーによる操作入力の受け付けや操作結果のフィードバックを行うクライアントのGUIが含まれる。
図11、図12、図13は、全体画像に対する第一の切り出し領域及び第二の切り出し領域の相対的な位置関係と、追尾対象が移動した場合のそれぞれの変化を表す図である。ここで、符号1100、1110、1120、1130と、符号1200、1210、1220、1230及び符号1300、1310、1320、1330は対応している。
全体画像1100に対して、第一の切り出し領域1110、第二の切り出し領域1120が表される。切り出し領域生成手段1004によって、第一の切り出し領域1110は常に追尾対象1130を一定の大きさと位置で捉える値に設定されている。
また、第二の切り出し領域1120は、カメラ制御要求手段1006によってユーザーが指定した大きさと位置に設定されている。ここで、追尾対象1130が図12のように移動すると、全体画面1200において、第一の切り出し領域が符号1210のように変化し、第二の切り出し領域もそれに合わせて位置と大きさが変化して符号1220になる。
このとき、図11における第一の切り出し領域1110と第二の切り出し領域1120それぞれの幅をL1、L2、幅方向及び高さ方向の中心間距離をX,Yとする。このとき、第一の切り出し領域と第二の切り出し領域の相対的な位置関係が変化しないという条件であれば、追尾対象移動後の図12におけるそれぞれの幅方向及び高さ方向の中心間距離はX,Yのままとなる。
また、それぞれの幅はL1’、L2’に変化するが、第一の切り出し領域と第二の切り出し領域の大きさが比例して変化する場合はL1’/L2’=L1/L2が成り立つ。そして、第二の切り出し領域の大きさが第一の切り出し領域の大きさに関わらず一定という条件であれば、L2’=L2が成り立つ。
また、追尾対象1130が図13のように移動すると、第二の切り出し領域1320は第一の切り出し領域1310に合わせて変化する。このとき、第一の切り出し領域と第二の切り出し領域の相対的な位置関係が変化しないという条件を満たすと、第二の切り出し領域の左端が全体画像の左端を越えてしまう。従って、それを回避するために第二の切り出し領域の左端が全体画像の左端に一致するように、幅方向の中心間距離がXからX’に変化する。
図14、図15は、切り出し領域復帰要求を受け付けた場合の、第一の切り出し領域及び第二の切り出し領域の変化を表す図である。ここで、符号1400、1410、1420、1430及び符号1500、1510、1520、1530は、図11の符号1100、1110、1120、1130と対応している。
図12の状態から切り出し領域の位置と大きさの両方を戻す切り出し領域復帰要求を受け付けた場合、図14のように、第一の切り出し領域1410は変化しない。そして、第二の切り出し領域1420が第一の切り出し領域1410に一致するように変化して、追加のカメラ制御を行う以前の状態に戻る。
また、切り出し領域の位置のみを戻す切り出し領域復帰要求を受け付けた場合は、図15のように、第二の切り出し領域1520の大きさはそのままで、中心のみが第一の切り出し領域1510の中心に一致するように変化する。
図16、図17は、画像出力手段及び切り出し領域出力手段によって表示されたGUIの例を表す図である。ここで、図16と図17の符号は対応している。
図16(a)、(b)は、図14の状態で表示されるGUIの例である。画像出力手段1003によって出力された出力画像の表示とスライドバーによる操作を行うメインウィンドウ1600と、全体画像に対する第一の切り出し領域及び第二の切り出し領域を表示するサブウィンドウ1660で構成されている。そして、マウスによるクリックやドラッグによる操作入力が可能になっている。
さらに、メインウィンドウは、出力画像の表示枠1610、制御の可否を切り替える制御開始ボタン1620、第二の切り出し領域を上下または左右に移動させる移動用スライドバー1630、1640を有する。また、第二の切り出し領域の大きさを変化させるズーム用スライドバー1650を有する。
サブウィンドウ1660は、全体画像表示枠1670、追加のカメラ制御による第二の切り出し領域の移動をキャンセルする移動キャンセルボタン1680を有する。また、追加のカメラ制御による第二の切り出し領域の大きさ変更をキャンセルするズームキャンセルボタン1690を有する。
全体画像表示枠1670には事前に撮影された全体画像の静止画が表示され、第一の切り出し領域を表す枠1691と、第二の切り出し領域を表す枠1692が表示されている。
ここで、制御開始ボタン1620をクリックして制御権を取得すると、第二の切り出し領域を表す枠1692の移動と大きさの変更が可能になる。このとき、マウスカーソルを第二の切り出し領域を表す枠内に移動させると、十字カーソル1793が表示されてドラッグ操作による枠の移動が可能になり、枠上に移動させるとドラッグ操作による枠の大きさ変更が可能になる。
枠の移動や大きさ変更を行うと、カメラ制御要求手段1006によって第二の切り出し領域を決定するための決定条件が生成される。また、枠の移動後に移動キャンセルボタン1680、1780をクリックすると、第二の切り出し領域の移動をキャンセルする追加カメラ制御キャンセル要求が生成される。そして、第一の切り出し領域を表す枠1791と第二の切り出し領域を表す枠1792の中心が一致するように、第二の切り出し領域を表す枠が移動する。
ズームキャンセルボタン1690、1790をクリックすると、第二の切り出し領域の大きさ変更をキャンセルする追加カメラ制御キャンセル要求が生成される。そして、第一の切り出し領域を表す枠1791と第二の切り出し領域を表す枠1792の大きさが等しくなるように、第二の切り出し領域を表す枠の大きさが変化する。
ここで、本実施の形態の要部について、以下に述べる。
第三のカメラ制御パラメータに従って制御した場合の撮影画像における、第一のカメラ制御パラメータに従って制御した場合の撮影範囲に相当する部分画像の画像サイズを第一の画像サイズとする。そして、追尾方法算出手段104による追尾対象の検出が可能な最小の画像サイズを第二の画像サイズとする。この場合、カメラ制御方法算出手段110が使用する条件式に、第一の画像サイズが前記第二の画像サイズを下回らないようにするための条件式が含まれる。
また、カメラ制御方法算出手段110が使用する条件式は、カメラ制御方法算出手段110を実装したソフトウェアの一部に含まれる。
また、カメラ制御方法算出手段110が使用する条件式は、カメラ制御方法算出手段110を実装した回路の一部に含まれる。
また、カメラ制御要求入力手段105には、カメラ制御方法に関するユーザー入力を受け付けるためのグラフィックユーザーインターフェースが含まれる。また、グラフィックユーザーインターフェースには、第二のカメラ制御パラメータを入力するためのグラフィックユーザーインターフェース部品が含まれる、または、グラフィックユーザーインターフェースには、第一のカメラ制御パラメータと第二のカメラ制御パラメータの対応情報を入力するためのグラフィックユーザーインターフェース部品が含まれる。
本発明の第1の実施の形態に係るカメラ装置のブロック構成を概略的に示す図である。 図1における各カメラ制御パラメータの対応関係を表す図である。 図1におけるカメラ制御パラメータ2の変化に対するカメラ制御パラメータ3の変化を表す図である(その1)。 図1におけるカメラ制御パラメータ2の変化に対するカメラ制御パラメータ3の変化を表す図である(その2)。 図1におけるカメラ制御パラメータ2の変化に対するカメラ制御パラメータ3の変化を表す図である(その3)。 図1のカメラ装置がネットワークを介してクライアントと接続される場合の、カメラ制御要求入力手段におけるクライアントGUIの例を示す図である。 図6のGUIにおいて、追尾対象捕捉枠をドラッグして小さくした場合の画面表示の変化を表した図である。 図7のGUIにおいて、追尾対象捕捉枠をドラッグして移動した場合の画面表示の変化を表した図である。 従来例に係るカメラ装置のブロック構成を概略的に示す図である。 本発明の第2の実施の形態に係るカメラ装置のブロック構成を概略的に示す図である。 図10のカメラ装置において、全体画像に対する第一の切り出し領域及び第二の切り出し領域の相対的な位置関係と、追尾対象が移動した場合のそれぞれの変化を表す図である(その1)。 図10のカメラ装置において、全体画像に対する第一の切り出し領域及び第二の切り出し領域の相対的な位置関係と、追尾対象が移動した場合のそれぞれの変化を表す図である(その2)。 図10のカメラ装置において、全体画像に対する第一の切り出し領域及び第二の切り出し領域の相対的な位置関係と、追尾対象が移動した場合のそれぞれの変化を表す図である(その3)。 図10のカメラ装置において、切り出し領域復帰要求を受け付けた場合の、第一の切り出し領域及び第二の切り出し領域の変化を表す図である(その1)。 図10のカメラ装置において、切り出し領域復帰要求を受け付けた場合の、第一の切り出し領域及び第二の切り出し領域の変化を表す図である(その2)。 図10における画像出力手段及び切り出し領域出力手段によって表示されたGUIの例を表す図である(その1)。 図10における画像出力手段及び切り出し領域出力手段によって表示されたGUIの例を表す図である(その2)。
符号の説明
101 撮像部
102 画像処理部
103 画像出力手段
104 追尾方法算出手段
105 カメラ制御要求入力手段
106 カメラ制御手段
107 パン駆動部
108 チルト駆動部
109 ズーム駆動部
110 カメラ制御方法算出手段

Claims (10)

  1. 撮影画像の解析によって追尾対象を検出するとともに追尾対象を追尾するための第一のカメラ制御パラメータを算出する追尾方法算出手段、外部から受け付けたカメラ制御要求から第二のカメラ制御パラメータを取得するカメラ制御要求入力手段、前記第一のカメラ制御パラメータと前記第二のカメラ制御パラメータから第三のカメラ制御パラメータを算出するカメラ制御方法算出手段、及び前記第三のカメラ制御パラメータに従ってカメラ制御を行うカメラ制御手段を備え、
    自動追尾機能が有効な状態で前記カメラ制御要求入力手段がカメラ制御要求を受け付けた場合、前記カメラ制御方法算出手段は、前記第一のカメラ制御パラメータ及び前記第二のカメラ制御パラメータに基づく条件式を満たし、前記第一のカメラ制御パラメータに従って制御した場合の撮影範囲が含まれるように前記第三のカメラ制御パラメータを算出する機能を有することを特徴とするカメラ装置。
  2. 前記第三のカメラ制御パラメータに従って制御した場合の撮影画像における、前記第一のカメラ制御パラメータに従って制御した場合の撮影範囲に相当する部分画像の画像サイズを第一の画像サイズとし、前記追尾方法算出手段による追尾対象の検出が可能な最小の画像サイズを第二の画像サイズとした場合に、前記カメラ制御方法算出手段が使用する条件式に、前記第一の画像サイズが前記第二の画像サイズを下回らないようにするための条件式が含まれることを特徴とする請求項1記載のカメラ装置。
  3. 前記カメラ制御方法算出手段が使用する条件式は、前記カメラ制御方法算出手段を実装したソフトウェアの一部に含まれることを特徴とする請求項1または2記載のカメラ装置。
  4. 前記カメラ制御方法算出手段が使用する条件式は、前記カメラ制御方法算出手段を実装した回路の一部に含まれることを特徴とする請求項1または2記載のカメラ装置。
  5. 前記カメラ制御要求入力手段には、カメラ制御方法に関するユーザー入力を受け付けるためのグラフィックユーザーインターフェースが含まれるとともに、前記グラフィックユーザーインターフェースには、前記第二のカメラ制御パラメータを入力するためのグラフィックユーザーインターフェース部品、または前記第一のカメラ制御パラメータと前記第二のカメラ制御パラメータの対応情報を入力するためのグラフィックユーザーインターフェース部品が含まれることを特徴とする請求項1乃至4のいずれかに記載のカメラ装置。
  6. 全体画像を取得する撮像手段と、第一の切り出し領域を出力する切り出し領域生成手段と、追加のカメラ制御要求を受け付けるとともにそれに基づいて第二の切り出し領域を出力する切り出し領域決定手段と、第二の切り出し領域に基づいて全体画像から部分画像を切り出して出力する画像切り出し手段とを備え、
    前記追加のカメラ制御要求には第一の切り出し領域に対する第二の切り出し領域の相対的な位置または大きさに関する条件が含まれ、第一の切り出し領域の位置または大きさが変化した場合には、前記切り出し領域決定手段が前記条件を満たすように第二の切り出し領域を変化させることを特徴とするカメラ装置。
  7. 前記切り出し領域決定手段は、追加カメラ制御キャンセル要求を受け付けた場合に、第二の切り出し領域の位置または大きさを第一の切り出し領域に一致させることを特徴とする請求項6記載のカメラ装置。
  8. 第一の切り出し領域及び第二の切り出し領域の全体画像に対する相対的な位置と大きさを表すグラフィックユーザーインターフェースを表示装置に出力する切り出し領域出力手段を備えることを特徴とする請求項6または7記載のカメラ装置。
  9. 前記切り出し領域生成手段は、前記撮像手段から出力された全体画像に映り込んだ追尾対象を追尾するように第一の切り出し領域を算出することを特徴とする請求項6乃至8のいずれかに記載のカメラ装置。
  10. 前記切り出し領域生成手段は、予め登録された切り出し領域変更スケジュールに従って第一の切り出し領域を算出することを特徴とする請求項6乃至8のいずれかに記載のカメラ装置。
JP2007051259A 2006-06-01 2007-03-01 カメラ装置 Pending JP2008011497A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007051259A JP2008011497A (ja) 2006-06-01 2007-03-01 カメラ装置
US11/755,900 US8363105B2 (en) 2006-06-01 2007-05-31 Camera apparatus having an auto-tracking function

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006153667 2006-06-01
JP2007051259A JP2008011497A (ja) 2006-06-01 2007-03-01 カメラ装置

Publications (1)

Publication Number Publication Date
JP2008011497A true JP2008011497A (ja) 2008-01-17

Family

ID=38789592

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007051259A Pending JP2008011497A (ja) 2006-06-01 2007-03-01 カメラ装置

Country Status (2)

Country Link
US (1) US8363105B2 (ja)
JP (1) JP2008011497A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041526A (ja) * 2008-08-07 2010-02-18 Chiba Univ 自動追尾装置
EP2157547A2 (en) 2008-08-20 2010-02-24 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2013186274A (ja) * 2012-03-07 2013-09-19 Olympus Imaging Corp 撮像装置
JP2017017446A (ja) * 2015-06-29 2017-01-19 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
JP2020057302A (ja) * 2018-10-04 2020-04-09 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4709071B2 (ja) * 2006-06-02 2011-06-22 キヤノン株式会社 撮像システム及び装置、撮像装置の制御方法
US8497928B2 (en) * 2007-07-31 2013-07-30 Palm, Inc. Techniques to automatically focus a digital camera
KR101611531B1 (ko) * 2009-11-13 2016-04-12 삼성전자주식회사 촬영장치 및 촬영영상 제공방법
US20110181716A1 (en) * 2010-01-22 2011-07-28 Crime Point, Incorporated Video surveillance enhancement facilitating real-time proactive decision making
JP5158138B2 (ja) * 2010-06-22 2013-03-06 株式会社ニコン 撮像装置、再生装置および再生プログラム
JP5063749B2 (ja) * 2010-07-12 2012-10-31 キヤノン株式会社 撮影制御システム、撮像装置の制御装置及びその制御方法、並びにプログラム
JP5591006B2 (ja) * 2010-07-26 2014-09-17 キヤノン株式会社 自動追尾カメラシステムの制御装置及びそれを有する自動追尾カメラシステム
JP2012115414A (ja) * 2010-11-30 2012-06-21 Nintendo Co Ltd ゲーム装置、ゲームを提供する方法、ゲームプログラム、および、ゲームシステム
US9137444B2 (en) * 2011-09-26 2015-09-15 Sony Corporation Image photography apparatus for clipping an image region
JP5955130B2 (ja) * 2012-06-26 2016-07-20 キヤノン株式会社 カメラ制御装置及びカメラ制御方法
US10607088B2 (en) * 2015-04-14 2020-03-31 Sony Corporation Image processing device, image processing method, and image processing system
JP2017028633A (ja) * 2015-07-27 2017-02-02 株式会社リコー 映像配信端末、プログラム、及び、映像配信方法
US20170272660A1 (en) 2016-03-17 2017-09-21 Casio Computer Co., Ltd. Imaging device configured to control a region of imaging
JP7385667B2 (ja) * 2019-09-20 2023-11-22 富士フイルム株式会社 撮影装置、及び撮影方法
JP2022135081A (ja) * 2021-03-04 2022-09-15 キヤノン株式会社 撮像装置、撮像制御装置、情報処理装置およびそれらの制御方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261522A (ja) 1996-03-27 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 可変領域を得うる映像配信方法、ならびにシステム
JP3762149B2 (ja) * 1998-07-31 2006-04-05 キヤノン株式会社 カメラ制御システム、カメラサーバ、カメラサーバの制御方法、カメラ制御方法、及びコンピュータ読み取り可能な記録媒体
JP4366023B2 (ja) * 2001-03-16 2009-11-18 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法
JP2002300408A (ja) * 2001-03-30 2002-10-11 Toshiba Corp 画像ファイリング装置及び方法、並びに画像復元装置及び方法
JP2004046632A (ja) * 2002-07-12 2004-02-12 Minolta Co Ltd 画像処理装置
US20050104958A1 (en) * 2003-11-13 2005-05-19 Geoffrey Egnal Active camera video-based surveillance systems and methods
US8089510B2 (en) * 2004-08-27 2012-01-03 Motorola Mobility, Inc. Interface method and apparatus for video imaging device
US7542613B2 (en) * 2004-09-21 2009-06-02 Sanyo Electric Co., Ltd. Image processing apparatus
US7801328B2 (en) * 2005-03-31 2010-09-21 Honeywell International Inc. Methods for defining, detecting, analyzing, indexing and retrieving events using video image processing

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041526A (ja) * 2008-08-07 2010-02-18 Chiba Univ 自動追尾装置
EP2157547A2 (en) 2008-08-20 2010-02-24 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US8284994B2 (en) 2008-08-20 2012-10-09 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
JP2013186274A (ja) * 2012-03-07 2013-09-19 Olympus Imaging Corp 撮像装置
JP2017017446A (ja) * 2015-06-29 2017-01-19 キヤノン株式会社 情報処理装置およびその制御方法、並びにプログラム
JP2020057302A (ja) * 2018-10-04 2020-04-09 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
JP7278737B2 (ja) 2018-10-04 2023-05-22 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム

Also Published As

Publication number Publication date
US20070279492A1 (en) 2007-12-06
US8363105B2 (en) 2013-01-29

Similar Documents

Publication Publication Date Title
JP2008011497A (ja) カメラ装置
US8472667B2 (en) Editing apparatus and method
US7551200B2 (en) Camera controller and zoom ratio control method for the camera controller
CN112217998B (zh) 拍摄装置、信息处理装置及其控制方法、存储介质
KR101739318B1 (ko) 표시 제어장치, 촬상 시스템, 표시 제어방법, 및 기록 매체
CN111107276B (zh) 信息处理设备及其控制方法、存储介质以及摄像系统
JP2006211139A (ja) 撮像装置
JP6566626B2 (ja) 撮像装置
US10104279B2 (en) Control apparatus, method of controlling the same, and storage medium
JP2005142683A (ja) カメラ制御装置およびカメラ制御方法
JP2006191408A (ja) 画像表示プログラム
JP6269014B2 (ja) フォーカス制御装置およびフォーカス制御方法
JP4794903B2 (ja) 端末装置、端末装置が行う制御方法及びプログラム
JP5643775B2 (ja) 撮影装置、プログラム、及び撮影方法
JP6700706B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101514346B1 (ko) 합성 사진 촬영 장치 및 방법
JP2009224882A (ja) 撮像装置、撮像装置の表示方法、プログラム及びコンピュータ読み取り可能な記録媒体
JP2014039165A (ja) 追尾機能付き撮影装置
WO2012099174A1 (ja) オートフォーカスシステム
US20210266466A1 (en) Imaging device, imaging system, control method, program, and storage medium
JP6818734B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5263989B2 (ja) 画像配信システムおよび画像配信方法と画像配信プログラム
JP2023063765A (ja) 画像処理装置、画像処理方法、画像処理システム、およびプログラム
WO2024145189A1 (en) System and method for multi-camera control and capture processing
JP2017098851A (ja) 表示制御方法、表示制御プログラムおよび情報処理装置