JP2007129480A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2007129480A JP2007129480A JP2005320022A JP2005320022A JP2007129480A JP 2007129480 A JP2007129480 A JP 2007129480A JP 2005320022 A JP2005320022 A JP 2005320022A JP 2005320022 A JP2005320022 A JP 2005320022A JP 2007129480 A JP2007129480 A JP 2007129480A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- target
- screen
- image
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Indication In Cameras, And Counting Of Exposures (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、動画像を撮影可能な撮像装置に関する。 The present invention relates to an imaging apparatus capable of capturing a moving image.
光学ズーム又はデジタルズームを利用した高倍率での動画撮影が可能な撮像装置が普及している。しかし、高倍率での撮影は手ブレ等の影響を受けやすく、撮影対象がフレームアウトしてしまいやすい。そして、一度フレームアウトしてしまうと、撮影対象を見失ってしまい、撮影対象を再び画角内に戻すのは非常に困難である。 Imaging devices that can shoot moving images at a high magnification using optical zoom or digital zoom are in widespread use. However, shooting at a high magnification is easily affected by camera shake and the like, and the shooting target tends to be out of frame. Once the frame is out, the subject to be photographed is lost, and it is very difficult to return the subject to the angle of view again.
そこで、従来、ズーム開始前やズーム途中の広範囲画像を子画面に参考表示することで、撮影対象へのズームや、フレームアウト時の撮影対象の発見を容易にする技術が知られている(特許文献1)。 Therefore, conventionally, there is known a technique that makes it easy to zoom to an object to be photographed or to find an object to be photographed when out of a frame by displaying a wide-range image as a reference on a sub-screen before starting zooming or during zooming (patent) Reference 1).
また、撮影対象がフレームアウトしたときに、その旨をLEDで知らせたり、防振装置の作動を禁止したりすることで、構図の変更を支援する技術も知られている(特許文献2)。
しかし特許文献1の方法のように広範囲画像を表示したとしても、高倍率の拡大画像が広範囲画像のどの部分に対応しているかを容易に把握できなければ、撮影対象をフレーム内に戻すのは難しい。また、広範囲画像はズーム開始前やズーム途中の画像(つまり、過去の画像)のため、撮影対象が比較的速い速度で移動している場合には、撮影対象の位置が変わっており、参考にならない。
However, even if a wide-range image is displayed as in the method of
また、特許文献2の方法では、撮影対象がフレームアウトしたことが通知されるにすぎず、撮影対象をフレーム内に戻す操作に対しては何ら役に立たない。
In addition, the method disclosed in
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、フレームアウトした撮影対象を容易にフレーム内に戻すことの可能な技術を提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique capable of easily returning a photographing target out of the frame into the frame.
上記目的を達成するために本発明では、以下の手段または処理を採用する。 In order to achieve the above object, the present invention employs the following means or processing.
本発明の第一態様は、動画像を撮影可能な撮像手段と、前記撮像手段にて撮影中の動画像を表示する表示手段と、前記撮像手段で撮影された画像から撮影対象を検出し、動画像においてその撮影対象の動きを追跡する追跡手段と、追跡中の撮影対象が前記表示手段の画面から外れた場合に、前記撮影対象の移動方向を案内するガイドを前記画面上に表示する移動方向案内手段と、を備える撮像装置である。 In the first aspect of the present invention, an imaging unit capable of capturing a moving image, a display unit that displays a moving image being captured by the imaging unit, a shooting target is detected from the image captured by the imaging unit, A tracking unit that tracks the movement of the shooting target in a moving image, and a movement that displays a guide for guiding the moving direction of the shooting target on the screen when the shooting target being tracked deviates from the screen of the display unit. And an orientation guide means.
この構成によれば、撮影者が画面表示される動画像を見ながら撮影対象を撮影しているときに、撮影対象がフレームアウトしてしまうと、画面上にガイドが表示される。そのガイドは撮影対象の移動方向(フレームアウトした方向)を案内するものであるため、撮影者がそのガイドされた方向に撮像装置を向けることで、容易に撮影対象を発見しフレーム内に戻すことができる。 According to this configuration, when the photographer is photographing the photographing target while watching the moving image displayed on the screen, the guide is displayed on the screen if the photographing target is out of frame. Since the guide guides the moving direction of the shooting target (the direction of out of the frame), the shooting person can easily find the shooting target and return it to the frame by pointing the imaging device in the guided direction. Can do.
画面上に表示するガイドは、撮影対象の移動方向、つまり、撮像装置を向けるべき方向を撮影者に知らせることができれば、どのようなものでも構わない。例えば、方向を示す矢印や図形や絵文字のようなマークでもよいし、方向を知らせるメッセージでもよいし、画面の一部に特殊効果(点滅、反転、強調など)を表示してもよい。また、ガイドは、画面表示されている動画像の視認性を損なわない態様で表示するとよい。例えば、オーバーレイ表示したり、点滅表示したり、画面の端に表示したりする態様が好ましい。 The guide displayed on the screen may be any guide as long as it can inform the photographer of the moving direction of the object to be imaged, that is, the direction in which the imaging device should be directed. For example, a mark such as an arrow indicating a direction, a figure, or a pictograph, a message indicating the direction, or a special effect (flashing, reversal, emphasis, etc.) may be displayed on a part of the screen. Moreover, it is good to display a guide in the aspect which does not impair the visibility of the moving image currently displayed on the screen. For example, it is preferable to perform an overlay display, a flashing display, or a display on the edge of the screen.
撮影対象としては、人、動物、車両、ボールなどのあらゆる移動物体が想定される。特に撮影対象が人の場合には、前記追跡手段は、画像から顔を検出することによって追跡対象とすべき撮影対象を特定することが好ましい。 Any moving object such as a person, an animal, a vehicle, or a ball is assumed as an imaging target. In particular, when the photographing target is a person, it is preferable that the tracking unit specifies a photographing target to be tracked by detecting a face from the image.
撮影対象の移動方向の決定方法としては、種々の方法が想定され、いかなる方法を採用してもよい。 As a method for determining the moving direction of the photographing target, various methods are assumed, and any method may be adopted.
例えば、前記移動方向案内手段は、前記撮影対象が前記画面から外れる直前の画像において、前記撮影対象に最も近い画面端を求め、前記ガイドとして、前記最も近い画面端を指し示すマークを表示してもよい。 For example, the moving direction guide means may obtain a screen edge closest to the imaging target in an image immediately before the imaging target is deviated from the screen, and display a mark indicating the closest screen edge as the guide. Good.
また、前記移動方向案内手段は、前記撮影対象が前記画面から外れるまでの追跡履歴に基づいて、前記撮影対象が前記画面から外れた後の現在位置を推定し、前記ガイドとして、前記推定された現在位置を指し示すマークを表示してもよい。 Further, the moving direction guide means estimates a current position after the shooting target is off the screen based on a tracking history until the shooting target is off the screen, and the estimated as the guide A mark indicating the current position may be displayed.
さらにこのとき、前記移動方向案内手段は、前記追跡履歴から得られる前記撮影対象と画像中の他の物体との相対位置の変化と、前記他の物体の画像上の現在位置とから、前記撮影対象の現在位置を算出することが好ましい。 Further, at this time, the moving direction guide means takes the photographing from the change in the relative position between the photographing target obtained from the tracking history and another object in the image and the current position on the image of the other object. It is preferable to calculate the current position of the object.
あるいは、撮像装置本体の移動を検知する検知手段をさらに備え、前記移動方向案内手段は、前記追跡履歴から得られる前記撮影対象の画像上の位置の変化と、前記検知手段の検知結果から得られる撮像装置本体の向きの変化とから、前記撮影対象の現在位置を算出することも好ましい。 Alternatively, the apparatus further includes a detecting unit that detects the movement of the imaging apparatus main body, and the moving direction guiding unit is obtained from a change in the position of the image to be captured obtained from the tracking history and a detection result of the detecting unit. It is also preferable to calculate the current position of the object to be imaged from a change in the orientation of the imaging apparatus body.
また、撮像装置本体の移動を検知する検知手段をさらに備え、前記移動方向案内手段は、前記撮影対象が前記画面から外れる直前の前記撮影対象の位置と、前記検知手段の検知結果から得られる撮像装置本体の位置の変化とに基づいて、前記撮影対象が前記画面から外れた後の現在位置を推定し、前記ガイドとして、前記推定された現在位置を指し示すマークを表示してもよい。 The moving direction guiding unit further includes a detecting unit that detects the movement of the imaging apparatus main body, and the moving direction guiding unit captures an image obtained from a position of the shooting target immediately before the shooting target deviates from the screen and a detection result of the detection unit. Based on a change in the position of the apparatus main body, a current position after the photographing object is off the screen may be estimated, and a mark indicating the estimated current position may be displayed as the guide.
また、前記撮像手段で撮影された画像は、前記表示手段の画面に表示される表示領域と、前記表示領域の外側にあり前記画面に表示されない非表示領域とを含み、前記追跡手段は、前記撮影対象が前記表示手段の画面から外れた後でも、前記撮影対象が前記非表示領域に存在する間は前記撮影対象の追跡を続行し、前記移動方向案内手段は、前記ガイドとして、前記非表示領域における前記撮影対象の位置を指し示すマークを表示することも好ましい。 The image captured by the imaging unit includes a display area displayed on the screen of the display unit, and a non-display area that is outside the display area and not displayed on the screen, and the tracking unit includes the tracking unit Even after the shooting target is off the screen of the display unit, the shooting target continues to be tracked while the shooting target exists in the non-display area, and the moving direction guide unit is used as the guide to hide the non-display. It is also preferable to display a mark indicating the position of the photographing target in the area.
なお、本発明は、上記手段の少なくとも一部を有する撮像装置として捉えることができる。また、撮像装置単体でなく、かかる撮像装置を備えた装置(例えば、携帯端末)として捉えることもできる。また、本発明は、上記処理の少なくとも一部を含む撮影方法、または、かかる方法を実現するためのプログラムとして捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。 Note that the present invention can be understood as an imaging apparatus having at least a part of the above means. Moreover, it can also be grasped as an apparatus (for example, a portable terminal) provided with such an imaging apparatus instead of the imaging apparatus alone. The present invention can also be understood as an imaging method including at least a part of the above processing, or a program for realizing the method. Each of the above means and processes can be combined with each other as much as possible to constitute the present invention.
たとえば、本発明の一態様としての撮影方法は、動画像を撮影可能な撮像手段と表示手段とを備える撮像装置が、前記撮像手段にて撮影中の動画像を前記表示手段の画面に表示し、前記撮像手段で撮影された画像から撮影対象を検出して、動画像においてその撮影対象の動きを追跡し、追跡中の撮影対象が前記表示手段の画面から外れた場合に、前記撮影対象の移動方向を案内するガイドを前記画面上に表示する撮影方法である。 For example, in the imaging method as one aspect of the present invention, an imaging apparatus including an imaging unit capable of capturing a moving image and a display unit displays a moving image being captured by the imaging unit on a screen of the display unit. , Detecting a shooting target from an image shot by the imaging unit, tracking the movement of the shooting target in a moving image, and when the shooting target being tracked is off the screen of the display unit, In this imaging method, a guide for guiding a moving direction is displayed on the screen.
また、本発明の一態様としてのプログラムは、動画像を撮影可能な撮像手段と表示手段とを備える撮像装置に、前記撮像手段にて撮影中の動画像を前記表示手段の画面に表示する処理と、前記撮像手段で撮影された画像から撮影対象を検出して、動画像においてその撮影対象の動きを追跡する処理と、追跡中の撮影対象が前記表示手段の画面から外れた場合に、前記撮影対象の移動方向を案内するガイドを前記画面上に表示する処理と、を実行させるプログラムである。 The program as one aspect of the present invention is a process for displaying a moving image being photographed by the imaging unit on a screen of the display unit on an imaging apparatus including an imaging unit capable of capturing a moving image and a display unit. And a process of detecting a shooting target from an image shot by the imaging unit and tracking the movement of the shooting target in a moving image, and when the shooting target being tracked is off the screen of the display unit, And a process for displaying a guide for guiding the moving direction of the photographing target on the screen.
本発明によれば、フレームアウトした撮影対象を容易にフレーム内に戻すことができる。よって、高倍率での撮影も容易に行うことができる。 According to the present invention, an object to be photographed out of the frame can be easily returned into the frame. Therefore, shooting at a high magnification can be easily performed.
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ここでは、本発明をデジタルビデオカメラに適用した例を挙げるが、本発明はデジタルビデオカメラに限らず、アナログビデオカメラ、動画撮影機能を有するデジタルカメラなどの各種撮像装置、並びに、動画撮影機能を有する撮像装置を備えた電子機器や携帯端末(コンピュータ、PDA、携帯電話など)などに好ましく適用することができる。 Exemplary embodiments of the present invention will be described in detail below with reference to the drawings. Here, an example in which the present invention is applied to a digital video camera is given. However, the present invention is not limited to a digital video camera, and various imaging devices such as an analog video camera and a digital camera having a moving image shooting function, and a moving image shooting function are provided. The present invention can be preferably applied to an electronic device or a mobile terminal (computer, PDA, mobile phone, etc.) provided with the imaging device.
<撮像装置の構成>
図1は、撮像装置の一構成例を示すブロック図である。撮像装置1は、概略、撮像部2と、一時記憶部3と、表示部4と、追跡処理部5と、移動方向案内部6と、画像記録部7と、操作部8とを備えている。また、図示しないが、撮像装置は、CPU(中央演算処理装置)、主記憶装置、補助記憶装置などのハードウェアを内蔵している。追跡処理部5及び移動方向案内部6は、補助記憶装置に記憶されているプログラムが主記憶装置にロードされ、CPUにより実行されることで実現される。撮像部2、一時記憶部3、表示部4、画像記録部7及び操作部8の制御もプログラムによって実現される。
<Configuration of imaging device>
FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus. The
撮像部2は、動画像を撮影可能な撮像手段であって、光学系(レンズ群)と撮像素子(CCD(Charge-Coupled Devices)、CMOS(Complementary Metal-Oxide Semiconductor)センサなど)とを備えている。また、撮像部2はオートフォーカス機能及びズーム機能を備えている。ズーム機能としては、レンズ群の配置を制御することにより倍率(画角)を変更する光学ズームと、撮像素子に入力された画像の一部をトリミングし拡大することで倍率を変更するデジタルズームの両方を備えることが好ましい。
The
一時記憶部3は、撮像部2で撮影された画像を一時的に記憶するメモリである。一時記憶部3に記憶された画像は、表示部4への表示処理、画像記録部7への記録処理、追跡処理部5での追跡処理などに供される。
The
表示部4は、画像の表示が可能な表示パネルであって、例えば液晶ディスプレイパネルなどから構成される。表示部4は、ファインダー内部に内蔵されていてもよいし、装置外から視認可能とするために撮像装置本体側面などに回動自在に取り付けられていてもよいし、撮像装置とは別体で構成されていてもよい。
The
画像記録部7は、画像を電磁的に記録する記録媒体であって、例えば光記録媒体、磁気記録媒体、光磁気記録媒体などから構成可能である。
The
操作部8は、スイッチやボタンなどで構成される入力インターフェイスである。例えば、撮影の開始/終了、記録の開始/終了、撮影対象の指定、ズーム操作(倍率決定)、記録された画像の再生・削除・編集などの命令を入力するための入力インターフェイスがあるとよい。これらの入力インターフェイスは、物理的(機械的)なボタン等で構成されていてもよいが、タッチパネル式の表示部4を用いてソフトウェア的に構成されていてもかまわない。
The
撮影を開始すると、撮像部2で撮影された画像が一定の時間間隔で一時記憶部3に取り込まれ、所定の画像処理が施された後でほぼリアルタイムに表示部4の画面に表示される。撮影者は表示部4の画面に映る画像を見ながら構図を決定することができる。そして、記録を開始すると、表示部4にて閲覧中の画像が動画エンコードされ、画像記録部7に記録されていく。
When shooting is started, images taken by the
上記撮像装置にて、人、動物、車両、ボールなどの動きのある撮影対象を連続的に撮影する際には、撮影者は撮影対象に追従して撮像装置の向きを調整する必要がある。通常、撮影者は、表示部4に映る画像を見ながら、撮影対象が画面(画角)から外れないように、撮像装置を適宜動かしていく。撮影対象の移動速度が遅いときや、画像中の撮影対象の大きさが小さいときは、撮影対象を見失う可能性は小さい。しかし、撮影対象が高速に又は複雑に移動しているときや、撮影対象をアップで撮影しているときには、撮影対象がフレームアウトしてしまうことがある。特に、高倍率撮影を行っている場合には、手ブレ程度の小さな変動でも撮影画像の揺れが大きく、撮影対象を見失う可能性が高い。
When the imaging apparatus continuously shoots an imaging object such as a person, an animal, a vehicle, or a ball, the photographer needs to adjust the orientation of the imaging apparatus following the imaging object. Usually, the photographer appropriately moves the imaging device while watching the image displayed on the
そこで本実施形態では、追跡処理部5が、動画像において撮影対象の動きを自動的に追跡(監視)し、追跡中の撮影対象が表示部4の画面から外れた場合に、移動方向案内部6が、撮影対象の移動方向を案内するガイドを画面上に表示する。このガイドにより、撮影者に対し、撮影対象がフレームアウトした方向を知らしめ、撮影対象の発見及びフレームインを容易にするのである。
Therefore, in the present embodiment, the
以下、追跡処理及び移動方向案内処理の具体例について詳しく説明する。 Hereinafter, specific examples of the tracking process and the moving direction guidance process will be described in detail.
<第1実施形態>
図2は、追跡処理部5及び移動方向案内部6の一構成例を示すブロック図である。追跡処理部5は、顔検出部10、追跡情報記憶部11、顔認識部12、追跡履歴記録部13から構成される。また、移動方向案内部6は、移動方向推定部14とガイド表示部15から構成される。
<First Embodiment>
FIG. 2 is a block diagram illustrating a configuration example of the
顔検出部10は、一時記憶部3から画像を読み出し、その画像から人の顔を検出し、検出された顔の位置や大きさ等を特定する機能である。顔検出部10は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されてもよい。また、顔検出部10は、顔の器官(目,鼻,耳など)に基づくテンプレートマッチングによって顔を検出するように構成されてもよい。また、顔検出部10は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されてもよい。また、顔検出部10は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されてもよい。また、顔検出部10は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されてもよい。また、顔検出部10による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されてもよい。
The
また、顔検出部10は、画像から複数の人の顔が検出された場合、所定の基準に従って処理の対象となる顔を選んでもよい。所定の基準とは、例えば顔の大きさ、顔の向き、画像中における顔の位置などである。
In addition, when a plurality of human faces are detected from the image, the
追跡情報記憶部11は、追跡処理に関わる情報が記録されるメモリである。追跡処理に関わる情報には、追跡中の撮影対象(以下、「追跡対象」という)の顔の特徴量、追跡対象の移動の履歴(以下、「追跡履歴」という)などが含まれる。追跡対象の顔の特徴量は、追跡処理の開始時(初回の顔認識処理の時)に登録される。なお、撮影対象の顔の特徴量は予め登録できるようにしてもよい。
The tracking
顔認識部12は、顔画像から個人を認識(識別)する機能である。具体的には、顔認識部12は、顔検出部10によって検出された顔画像から、輝度分布や色ヒストグラム等の特徴量を抽出し、それを追跡情報記憶部11に記憶されている追跡対象の特徴量と比較することによって、同一人か否かを判定する。特徴量の比較は、例えば、輝度分布の正規化相関や、色ヒストグラムのヒストグラムインタセクション等を類似度として取得することによって行うことができる。
The
追跡履歴記録部13は、追跡対象の追跡履歴を作成・更新する機能である。追跡履歴には、例えば、追跡対象の画像中における位置・大きさの変化が含まれる。また、追跡履歴として、画像中の他の物体(例えば背景に存在する木や建造物や車両)の位置や大きさを記録したり、あるいは、画像中の他の物体に対する追跡対象の相対位置・大きさなどを計算し、記録してもかまわない。この追跡履歴は追跡情報記憶部11に蓄積される。
The tracking
移動方向推定部14は、追跡対象が表示部4の画面外へ移動した場合に、追跡対象の移動方向(フレームアウトした方向)を推定する機能である。本実施形態では、追跡対象が画面から外れる直前の画像において、追跡対象に最も近い画面端を求め、その最も近い画面端の方向に追跡対象がフレームアウトしたとみなす。かかる推定は、最も近接していた画面端からフレームアウトする蓋然性が高いという知見に基づくものであり、簡単な処理で追跡対象の移動方向を決定できるという利点がある。
The movement
ガイド表示部15は、追跡対象の移動方向を案内するガイドを表示部4の画面上に表示する機能である。本実施形態では、ガイドとして、追跡対象に最も近接していた画面端を指し示す矢印マークを表示する。
The
(動作例)
図3は、第1実施形態に係る追跡処理及び移動方向案内処理の動作例を示している。
(Operation example)
FIG. 3 shows an operation example of the tracking process and the movement direction guidance process according to the first embodiment.
撮影が開始されると、一定の時間間隔で画像が取り込まれ、逐次、撮影対象の追跡処理が実行される。この追跡処理の実行中に、顔認識部12により追跡対象と同一人の顔が存在しないと判定されたら、追跡対象がフレームアウトしたとみなされ、追跡処理を終了する。そして、移動方向推定部14が、追跡情報記憶部11から1フレーム前(複数フレーム前でもよい)の画像における追跡対象の顔の位置を読み込み、その顔と画面の上端・下端・左端・右端それぞれとの距離LT,LB,LL,LRを算出する。図3(a)の例では、LLが最小となり、左端が追跡対象に最も近い画面端として選ばれる。ガイド表示部15は、画面の左端を指し示す矢印マークを生成し、図3(b)に示すように、矢印マークを表示部4の画面上にオーバーレイ表示する。
When shooting starts, images are captured at regular time intervals, and shooting target tracking processing is sequentially executed. If the
このように矢印マークを表示することで、撮影者は、撮影対象がフレームアウトしたことに気づくと共に、撮影対象が移動した方向を知ることができる。そして、撮影者が、ガ
イドされた方向に撮像装置を向ければ、容易に撮影対象を発見し、再びフレーム内に戻すことができる。
By displaying the arrow mark in this manner, the photographer can recognize that the shooting target has been out of frame and can know the direction in which the shooting target has moved. If the photographer points the imaging device in the guided direction, the photographing object can be easily found and returned to the frame again.
撮影対象がフレームインしたら、ガイド表示が解除され、追跡処理が再開される。なお、撮影対象がフレームインしたか否かの判断は顔認識により自動判定することが好ましいが、撮影者の操作に委ねてもよい。撮影者の操作による方法としては、例えば、撮影者により新たな追跡対象が指定されたことをもって、フレームインとみなし、ガイド表示の解除及び追跡処理の再開を実行する方法などが考えられる。 When the shooting target is in frame, the guide display is canceled and the tracking process is resumed. It should be noted that it is preferable to automatically determine whether or not the shooting target has entered the frame by face recognition, but it may be left to the operation of the photographer. As a method by the photographer's operation, for example, there is a method in which when a new tracking target is designated by the photographer, it is regarded as a frame-in and the guide display is canceled and the tracking process is restarted.
<第2実施形態>
第2実施形態では、追跡対象がフレームアウトするまでの追跡履歴に基づいて撮影対象の現在位置(フレームアウト後の位置)を推定する点で第1実施形態と異なる。それ以外の構成は第1実施形態のものとほぼ同一である。
Second Embodiment
The second embodiment is different from the first embodiment in that the current position (position after frame-out) of the imaging target is estimated based on the tracking history until the tracking target is out-of-frame. The other configuration is almost the same as that of the first embodiment.
図4は、第2実施形態に係る追跡処理及び移動方向案内処理の動作例を示している。 FIG. 4 shows an operation example of the tracking process and the movement direction guidance process according to the second embodiment.
追跡対象がフレームアウトしたら、移動方向推定部14が、追跡情報記憶部11から追跡履歴を読み込む。この追跡履歴には、フレームアウト直前までの追跡対象の画像上の位置変化が含まれている。移動方向推定部14はこの位置変化から、撮影対象の移動ベクトル(移動方向及び移動量)を算出し、その算出された移動ベクトルに基づいて撮影対象の現在位置を推定する。そして、ガイド表示部15は、撮影対象の現在位置(推定値)を指し示す矢印マークを生成し、図4(b)に示すように、矢印マークを表示部4の画面上にオーバーレイ表示する。
When the tracking target is out of frame, the moving
本実施形態の構成によっても、第1実施形態と同様の作用効果を得ることができる。さらに、本実施形態では、追跡履歴から撮影対象の現在位置を推定しているので、移動方向ガイドの精度及び信頼性が向上するという利点がある。 Also according to the configuration of the present embodiment, the same effects as those of the first embodiment can be obtained. Further, in the present embodiment, since the current position of the photographing target is estimated from the tracking history, there is an advantage that the accuracy and reliability of the moving direction guide is improved.
<第3実施形態>
図4に示したように、フレームアウトの前後で撮像装置の位置(向き)が変化していなければ、第2実施形態の方法で撮影対象の現在位置を精度良く推定可能である。しかし、図5に示すように、フレームアウトの前後で撮像装置の向きが変化してしまうと、撮影対象の実際の位置と推定位置に誤差が生じてしまう。
<Third Embodiment>
As shown in FIG. 4, if the position (orientation) of the imaging apparatus does not change before and after frame-out, the current position of the imaging target can be accurately estimated by the method of the second embodiment. However, as shown in FIG. 5, if the orientation of the imaging device changes before and after frame-out, an error occurs between the actual position and the estimated position of the subject.
そこで第3実施形態では、撮影対象の現在位置を推定する際に、撮影対象の画像上の位置変化だけでなく、画像中の他の物体に対する撮影対象の相対位置の変化をも考慮することで、高精度な位置推定を行う。それ以外の構成は第2実施形態のものとほぼ同一である。 Therefore, in the third embodiment, when estimating the current position of the shooting target, not only the position change on the image of the shooting target but also the change of the relative position of the shooting target with respect to other objects in the image is considered. , Perform highly accurate position estimation. The other configuration is almost the same as that of the second embodiment.
追跡対象がフレームアウトしたら、移動方向推定部14が、追跡情報記憶部11から追跡履歴を読み込む。この追跡履歴には、追跡対象の位置情報の他、画像中の他の物体の位置情報も含まれている。画像中の他の物体としては、例えば、木、建造物、風景、車両、他の人物、動物などが想定される。好ましくは、移動していない又は移動量の小さい物体がよい。図5の例では、背景の木の位置情報を追跡履歴に記録している。なお、この種の物体の位置情報は、画像認識処理により算出することができる。
When the tracking target is out of frame, the moving
移動方向推定部14は、まず図5(b)に示すように、フレームアウト直前までの撮影対象の画像上の位置変化(見かけの移動ベクトル)と、背景の画像上の位置変化(背景の移動ベクトル)とから、背景に対する撮影対象の相対位置の変化(相対的な移動ベクトル)を算出する。続いて、移動方向推定部14は、図5(c)に示すように、フレームアウ
ト後の画像において背景の現在位置を求め、追跡履歴から求めた相対的な移動ベクトルと背景の現在位置とから撮影対象の現在位置を算出する。ガイド表示部15の処理は上記実施形態と同様である。
First, as shown in FIG. 5B, the movement
本実施形態の構成によれば、撮像装置の向きの変化を考慮したことにより、移動方向ガイドの精度及び信頼性が一層向上するという利点がある。 According to the configuration of the present embodiment, there is an advantage that the accuracy and reliability of the moving direction guide is further improved by considering the change in the orientation of the imaging device.
<第4実施形態>
撮像装置本体の向きの変化を補正するために、第3実施形態では、撮影対象と画像中の他の物体の相対位置を考慮したが、第4実施形態では、検知手段を用いて撮像装置本体の向きの変化量を計測する構成を採用する。それ以外の構成は上記実施形態と同様である。
<Fourth embodiment>
In order to correct the change in the orientation of the imaging apparatus main body, in the third embodiment, the relative position of the object to be imaged and another object in the image is considered. In the fourth embodiment, the imaging apparatus main body is detected using a detection unit. A configuration that measures the amount of change in the direction of the is adopted. Other configurations are the same as those in the above embodiment.
図6に示すように、撮像装置は、検知手段として、加速度センサ20を備えている。加速度センサ20は、撮像装置本体の3次元的又は2次元的な位置変動を計測可能なセンサである。
As illustrated in FIG. 6, the imaging apparatus includes an
図7に示すように、追跡対象がフレームアウトしたら、移動方向推定部14が、第2実施形態と同様、フレームアウト直前までの撮影対象の画像中の位置変化から、撮影対象の移動ベクトルを算出する。一方、移動方向推定部14は、加速度センサ20から、フレームアウト前後の撮像装置本体の向きの変化(移動方向及び移動量)を取得する。そして、移動方向推定部14は、追跡履歴から求めた撮影対象の移動ベクトルと、撮像装置本体の向きの変化とから、撮影対象の現在位置を算出する。ガイド表示部15の処理は上記実施形態と同様である。
As shown in FIG. 7, when the tracking target is out of frame, the movement
本実施形態の構成によっても、第3実施形態と同様の作用効果を奏することができる。 Also with the configuration of the present embodiment, the same effects as those of the third embodiment can be achieved.
なお、本実施形態では、撮影対象の現在位置の算出に、追跡履歴から求めた撮影対象の移動ベクトルを用いているが、単に、フレームアウト直前の画像における撮影対象の位置を用いる方法も好ましい。すなわち、図8に示すように、フレームアウト直前の画像における撮影対象の位置に、加速度センサ20から得られた撮像装置本体の向きの変化量を加えたものを、撮影対象の現在位置とみなすのである。この方法によっても上記実施形態に準じた作用効果を奏することができる。
In this embodiment, the current position of the shooting target is calculated using the movement vector of the shooting target obtained from the tracking history. However, a method of simply using the position of the shooting target in the image immediately before the frame out is also preferable. That is, as shown in FIG. 8, a position obtained by adding the amount of change in the orientation of the imaging device body obtained from the
<第5実施形態>
デジタルズームで撮影している場合などには、撮像部2で撮影された画像(撮像素子から入力される入力画像)の一部分がトリミング及び拡大された後、表示部4に表示される。すなわち、入力画像は、画面表示される表示領域と、その表示領域の外側にあり画面表示されない非表示領域とを含んでいることになる。
<Fifth Embodiment>
In the case of shooting with a digital zoom, a part of an image shot by the imaging unit 2 (an input image input from the imaging device) is trimmed and enlarged and then displayed on the
本実施形態では、図9(a)に示すように、撮影対象がフレームアウトした後でも、撮影対象が入力画像の非表示領域に存在する間は、追跡処理部5が撮影対象の追跡を続行する。これにより、撮影対象の正確な現在位置を求めることができる。そして、その間、移動方向案内部6は、非表示領域における撮影対象の位置を指し示すマークを画面表示する。
In the present embodiment, as shown in FIG. 9A, the
さらに撮影対象が移動し、入力画像の非表示領域からも外れたら、図9(b)に示すように、上記第1〜第4実施形態のいずれかの方法により、移動方向を案内すればよい。 Further, if the object to be photographed moves and deviates from the non-display area of the input image, as shown in FIG. 9B, the moving direction may be guided by the method of any of the first to fourth embodiments. .
なお、非表示領域に存在する間は、撮影対象の位置を正確に求めることができるので、画面の外郭もしくは中心から撮影対象までの距離をガイド表示するようにしてもよい。距
離のガイド方法としては、例えば、距離の数値を表示する方法、移動方向を表す矢印マークの長さ・太さ・色・形状その他の表示態様を変えることで遠近を表す方法などが考えられる。
Since the position of the shooting target can be accurately obtained while it exists in the non-display area, the distance from the outline or center of the screen to the shooting target may be displayed as a guide. As a distance guide method, for example, a method of displaying a numerical value of the distance, a method of expressing perspective by changing the length, thickness, color, shape and other display modes of the arrow mark indicating the moving direction are conceivable.
本実施形態の構成によれば、フレームアウト直後(非表示領域内に撮影対象が存在するとき)に、極めて正確な移動方向ガイドを表示することができ、撮影対象の発見及びフレームインを一層容易にすることができる。しかも、デジタルズームで高倍率撮影を行っているとき、つまり、撮影対象のフレームアウトの可能性が高いときこそ上記利点が生かされ、撮像装置の利便性を向上することができる。 According to the configuration of the present embodiment, a very accurate moving direction guide can be displayed immediately after frame out (when there is a shooting target in the non-display area), making it easier to find the shooting target and frame in. Can be. In addition, when the high-magnification shooting is performed with the digital zoom, that is, when the possibility of frame-out of the shooting target is high, the above advantages can be utilized and the convenience of the imaging apparatus can be improved.
以上、第1〜第5実施形態により本発明の具体例を例示したが、本発明の範囲は上記実施形態に限られるものではなく、2以上の実施形態の構成を適宜組み合わせたり、発明の技術思想の範囲内で種々の変形を施したりすることが可能である。 As mentioned above, although the specific example of this invention was illustrated by 1st-5th embodiment, the range of this invention is not restricted to the said embodiment, The structure of two or more embodiment is combined suitably, or the technique of invention Various modifications can be made within the scope of the idea.
例えば、上記実施形態では撮影対象として人(人の顔)を例示したが、人以外の移動物体を撮影対象とすることもできる。その場合は、顔認識の代わりに、パターンマッチング等の画像認識技術を利用することにより追跡処理を行えばよい。 For example, in the above-described embodiment, a person (a person's face) is illustrated as an object to be imaged, but a moving object other than a person can also be an object to be imaged. In that case, the tracking process may be performed by using an image recognition technique such as pattern matching instead of face recognition.
また、加速度センサにて撮像装置の向きの変化をモニタすることにより、フレームアウト後も撮影対象の動きを追跡することも好ましい。 It is also preferable to track the movement of the object to be imaged even after the frame is out by monitoring the change in the orientation of the imaging device with an acceleration sensor.
1 撮像装置
2 撮像部
3 一時記憶部
4 表示部
5 追跡処理部
6 移動方向案内部
7 画像記録部
8 操作部
10 顔検出部
11 追跡情報記憶部
12 顔認識部
13 追跡履歴記録部
14 移動方向推定部
15 ガイド表示部
20 加速度センサ
DESCRIPTION OF
Claims (10)
前記撮像手段にて撮影中の動画像を表示する表示手段と、
前記撮像手段で撮影された画像から撮影対象を検出し、動画像においてその撮影対象の動きを追跡する追跡手段と、
追跡中の撮影対象が前記表示手段の画面から外れた場合に、前記撮影対象の移動方向を案内するガイドを前記画面上に表示する移動方向案内手段と、
を備える撮像装置。 Imaging means capable of capturing moving images;
Display means for displaying a moving image being shot by the imaging means;
A tracking unit that detects a shooting target from an image shot by the imaging unit and tracks the movement of the shooting target in a moving image;
A moving direction guiding means for displaying a guide for guiding the moving direction of the photographing object on the screen when the photographing object being tracked deviates from the screen of the display means;
An imaging apparatus comprising:
前記撮影対象が前記画面から外れる直前の画像において、前記撮影対象に最も近い画面端を求め、
前記ガイドとして、前記最も近い画面端を指し示すマークを表示する請求項1に記載の撮像装置。 The moving direction guide means includes
In the image immediately before the shooting target is off the screen, find the screen edge closest to the shooting target,
The imaging apparatus according to claim 1, wherein a mark indicating the closest screen edge is displayed as the guide.
前記撮影対象が前記画面から外れるまでの追跡履歴に基づいて、前記撮影対象が前記画面から外れた後の現在位置を推定し、
前記ガイドとして、前記推定された現在位置を指し示すマークを表示する請求項1に記載の撮像装置。 The moving direction guide means includes
Based on the tracking history until the shooting target is off the screen, the current position after the shooting target is off the screen is estimated,
The imaging apparatus according to claim 1, wherein a mark indicating the estimated current position is displayed as the guide.
前記追跡履歴から得られる前記撮影対象と画像中の他の物体との相対位置の変化と、前記他の物体の画像上の現在位置とから、前記撮影対象の現在位置を算出する請求項3に記載の撮像装置。 The moving direction guide means includes
The current position of the photographing target is calculated from a change in a relative position between the photographing target obtained from the tracking history and another object in the image and a current position on the image of the other object. The imaging device described.
前記移動方向案内手段は、
前記追跡履歴から得られる前記撮影対象の画像上の位置の変化と、前記検知手段の検知結果から得られる撮像装置本体の向きの変化とから、前記撮影対象の現在位置を算出する請求項3に記載の撮像装置。 It further comprises detection means for detecting the movement of the imaging device body,
The moving direction guide means includes
The current position of the photographing target is calculated from a change in the position of the photographing target image obtained from the tracking history and a change in the orientation of the imaging apparatus main body obtained from the detection result of the detecting means. The imaging device described.
前記移動方向案内手段は、
前記撮影対象が前記画面から外れる直前の前記撮影対象の位置と、前記検知手段の検知結果から得られる撮像装置本体の向きの変化とに基づいて、前記撮影対象が前記画面から外れた後の現在位置を推定し、
前記ガイドとして、前記推定された現在位置を指し示すマークを表示する請求項1に記載の撮像装置。 It further comprises detection means for detecting the movement of the imaging device body,
The moving direction guide means includes
Based on the position of the imaging target immediately before the imaging target deviates from the screen and the change in orientation of the imaging apparatus main body obtained from the detection result of the detection means, the current after the imaging target deviates from the screen Estimate the position,
The imaging apparatus according to claim 1, wherein a mark indicating the estimated current position is displayed as the guide.
前記追跡手段は、前記撮影対象が前記表示手段の画面から外れた後でも、前記撮影対象が前記非表示領域に存在する間は前記撮影対象の追跡を続行し、
前記移動方向案内手段は、前記ガイドとして、前記非表示領域における前記撮影対象の位置を指し示すマークを表示する請求項1〜6のいずれかに記載の撮像装置。 The image photographed by the imaging means includes a display area displayed on the screen of the display means, and a non-display area that is outside the display area and not displayed on the screen,
The tracking unit continues tracking the imaging target while the imaging target exists in the non-display area even after the imaging target is off the screen of the display unit.
The imaging apparatus according to claim 1, wherein the moving direction guide unit displays a mark indicating the position of the photographing target in the non-display area as the guide.
前記追跡手段は、画像から顔を検出することによって追跡対象とすべき撮影対象を特定
する請求項1〜7のいずれかに記載の撮像装置。 The subject is a person,
The imaging apparatus according to claim 1, wherein the tracking unit specifies a photographing target to be a tracking target by detecting a face from the image.
前記撮像手段にて撮影中の動画像を前記表示手段の画面に表示し、
前記撮像手段で撮影された画像から撮影対象を検出して、動画像においてその撮影対象の動きを追跡し、
追跡中の撮影対象が前記表示手段の画面から外れた場合に、前記撮影対象の移動方向を案内するガイドを前記画面上に表示する
撮像方法。 An imaging apparatus comprising an imaging means capable of capturing a moving image and a display means,
Displaying a moving image being photographed by the imaging means on the screen of the display means;
Detecting a shooting target from an image shot by the imaging means, and tracking the movement of the shooting target in a moving image;
An imaging method for displaying, on the screen, a guide for guiding the moving direction of the imaging target when the imaging target being tracked deviates from the screen of the display means.
前記撮像手段にて撮影中の動画像を前記表示手段の画面に表示する処理と、
前記撮像手段で撮影された画像から撮影対象を検出して、動画像においてその撮影対象の動きを追跡する処理と、
追跡中の撮影対象が前記表示手段の画面から外れた場合に、前記撮影対象の移動方向を案内するガイドを前記画面上に表示する処理と、
を実行させるプログラム。 An imaging apparatus including an imaging unit capable of capturing a moving image and a display unit,
Processing for displaying a moving image being photographed by the imaging means on the screen of the display means;
Processing for detecting a shooting target from an image shot by the imaging means and tracking the movement of the shooting target in a moving image;
A process for displaying a guide for guiding the moving direction of the photographing object on the screen when the photographing object being tracked deviates from the screen of the display means;
A program that executes
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005320022A JP4586709B2 (en) | 2005-11-02 | 2005-11-02 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005320022A JP4586709B2 (en) | 2005-11-02 | 2005-11-02 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007129480A true JP2007129480A (en) | 2007-05-24 |
JP4586709B2 JP4586709B2 (en) | 2010-11-24 |
Family
ID=38151776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005320022A Active JP4586709B2 (en) | 2005-11-02 | 2005-11-02 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4586709B2 (en) |
Cited By (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009077321A (en) * | 2007-09-25 | 2009-04-09 | Casio Comput Co Ltd | Image recording device and image recording processing method |
JP2009224890A (en) * | 2008-03-13 | 2009-10-01 | Olympus Corp | Imaging device and personal digital assistant |
JP2009246962A (en) * | 2008-03-28 | 2009-10-22 | Fuji Xerox Co Ltd | Camera system, method performed using the camera system, and program |
JP2010004381A (en) * | 2008-06-20 | 2010-01-07 | Olympus Corp | Personal digital assistant |
JP2010141728A (en) * | 2008-12-12 | 2010-06-24 | Panasonic Corp | Imaging apparatus |
JP2010226554A (en) * | 2009-03-25 | 2010-10-07 | Olympus Imaging Corp | Camera, and subject tracking method |
JP2011114713A (en) * | 2009-11-27 | 2011-06-09 | Canon Inc | Photographing apparatus, photographing control method, and computer program |
JP2011193443A (en) * | 2010-02-16 | 2011-09-29 | Ricoh Co Ltd | Target tracking device |
US8164671B2 (en) | 2008-03-03 | 2012-04-24 | Panasonic Corporation | Imaging apparatus, imaging apparatus body and reporting terminal |
JP2012163940A (en) * | 2011-01-17 | 2012-08-30 | Ricoh Co Ltd | Image pickup device, image pickup method and image pickup program |
JP2013038668A (en) * | 2011-08-10 | 2013-02-21 | Casio Comput Co Ltd | Display device, display method and program |
WO2013042253A1 (en) * | 2011-09-22 | 2013-03-28 | キヤノン株式会社 | Image capture device, image capture device control method, and program |
CN103873749A (en) * | 2012-12-17 | 2014-06-18 | 奥林巴斯映像株式会社 | Imaging device and announcing method |
EP2852138A1 (en) * | 2013-09-23 | 2015-03-25 | LG Electronics, Inc. | Head mounted display system |
JP2015087523A (en) * | 2013-10-30 | 2015-05-07 | セイコーエプソン株式会社 | Head-mounted display device, method for controlling head-mounted display device, and image display system |
WO2015065386A1 (en) * | 2013-10-30 | 2015-05-07 | Intel Corporation | Image capture feedback |
WO2016016984A1 (en) * | 2014-07-31 | 2016-02-04 | 日立マクセル株式会社 | Image pickup device and tracking method for subject thereof |
JP2016189544A (en) * | 2015-03-30 | 2016-11-04 | 富士フイルム株式会社 | Image pickup device, image pickup method, program and recording medium |
WO2017022367A1 (en) * | 2015-08-05 | 2017-02-09 | ソニー株式会社 | Signal processing device and signal processing method |
JP2017059870A (en) * | 2015-09-14 | 2017-03-23 | オリンパス株式会社 | Imaging operation guide device and operation guide method for imaging apparatus |
US9787905B2 (en) | 2010-11-02 | 2017-10-10 | Olympus Corporation | Image processing apparatus, image display apparatus and imaging apparatus having the same, image processing method, and computer-readable medium storing image processing program for displaying an image having an image range associated with a display area |
JP2018113724A (en) * | 2018-04-03 | 2018-07-19 | オリンパス株式会社 | Imaging apparatus, imaging method, and program |
EP2439920B1 (en) * | 2010-10-08 | 2019-07-03 | BlackBerry Limited | System and Method for Displaying Object Location in Augmented Reality |
JP2019140449A (en) * | 2018-02-07 | 2019-08-22 | 株式会社Pfu | Imaging apparatus, control method and control program |
JP2020008981A (en) * | 2018-07-04 | 2020-01-16 | Kddi株式会社 | Support device and program |
US10771703B2 (en) | 2011-09-26 | 2020-09-08 | Sony Corporation | Image photography apparatus |
JP2021002803A (en) * | 2019-06-24 | 2021-01-07 | キヤノン株式会社 | Image processing apparatus, control method therefor, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04126473A (en) * | 1990-09-18 | 1992-04-27 | Toshiba Corp | Automatic tracking camera device |
JP2002314851A (en) * | 2001-04-10 | 2002-10-25 | Nikon Corp | Photographing apparatus |
JP2003289465A (en) * | 2002-03-28 | 2003-10-10 | Fuji Photo Film Co Ltd | Imaging system and imaging method |
JP2005102175A (en) * | 2003-08-25 | 2005-04-14 | Fuji Photo Film Co Ltd | Digital camera |
-
2005
- 2005-11-02 JP JP2005320022A patent/JP4586709B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04126473A (en) * | 1990-09-18 | 1992-04-27 | Toshiba Corp | Automatic tracking camera device |
JP2002314851A (en) * | 2001-04-10 | 2002-10-25 | Nikon Corp | Photographing apparatus |
JP2003289465A (en) * | 2002-03-28 | 2003-10-10 | Fuji Photo Film Co Ltd | Imaging system and imaging method |
JP2005102175A (en) * | 2003-08-25 | 2005-04-14 | Fuji Photo Film Co Ltd | Digital camera |
Cited By (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009077321A (en) * | 2007-09-25 | 2009-04-09 | Casio Comput Co Ltd | Image recording device and image recording processing method |
US8502908B2 (en) | 2008-03-03 | 2013-08-06 | Panasonic Corporation | Imaging apparatus, imaging apparatus body and reporting terminal |
US8164671B2 (en) | 2008-03-03 | 2012-04-24 | Panasonic Corporation | Imaging apparatus, imaging apparatus body and reporting terminal |
JP2009224890A (en) * | 2008-03-13 | 2009-10-01 | Olympus Corp | Imaging device and personal digital assistant |
JP2009246962A (en) * | 2008-03-28 | 2009-10-22 | Fuji Xerox Co Ltd | Camera system, method performed using the camera system, and program |
JP2010004381A (en) * | 2008-06-20 | 2010-01-07 | Olympus Corp | Personal digital assistant |
JP2010141728A (en) * | 2008-12-12 | 2010-06-24 | Panasonic Corp | Imaging apparatus |
JP2010226554A (en) * | 2009-03-25 | 2010-10-07 | Olympus Imaging Corp | Camera, and subject tracking method |
JP2011114713A (en) * | 2009-11-27 | 2011-06-09 | Canon Inc | Photographing apparatus, photographing control method, and computer program |
CN102763405A (en) * | 2010-02-16 | 2012-10-31 | 株式会社理光 | Imaging device including target tracking function |
US9092877B2 (en) | 2010-02-16 | 2015-07-28 | Ricoh Company, Ltd. | Imaging device including target tracking function |
JP2011193443A (en) * | 2010-02-16 | 2011-09-29 | Ricoh Co Ltd | Target tracking device |
EP3573320A1 (en) * | 2010-10-08 | 2019-11-27 | BlackBerry Limited | System and method for displaying object location in augmented reality |
EP2439920B1 (en) * | 2010-10-08 | 2019-07-03 | BlackBerry Limited | System and Method for Displaying Object Location in Augmented Reality |
US9787905B2 (en) | 2010-11-02 | 2017-10-10 | Olympus Corporation | Image processing apparatus, image display apparatus and imaging apparatus having the same, image processing method, and computer-readable medium storing image processing program for displaying an image having an image range associated with a display area |
JP2012163940A (en) * | 2011-01-17 | 2012-08-30 | Ricoh Co Ltd | Image pickup device, image pickup method and image pickup program |
JP2013038668A (en) * | 2011-08-10 | 2013-02-21 | Casio Comput Co Ltd | Display device, display method and program |
WO2013042253A1 (en) * | 2011-09-22 | 2013-03-28 | キヤノン株式会社 | Image capture device, image capture device control method, and program |
US11252332B2 (en) | 2011-09-26 | 2022-02-15 | Sony Corporation | Image photography apparatus |
US10771703B2 (en) | 2011-09-26 | 2020-09-08 | Sony Corporation | Image photography apparatus |
US10250807B2 (en) | 2012-12-17 | 2019-04-02 | Olympus Corporation | Imaging device, imaging method, and recording medium |
US9894277B2 (en) | 2012-12-17 | 2018-02-13 | Olympus Corporation | Imaging device, announcing method, and recording medium for indicating whether or not a main subject is only within a first area of an image |
CN103873749A (en) * | 2012-12-17 | 2014-06-18 | 奥林巴斯映像株式会社 | Imaging device and announcing method |
US9521328B2 (en) | 2013-09-23 | 2016-12-13 | Lg Electronics Inc. | Mobile terminal and control method for the mobile terminal |
EP2852138A1 (en) * | 2013-09-23 | 2015-03-25 | LG Electronics, Inc. | Head mounted display system |
WO2015065386A1 (en) * | 2013-10-30 | 2015-05-07 | Intel Corporation | Image capture feedback |
US9262696B2 (en) | 2013-10-30 | 2016-02-16 | Intel Corporation | Image capture feedback |
JP2015087523A (en) * | 2013-10-30 | 2015-05-07 | セイコーエプソン株式会社 | Head-mounted display device, method for controlling head-mounted display device, and image display system |
CN106575027A (en) * | 2014-07-31 | 2017-04-19 | 日立麦克赛尔株式会社 | Image pickup device and tracking method for subject thereof |
US11860511B2 (en) | 2014-07-31 | 2024-01-02 | Maxell, Ltd. | Image pickup device and method of tracking subject thereof |
WO2016016984A1 (en) * | 2014-07-31 | 2016-02-04 | 日立マクセル株式会社 | Image pickup device and tracking method for subject thereof |
JPWO2016016984A1 (en) * | 2014-07-31 | 2017-06-01 | 日立マクセル株式会社 | Imaging device and subject tracking method thereof |
US10609273B2 (en) | 2014-07-31 | 2020-03-31 | Maxell, Ltd. | Image pickup device and method of tracking subject thereof |
JP2016189544A (en) * | 2015-03-30 | 2016-11-04 | 富士フイルム株式会社 | Image pickup device, image pickup method, program and recording medium |
WO2017022367A1 (en) * | 2015-08-05 | 2017-02-09 | ソニー株式会社 | Signal processing device and signal processing method |
JP2017059870A (en) * | 2015-09-14 | 2017-03-23 | オリンパス株式会社 | Imaging operation guide device and operation guide method for imaging apparatus |
JP2019140449A (en) * | 2018-02-07 | 2019-08-22 | 株式会社Pfu | Imaging apparatus, control method and control program |
JP2018113724A (en) * | 2018-04-03 | 2018-07-19 | オリンパス株式会社 | Imaging apparatus, imaging method, and program |
JP2020008981A (en) * | 2018-07-04 | 2020-01-16 | Kddi株式会社 | Support device and program |
JP2021002803A (en) * | 2019-06-24 | 2021-01-07 | キヤノン株式会社 | Image processing apparatus, control method therefor, and program |
JP7353821B2 (en) | 2019-06-24 | 2023-10-02 | キヤノン株式会社 | Image processing device, its control method, program |
Also Published As
Publication number | Publication date |
---|---|
JP4586709B2 (en) | 2010-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4586709B2 (en) | Imaging device | |
US10848662B2 (en) | Image processing device and associated methodology for determining a main subject in an image | |
JP4241742B2 (en) | Automatic tracking device and automatic tracking method | |
US10659676B2 (en) | Method and apparatus for tracking a moving subject image based on reliability of the tracking state | |
JP4508257B2 (en) | Composition determination apparatus, composition determination method, and program | |
JP5865388B2 (en) | Image generating apparatus and image generating method | |
US8131014B2 (en) | Object-tracking computer program product, object-tracking device, and camera | |
JP2018050146A (en) | Search device, imaging device thereof, and search method | |
KR101537948B1 (en) | Photographing method and apparatus using pose estimation of face | |
JPWO2013069050A1 (en) | Image generating apparatus and image generating method | |
JPWO2013069047A1 (en) | Image generating apparatus and image generating method | |
JPWO2013069049A1 (en) | Image generating apparatus and image generating method | |
WO2019104569A1 (en) | Focusing method and device, and readable storage medium | |
JP2008009849A (en) | Person tracking device | |
CN109451240B (en) | Focusing method, focusing device, computer equipment and readable storage medium | |
JP2010114752A (en) | Device and method of imaging and program | |
JP2007251429A (en) | Moving image imaging unit, and zoom adjustment method | |
CN110944101A (en) | Image pickup apparatus and image recording method | |
CN112995507A (en) | Method and device for prompting object position | |
JP4578864B2 (en) | Automatic tracking device and automatic tracking method | |
JP5253227B2 (en) | Image input device, subject detection method, and program | |
JP2015012493A (en) | Image processing apparatus, imaging apparatus and program | |
JP2018007272A (en) | Image processing apparatus, imaging apparatus, and program | |
CN113747044A (en) | Panoramic shooting method and device | |
JP2019134204A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080708 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100810 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4586709 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 3 |