JP2013058921A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2013058921A JP2013058921A JP2011196257A JP2011196257A JP2013058921A JP 2013058921 A JP2013058921 A JP 2013058921A JP 2011196257 A JP2011196257 A JP 2011196257A JP 2011196257 A JP2011196257 A JP 2011196257A JP 2013058921 A JP2013058921 A JP 2013058921A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- partial
- control unit
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、マルチフレームモードを有する撮影機器に関する。 The present invention relates to a photographing apparatus having a multi-frame mode.
近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）は、画像処理を駆使して、様々な撮影機能を備えている。例えば、特許文献１においては、全体の雰囲気を捉えるために広角側で撮影した画像と、迫力のある瞬間を捉えるために望遠側で撮影した画像とを合成記録して、１画面に２画像を表示する機能を有した撮影装置が開示されている。
2. Description of the Related Art In recent years, portable devices (photographing devices) with a photographing function such as digital cameras have various photographing functions by making full use of image processing. For example, in
また、撮影機器においては、静止画のみならず、動画撮影機能を有するものが多い。例えば、動画撮影中に静止画を撮影する、所謂フォトインムービー機能を有する撮影機器が広く知られている。更に、シャッタボタンを押すことによって静止画とこの静止画の前後の動画を記録する、所謂回想フォト機能を有する撮影機器もある。また、動画として画面全体をリサイズした動画と画面の一部の動画の２種類の動画を記録する、所謂マルチフレーム機能を有する撮影機器もある。 In addition, many photographing devices have not only a still image but also a moving image photographing function. For example, a photographing device having a so-called photo-in movie function for photographing a still image during moving image photographing is widely known. Furthermore, there is a photographing device having a so-called recollection photo function that records a still image and a moving image before and after the still image by pressing a shutter button. There is also a photographing apparatus having a so-called multi-frame function that records two types of moving images, a moving image that is a resized entire screen and a moving image that is a part of the screen.
特開２０１０−２６８０１９号公報 JP 2010-268019 A
マルチフレームモードでは、画面の一部の動画、例えば、特定の人物の画像を追尾しながら記録を行う。しかしながら、このようなマルチフレームモードでは、追尾する画像が撮像範囲から外に出た場合や他の画像によって隠れた場合には、画面の一部の動画としてユーザが希望する画像を記録することができなくなるという問題があった。 In the multi-frame mode, recording is performed while tracking a part of the moving image on the screen, for example, an image of a specific person. However, in such a multi-frame mode, when the image to be tracked goes out of the imaging range or is hidden by another image, the image desired by the user may be recorded as a part of the video on the screen. There was a problem that it was impossible.
本発明は、マルチフレームモードにおいても、常にユーザが希望する画像を記録することができる撮影機器を提供することを目的とする。 An object of the present invention is to provide a photographing device capable of always recording an image desired by a user even in a multi-frame mode.
本発明に係る撮影機器は、被写体を撮像して得た撮像画像を出力する撮像部と、前記撮像画像から第１の画角の画像を取得する第１画像取得部と、前記第１の画角よりも狭い第２の画角の１つ以上の第２の画像を前記撮像画像から取得する第２画像取得部と、前記１つ以上の第２の画像のうちの１つの画像を動画記録する記録制御部と、前記記録制御部において記録中の前記第２の画像が第１の被写体条件を満足しなくなった場合には前記第２画像取得部が取得した１つ以上の第２の画像のうち第２の被写体条件を満足する他の第２の画像に切換えて前記記録制御部に動画記録させる制御部とを具備する。 An imaging device according to the present invention includes an imaging unit that outputs a captured image obtained by imaging a subject, a first image acquisition unit that acquires an image having a first angle of view from the captured image, and the first image. A second image acquisition unit that acquires from the captured image one or more second images having a second angle of view that is narrower than the angle, and records one of the one or more second images as a moving image. A recording control unit that performs recording, and one or more second images acquired by the second image acquisition unit when the second image being recorded by the recording control unit does not satisfy the first subject condition. A control unit that switches to another second image that satisfies the second subject condition and causes the recording control unit to record a moving image.
本発明によれば、マルチフレームモードにおいても、常にユーザが希望する画像を記録することができるという効果を有する。 According to the present invention, it is possible to always record an image desired by the user even in the multi-frame mode.
以下、図面を参照して本発明の実施の形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮影機器の回路構成を示すブロック図である。
(First embodiment)
FIG. 1 is a block diagram showing a circuit configuration of the photographing apparatus according to the first embodiment of the present invention.
図１において、撮影機器１０は、ＣＣＤやＣＭＯＳセンサ等の撮像素子によって構成された撮像部２を有している。撮像部２は、信号処理及び制御部１によって、絞り、ピント、ズーム等が制御可能に構成されており、様々な構図、被写体に対応した撮像が可能である。
In FIG. 1, an
撮像部２は、信号処理及び制御部１によって駆動制御されて、被写体を撮像し、撮像画像を出力する。信号処理及び制御部１は、撮像部２に撮像素子の駆動信号を出力すると共に、撮像部２からの撮像画像を読み出す。この撮像画像の取り込みは読取部１ａによって行われる。読取部１ａは撮像部２から読み出した撮像画像を分配用仮記録部３に与える。
The
分配用仮記録部３は、撮像部２からの撮像画像を所定期間保存する容量を有し、撮像部２から読み出された撮像画像（動画及び静止画）を記憶保持する。
The distribution
信号処理及び制御部１は、分配用仮記録部３に記録された撮像画像を読み出して画像処理する２系統の画像処理部１ｂ，１ｃを有している。画像処理部１ｂ，１ｃは、入力された画像に対して、所定の信号処理、例えば、色信号生成処理、マトリックス変換処理、その他各種の信号処理を行う。更に、画像処理部１ｂ，１ｃは、入力画像をリサイズするリサイズ処理、入力画像の一部の領域の画像（以下、部分画像という）を生成する処理等の各種画像処理を行うことも可能に構成されている。なお、以後、入力画像の全領域の画像については、リサイズ処理の有無に拘わらず全体画像というものとする。即ち、全体画像に対して、部分画像は画角が狭い画像、即ち、アップ画像である。
The signal processing and
特徴判定部１ｄは、部分画像を生成するためにユーザによって入力画像の一部の領域（以下、部分指定領域という）を指定する操作（以下、部分指定操作という）が行われた場合、或いは、撮像画像に対する画像解析によって人物等の特定の被写体が含まれると判定された領域（以下、部分特定領域という）が検出された場合には、画像処理部１ｂから部分指定領域及び部分特定領域（以下、これらを部分領域という）の画像情報が与えられて、人物の顔等の対象被写体の特徴量を判定し、判定結果を部分領域中に検出された対象被写体の情報として追尾変化判定部１ｅ１及び別候補決定部１ｅ２に出力する。また、特徴判定部１ｄは、各被写体の特徴量の情報を部分画像特徴記憶部３ａに与えて記憶させるようになっている。 The feature determination unit 1d performs an operation (hereinafter referred to as a partial designation operation) for designating a partial area (hereinafter referred to as a partial designation area) of the input image by the user in order to generate a partial image, or When an area determined to include a specific subject such as a person (hereinafter referred to as a “partial specific area”) is detected by image analysis on the captured image, the partial designated area and the partial specific area (hereinafter referred to as “partial specific area”) are detected. These are referred to as partial areas), and the feature amount of the target subject such as a person's face is determined, and the tracking change determination unit 1e1 and the determination result as information on the target subject detected in the partial area It outputs to another candidate determination part 1e2. In addition, the feature determination unit 1d gives the feature amount information of each subject to the partial image feature storage unit 3a for storage.
追尾変化判定部１ｅ１は、部分画像特徴記憶部３ａから対象被写体の特徴量を読み出し、順次入力される入力画像から対象被写体の特徴量と一致する特徴量を有する部分を含む領域を追尾し、追尾結果を画像処理部１ｃに出力する。こうして、画像処理部１ｃは、対象被写体を含む部分領域の画像部分を常に追尾しながら、この画像を部分画像として生成することができるようになっている。
The tracking change determination unit 1e1 reads the feature amount of the target subject from the partial image feature storage unit 3a, tracks an area including a portion having a feature amount that matches the feature amount of the target subject from sequentially input images, and tracks The result is output to the
更に、本実施の形態においては、特徴判定部１ｄ及び追尾変化判定部１ｅ１との間で情報を授受して、別候補を決定する別候補決定部１ｅ２が設けられている。別候補決定部１ｅ２は、部分領域の部分画像が追尾不能な場合に、他の１つ以上の部分領域中の被写体の情報が与えられて、いずれか１つの被写体を対象被写体として選択して選択結果を追尾変化判定部１ｅ１に与える。この選択結果に基づいて、追尾変化判定部１ｅ１は、新たな対象被写体の特徴量を部分画像特徴記憶部３ａから読み出して追尾処理を行い、追尾結果を画像処理部１ｃに出力するようになっている。
Furthermore, in the present embodiment, another candidate determination unit 1e2 is provided that determines information by exchanging information between the feature determination unit 1d and the tracking change determination unit 1e1. When the partial image of the partial area cannot be tracked, the different candidate determining unit 1e2 is provided with information on the subject in one or more other partial regions, and selects and selects one of the subjects as the target subject. The result is given to the tracking change determination unit 1e1. Based on this selection result, the tracking change determination unit 1e1 reads the feature amount of the new target subject from the partial image feature storage unit 3a, performs tracking processing, and outputs the tracking result to the
これにより、例えば、部分指定操作に基づく部分画像が追尾不能な場合でも、画像処理部１ｃにおいて、部分特定領域の部分画像を生成することが可能である。なお、本実施の形態においては、追尾変化判定部１ｅ１の追尾処理が完全に行われている場合でも、部分領域において部分画像の大部分が消失している場合等においては、追尾不能であるものと判定する。
Thereby, for example, even when the partial image based on the partial designation operation cannot be tracked, the partial image of the partial specific region can be generated in the
画像処理部１ｂ，1ｃからの動画像及び静止画像は、画像選択部１ｆに与えられる。画像選択部１ｆは入力された動画像及び静止画像を選択して、表示制御部１ｇに与えると共に、Ｓ圧縮部１ｈ、Ｍ圧縮部１ｉ及びＭ圧縮部１ｊにも与える。
The moving images and still images from the
表示制御部１ｇは、入力された動画像及び静止画像を表示部５に与えて表示させるための表示処理を行う。表示部５はＬＣＤ等によって構成されており、表示制御部１ｇから与えられた動画像や静止画像を表示する。
The
一方、Ｓ圧縮部１ｈは入力された静止画像を圧縮して記録制御部１ｋに与え、Ｍ圧縮部１ｉ，１ｊは入力された動画像を圧縮して記録制御部１ｋに与える。記録制御部１ｋは、圧縮された圧縮動画像及び圧縮静止画像を記録部４に与えて記録させる。記録部４は、記録制御部１ｋに制御されて、入力された圧縮動画像及び圧縮静止画像を記録する。記録部４としては、例えばカードインターフェースを採用することができ、記録部４はメモリカード等の記録媒体に画像情報及び音声情報等を記録可能である。
On the other hand, the
また、撮影機器１０には、操作部６も設けられている。操作部６は、撮影モード設定等の各種スイッチやボタンを有しており、ユーザ操作に基づく操作信号を発生して信号処理及び制御部１に供給する。例えば、図１では、操作部６の具体例として、動画撮影操作部６ａ及び静止画撮影操作部６ｂを示している。動画撮影操作部６ａは動画撮影を指示するためのものであり、動画撮影操作部６ａが操作されることで、動画撮影を開始するための操作信号が信号処理及び制御部１に供給されるようになっている。また、静止画撮影操作部６ｂは静止画撮影を指示するためのものであり、静止画撮影操作部６ｂが操作されることで、静止画撮影を開始するための操作信号が信号処理及び制御部１に供給されるようになっている。信号処理及び制御部１は、操作信号に基づいて、各部を制御する。
The photographing
更に、操作部６としてはタッチパネルを採用することもできる。例えば、操作部６としてのタッチパネルを表示部５の表示画面上に設けることで、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。これにより、ユーザは、表示部５の表示画面上に表示された画像中の所定の領域を部分指定領域として指定する操作を簡単に行うことができる。
Further, a touch panel can be adopted as the
信号処理及び制御部１は、各部を制御することで、ユーザ操作に基づく撮影モードを設定して、各撮影モードに応じた撮影機能を実現する。この場合において、信号処理及び制御部１は、動画撮影操作部６ａ及び静止画撮影操作部６ｂの操作のみによって、撮影モードを変更することができるようになっている。
The signal processing and
本実施の形態においては、別候補決定部１ｅ２は、操作部６によるユーザの部分指定操作によって、複数の対象被写体を予め登録し、優先順位を付すことが可能である。別候補決定部１ｅ２は、各対象被写体の優先順位の情報を追尾変化判定部１ｅ１に与えることで、追尾可能な場合にはより優先順位が高い被写体を追尾変化判定部１ｅ１に追尾させることができるようになっている。
In the present embodiment, the different candidate determination unit 1e2 can register a plurality of target subjects in advance and assign priorities by the user's partial designation operation by the
次に、このように構成された実施の形態の動作について図２乃至図１０を参照して説明する。 Next, the operation of the embodiment configured as described above will be described with reference to FIGS.
先ず、図２乃至図５を参照して、本実施の形態の撮影機器が有する撮影モードであるフォトインムービー、回想フォト及びマルチフレームについて説明する。図２乃至図４は夫々フォトインムービー、回想フォト及びマルチフレームの動作を示す説明図である。また、図５は入力画像及び部分画像の例を示す説明図である。図２乃至図４においては、連続した四角の枠によって、撮像部２からの画像を読み出す読取部１ａの動画出力１１ａの各フレームを示している。
First, with reference to FIGS. 2 to 5, a photo-in movie, a reminiscence photo, and a multi-frame, which are shooting modes of the shooting device of the present embodiment, will be described. 2 to 4 are explanatory diagrams showing the operations of the photo-in-movie, the recollection photo, and the multi-frame, respectively. FIG. 5 is an explanatory diagram showing an example of an input image and a partial image. 2 to 4, each frame of the moving
図２に示すフォトインムービーにおいては、動画出力１１ａの各フレームを夫々リサイズして得た動画１１ｃが、Ｍ圧縮部１ｉ，１ｊに供給されることを示している。Ｍ圧縮部１ｉ，１ｊは、入力された動画１１ｃに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、フォトインムービーにおける動画として記録される。
In the photo-in movie shown in FIG. 2, the moving image 11c obtained by resizing each frame of the moving
また、フォトインムービーにおいては、動画撮影中に、ユーザによって静止画撮影操作部６ｂの操作が行われた場合には、動画出力１１ａの各フレームのうち静止画撮影操作に対応するフレームの静止画１１ｂがＳ圧縮部１ｈに与えられる。Ｓ圧縮部１ｈは、入力された静止画１１ｂに対する圧縮処理を行い、圧縮静止画像を得る。この圧縮静止画像が、フォトインムービーにおける静止画として記録される。
In the photo-in movie, when the user operates the still image
図３に示す回想フォトにおいては、動画出力１１ａの各フレームは仮記録されている。回想フォトにおいては、動画撮影中に、ユーザによって静止画撮影操作部６ｂの操作が行われた場合には、動画出力１１ａの各フレームのうち静止画撮影操作に対応するフレームの静止画１１ｂがＳ圧縮部１ｈに与えられる。Ｓ圧縮部１ｈは、入力された静止画１１ｂに対する圧縮処理を行い、圧縮静止画像を得る。この圧縮静止画像が、回想フォトにおける静止画として記録される。
In the reminiscence photo shown in FIG. 3, each frame of the moving
一方、静止画１１ｂの前後のフレームは、リサイズされた後、静止画１１ｂに関連する回想動画１１ｄとしてＭ圧縮部１ｉ，１ｊに供給される。Ｍ圧縮部１ｉ，１ｊは、入力された回想動画１１ｄに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、回想フォトにおける回想動画として記録される。
On the other hand, the frames before and after the
図４に示すマルチフレームにおいては、動画出力１１ａの各フレームを夫々リサイズして得た全体動画１１ｅが、Ｍ圧縮部１ｉ，１ｊに供給されることを示している。Ｍ圧縮部１ｉ，１ｊは、入力された全体動画１１ｅに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、マルチフレームにおける全体動画として記録される。
The multi-frame shown in FIG. 4 indicates that the entire moving
図５（ａ）は入力画像を示している。図５の例では、入力画像には、Ａ〜Ｃの３人の人物が撮像されている。マルチフレームにおいて、ユーザが図５（ａ）の破線領域に示すように人物Ａの顔を含む部分指定領域を指定する部分指定操作を行うものとする。そうすると、図５（ｂ）に示す部分指定領域の画像（部分画像）が入力画像から抽出される。更に、特徴判定部１ｄ，追尾変化判定部１ｅ１によって、入力画像中から部分画像が追尾され、以後、人物Ａの部分画像が各フレームから抽出される。そして、動画出力１１ａの各フレームの部分画像からなる部分動画１１ｆが、Ｍ圧縮部１ｉ，１ｊに供給される。Ｍ圧縮部１ｉ，１ｊは、入力された部分動画１１ｆに対する圧縮処理を行い、圧縮動画像を得る。この圧縮動画像が、マルチフレームにおける部分動画として記録される。
FIG. 5A shows an input image. In the example of FIG. 5, three persons A to C are captured in the input image. In the multi-frame, it is assumed that the user performs a part designation operation for designating a part designation area including the face of the person A as indicated by a broken line area in FIG. Then, the image (partial image) of the partial designation area shown in FIG. 5B is extracted from the input image. Further, the partial image is tracked from the input image by the feature determination unit 1d and the tracking change determination unit 1e1, and thereafter, the partial image of the person A is extracted from each frame. Then, a partial moving image 11f including a partial image of each frame of the moving
次に、図６のフローチャートを参照して、カメラ撮影制御について説明する。 Next, camera shooting control will be described with reference to the flowchart of FIG.
操作部６の操作によって撮影機器１０に電源が投入されると、信号処理及び制御部１は、ステップＳ１においてスルー画の表示及び仮記録を開始する。即ち、信号処理及び制御部１は、撮像部２を駆動して被写体を撮影させる。読取部１ａは、撮像部２からの撮像画像を読み出して、分配用仮記録部３に順次記録させる。分配用仮記録部３は、所定期間の撮像画像を順次記録する。
When the photographing
信号処理及び制御部１は、分配用仮記録部３に記録された撮像画像を順次読み出し、画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは、撮像画像に対して所定の画像信号処理を施した後、画像選択部１ｆを介して表示制御部１ｇに与える。表示制御部１ｇは、入力画像を表示部５に与えて表示させる。こうして、表示部５の表示画面上において、スルー画が表示される。
The signal processing and
本実施の形態においては、次のステップＳ１９において、優先順位の指定が行われる。図７は優先順位の指定を説明するための説明図である。別候補決定部１ｅ２は、動画撮影時、特にマルチフレームモード時において、部分画像として追尾する対象被写体について優先順位を決定する。別候補決定部１ｅ２は、例えば、表示制御部１ｇを制御して、表示部５に対象被写体候補の表示を表示させる。図７（ａ）はこの表示を示しており、撮影機器１０の本体２１の背面には表示部５の表示画面５ａが設けられ、前面には撮影レンズ２２が設けられ、上面にはシャッタボタン２３が設けられている。表示画面５ａ上の下側には、対象被写体候補者表示２４が表示されている。図７（ａ）の例では対象被写体候補者として左から順に人物Ｂ，Ａ，Ｃが並んで表示されている。
In the present embodiment, the priority order is specified in the next step S19. FIG. 7 is an explanatory diagram for explaining designation of priority. The separate candidate determination unit 1e2 determines the priority order of the target subject to be tracked as a partial image during moving image shooting, particularly in the multi-frame mode. For example, the separate candidate determination unit 1e2 controls the
なお、対象被写体は、ユーザがスルー画表示されている撮像画像に対して、操作部６による部分指定操作を行って指定してもよく、特徴判定部１ｄが撮像画像から予め設定されている人物の顔等の特徴量に基づいて自動的に検出してもよい。
Note that the target subject may be specified by performing a partial specifying operation by the
対象被写体候補表示２４が表示されている状態で、ユーザは指２５で対象被写体候補の画像部分をタッチする。図７（ａ）は人物Ｂの画像部分をタッチした状態を示している。タッチパネルを構成する操作部６は、ユーザが人物Ｂを指定したことを示す操作信号を別候補決定部１ｅ２に出力する。この操作により、別候補決定部１ｅ２は、人物Ｂの対象被写体候補表示２４上に人物Ｂが選択されていることを示す選択表示２６を表示させると共に、表示画面５ａ上の上側に、優先順位表示２７を表示させる。図７（ｂ）では“１”、“２”、“３”の優先順位が表示されていることを示している。この状態で、ユーザが指２５によって優先順位“３”の優先順位表示２７の画像部分をタッチする。この操作信号は別候補決定部１ｅ２に供給され、別候補決定部１ｅ２は人物Ｂの優先順位を３番目に設定する。以後、ユーザが対象被写体候補表示２４の各人物の画像部分をタッチする操作及び優先順位表示２７の各優先順位の数字の画像部分をタッチする操作を繰り返すことで、対象被写体候補について優先順位が設定される。
In a state where the target
次に、信号処理及び制御部１は、ステップＳ２において、静止画撮影操作部６ｂが操作されたか否かを判定する。更に、信号処理及び制御部１は、ステップＳ５において、動画撮影操作部６ａが操作されたか否かを判定する。
Next, the signal processing and
信号処理及び制御部１は、ステップＳ２において静止画撮影操作部６ｂが操作されたと判断した場合には、回想フォトモードを設定し、ステップＳ５において動画撮影操作部６ａが操作されたと判断した場合には、フォトインムービーモードを設定するようになっている。
When the signal processing and
ステップＳ２において静止画撮影操作部６ｂが操作されると、信号処理及び制御部１は、ステップＳ３において回想フォトにおける静止画撮影を行い、ステップＳ４において回想フォトにおける回想動画記録を行う。即ち、信号処理及び制御部１は、静止画撮影操作部６ｂの操作タイミングで読取部１ａから取り込まれた撮像画像（静止画）を分配用仮記録部３から読み出して、画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された静止画を画像処理し画像選択部１ｆを介してＳ圧縮部１ｈに供給する。Ｓ圧縮部１ｈは入力された静止画を圧縮し、記録制御部１ｋは圧縮された静止画像を記録部４に与えて記録させる（ステップＳ３）。
When the still image
また、信号処理及び制御部１は、分配用仮記録部３から読み出された静止画像の前後に記録されている動画像を読み出して画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された動画像をリサイズし、回想動画を画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに供給する。Ｍ圧縮部１ｉ又は１ｊは入力された回想動画を圧縮し、記録制御部１ｋは圧縮された回想動画を記録部４に与えて記録させる（ステップＳ４）。
Further, the signal processing and
ステップＳ５において動画撮影操作部６ａが操作されると、信号処理及び制御部１は、ステップＳ６においてフォトインムービーにおける動画撮影を行う。即ち、信号処理及び制御部１は、分配用仮記録部３に順次記録される動画像を読み出して画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された動画像をリサイズし、画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに供給する。Ｍ圧縮部１ｉ又は１ｊは入力されたフォトインムービーにおける動画を圧縮し、記録制御部１ｋは圧縮された動画像を記録部４に与えて記録させる（ステップＳ６）。
When the moving image
このフォトインムービーモードにおいて、静止画撮影操作部６ｂの操作が行われると、信号処理及び制御部１は、ステップＳ７からステップＳ１６を経由してステップＳ８に処理を移行し、静止画撮影を行う。即ち、信号処理及び制御部１は、静止画撮影操作部６ｂの操作タイミングで読取部１ａから取り込まれた撮像画像（静止画）を分配用仮記録部３から読み出して、画像処理部１ｂ又は１ｃに与える。画像処理部１ｂ又は１ｃは入力された静止画を画像処理し画像選択部１ｆを介してＳ圧縮部１ｈに供給する。Ｓ圧縮部１ｈは入力された静止画を圧縮し、記録制御部１ｋは圧縮された静止画像を記録部４に与えて記録させる（ステップＳ８）。こうして、フォトインムービーにおける静止画記録が行われる。
In this photo-in movie mode, when the still image
また、信号処理及び制御部１は、フォトインムービーモードにおいて、ステップＳ７の静止画撮影操作部６ｂの操作が検出されなければ、ステップＳ９において終了操作が行われたか否かを判定し、行われていない場合には、処理をステップＳ１０に移行して、部分指定操作の有無を判定する。
If the operation of the still image
本実施の形態においては、フォトインムービーモードにおいて、部分指定操作が発生した場合にはマルチフレームモードに移行し、発生しない場合にはフォトインムービーを継続するようになっている。即ち、信号処理及び制御部１は、フォトインムービーモード時に、ステップＳ１０において部分指定操作の発生を検出しない場合には、ステップＳ１１においてマルチフレームへの移行が行われていないものと判定して、処理をステップＳ６に戻してフォトインムービーを継続し、部分指定操作の発生を検出した場合には、処理をステップＳ１２に移行してマルチフレームモードを設定する。
In the present embodiment, in the photo-in movie mode, when a partial designation operation occurs, the mode shifts to the multi-frame mode, and when it does not occur, the photo-in movie is continued. That is, in the photo-in-movie mode, the signal processing and
マルチフレームモードにおいても、フォトインムービーモード時と同様に、入力画像をリサイズして得た全体画像を動画記録する。従って、信号処理及び制御部１は、マルチフレームモードに移行しても、分配用仮記録部３から動画像を読み出し、この動画像を画像処理部１ｂにおいてリサイズして全体画像を得、画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに与えて圧縮し、記録制御部１ｋにより記録部４において記録する。
Also in the multi-frame mode, the entire image obtained by resizing the input image is recorded as a moving image, as in the photo-in-movie mode. Therefore, even when the signal processing and
また、マルチフレームモード時には、信号処理及び制御部１は、分配用仮記録部３から読み出した画像を画像処理部１ｃに与えて、部分指定操作に応じた部分画像を切り出す。この場合には、画像処理部１ｃは、追尾変化判定部１ｅ１によって追尾された部分画像を含む部分指定領域を切り出す。こうして、画像処理部１ｃからは部分画像からなる動画像が出力され、画像選択部１ｆを介してＭ圧縮部１ｉ又は１ｊに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される（ステップＳ１３）。
In the multi-frame mode, the signal processing and
更に、本実施の形態においては、マルチフレームモード時には、全体画像と部分画像とをピクチャインピクチャ表示することによって、利便性を向上させるようになっている。図８はマルチフレームモードにおける画面表示を説明するための説明図であり、図５と同一の入力画像が入力された場合の例を示している。 Furthermore, in this embodiment, in the multi-frame mode, the convenience is improved by displaying the entire image and the partial image in picture-in-picture. FIG. 8 is an explanatory diagram for explaining screen display in the multi-frame mode, and shows an example in which the same input image as that in FIG. 5 is input.
いま、図５（ａ）に示す入力画像が画像処理部１ｂ，１ｃに入力されるものとする。図５（ａ）の例では、入力画像として、Ａ〜Ｃの３人の人物が撮像されている。ユーザが図５（ａ）の破線領域に示すように人物Ａの顔を含む部分指定領域を指定する部分指定操作を行うものとする。なお、この部分指定操作は、マルチフレームモードにおける部分画像を特定するための操作であり、ユーザはステップＳ１９における優先順位が１番の対象被写体候補を含む画像部分を指定するものと考えられる。しかし、仮に、ステップＳ１９において指定した優先順位が１番の対象被写体候補と異なる人物が含まれる部分指定領域を指定する部分指定操作が行われた場合には、この部分指定操作を単にマルチフレームモードへの移行操作として次のステップに移行してもよく、この部分指定操作に基づく対象被写体候補を優先順位の１番に設定して他の対象被写体候補の優先順位を再設定してもよく、また、再度ステップＳ１９の優先順位の指定処理を実行して、優先順位を再設定してもよい。
Assume that the input image shown in FIG. 5A is input to the
いま、図５（ａ）の人物Ａが優先順位１番の対象被写体候補であるものとする。この場合には、図５（ａ）の破線部の部分指定領域の画像（部分画像）が入力画像から抽出される。更に、特徴判定部１ｄ，追尾変化判定部１ｅ１によって、入力画像中から部分画像が追尾され、以後、人物Ａの部分画像を含む領域が部分指定領域として画像処理部１ｃに指定される。
Now, it is assumed that the person A in FIG. 5A is the first priority subject candidate. In this case, the image (partial image) of the partial designation area of the broken line part in FIG. 5A is extracted from the input image. Further, the partial image is tracked from the input image by the feature determination unit 1d and the tracking change determination unit 1e1, and thereafter, the region including the partial image of the person A is designated as the partial designation region in the
画像処理部１ｃは、追尾変化判定部１ｅ１の指示に従って、部分画像を追尾しながら切り出す。画像処理部１ｃは図５（ｂ）に示す部分画像をそのまま画像選択部１ｆを介してＭ圧縮１ｉ又は１ｊに出力すると共に、部分画像と全体画像とを合成した後、画像選択部１ｆを介して表示制御部１ｇに出力する。
The
即ち、画像処理部１ｃは、図８（ａ）に示すように、表示部５の表示画面５ａの略全域のメイン表示領域５ｂに全体画像に基づくメイン画像を配置し、表示画面５ａの一部領域（以下、サブ表示領域という）５ｃに部分画像をサブ画像として配置するように、全体画像と部分画像との合成を行う。即ち、この場合には、画像処理部１ｃは、部分画像をサブ画像化することになる（ステップＳ１２）。
That is, as shown in FIG. 8A, the
信号処理及び制御部１は、マルチフレームモード時には、ステップＳ１４において、ユーザーがサブ表示領域５ｃをタッチしたか否かを判定する。信号処理及び制御部１は、ユーザがサブ表示領域５ｃをタッチした場合には、ステップＳ１５において、現在のサブ画像をメイン画像化し、現在のメイン画像をサブ画像化する。
In the multi-frame mode, the signal processing and
図８（ｂ）はこの状態を示しており、図８（ａ）の状態においてサブ表示領域５ｃがタッチされると、サブ表示領域５ｃに表示されていたサブ画像である部分画像がメイン画像としてメイン表示領域５ｂに表示され、メイン表示領域５ｂに表示されていたメイン画像である全体画像がサブ画像としてサブ表示領域５ｃに表示される。なお、図８（ｂ）の状態においてサブ表示領域５ｃがタッチされると、サブ表示領域５ｃに表示されていたサブ画像である全体画像がメイン画像としてメイン表示領域５ｂに表示され、メイン表示領域５ｂに表示されていたメイン画像である部分画像がサブ画像としてサブ表示領域５ｃに表示される。即ち、図８（ａ）の表示に戻る。
FIG. 8B shows this state. When the
信号処理及び制御部１は、マルチフレームモード時において、ユーザが静止画撮影操作部６ｂを操作したことを、ステップＳ７において検出すると、フォトインムービーモードに移行する。この場合には、マルチフレームモードからフォトインムービーモードに移行する場合であるので、ステップＳ１６からステップＳ１７に処理が移行して、静止画撮影が行われる。
When the signal processing and
ステップＳ１７の静止画撮影の直前においては、図８（ａ），（ｂ）に示すように、表示部５の表示画面５ａ上には、全体画像と部分画像とが合成表示されている。そこで、ステップＳ１７のフォトインムービーにおける静止画撮影では、全体画像及び部分画像並びに全体画像と部分画像の合成画像の全ての静止画像を記録するようになっている。即ち、画像処理部１ｂ，１ｃからの全体画像が画像選択部１ｆを介してＳ圧縮部１ｈに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される。また、画像処理部１ｃは、部分画像を切り出しており、この部分画像は画像選択部１ｆを介してＳ圧縮部１ｈに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される。また、画像処理部１ｃは、全体画像と部分画像との合成画像を生成している。即ち、部分画像がサブ画像化された合成画像と全体画像がサブ画像化された合成画像の２つの合成画像は、画像選択部１ｆを介してＳ圧縮部１ｈに供給されて圧縮され、記録制御部１ｋによって記録部４において記録される。こうして、マルチフレームモードから、静止画撮影操作部６ｂの操作によってフォトインムービーモードに移行した場合には、全体画像、部分画像、全体画像と部分画像との２枚の合成画像からなる４枚の静止画像が記録される。
Immediately before the still image shooting in step S17, the entire image and the partial image are combined and displayed on the
図９及び図１０は夫々マルチフレームモードにおける全体画像又は部分画像を示す説明図である。入力画像が図９（ａ）の状態から図９（ｂ）の状態を経て図９（ｃ）の状態に変化したことを示している。なお、図９は被写体として３人の人物Ａ〜Ｃが撮影されたことを示しており、そのうちの人物Ａが優先順位が１位の対象被写体であって、人物Ａの顔を含む領域が部分領域として指定されていることを示している。また、図１０は部分画像を示しており、図１０（ａ）乃至（ｃ）は、夫々図９（ａ）乃至 （ｃ）の入力画像中の破線で示す部分領域における部分画像を示している。 FIG. 9 and FIG. 10 are explanatory diagrams showing an entire image or a partial image in the multi-frame mode, respectively. 9 shows that the input image has changed from the state of FIG. 9A to the state of FIG. 9C through the state of FIG. 9B. FIG. 9 shows that three persons A to C are photographed as subjects. Among them, the person A is the target subject with the highest priority, and an area including the face of the person A is partially Indicates that the area is designated. FIG. 10 shows partial images, and FIGS. 10A to 10C show partial images in partial areas indicated by broken lines in the input images of FIGS. 9A to 9C, respectively. .
マルチフレームモードにおいては、入力画像をリサイズして得た全体画像に基づく動画像と入力画像中の部分領域の部分画像による動画像とが記録される。いま、図９（ａ）に示す入力画像３５ａに対して、破線に示す部分領域３６ａが設定されるものとする。追尾変化判定部１ｅ１は、入力画像３５ｂ，３５ｃのように変化した場合でも追尾を行って、部分指定領域３６ｂ，３６ｃを検出する。マルチフレームモードでは、入力画像３５ａ乃至３５ｃをリサイズして得た全体画像に基づく動画像と、部分指定領域３６ａ〜３６ｃに対応した部分画像３７ａ〜３７ｃ（図１０）とが記録される。
In the multi-frame mode, a moving image based on the entire image obtained by resizing the input image and a moving image based on a partial image of a partial area in the input image are recorded. Now, it is assumed that a
このようなマルチモードによれば、ユーザが撮影を希望する対象被写体である人物Ａの周囲の様子を全体画像によって記録することができるだけでなく、人物Ａの表情等を部分画像によって記録することができる。図１０（ａ）〜（ｃ）では、各入力画像３５ａ〜３５ｃに対応した人物Ａの顔３８ａ〜３８ｃが撮影され、口３９ａ〜３９ｃ等の顔の表情まで記録することができる。これによって、ユーザーは、全体の動きや、注目する被写体の表情も、記録しておき、見たい方を鑑賞することが可能となる。
According to such a multi-mode, not only the state around the person A who is the target subject that the user wants to shoot can be recorded as a whole image, but also the facial expression of the person A can be recorded as a partial image. it can. 10A to 10C, the
例えば、複数の人物が合唱しているシーンの撮影時等においては、各人物の動きが少なく、上述した有効な記録が可能である。しかし、複数の人物による徒競走等のシーンを撮影する場合のように、複数の人物の位置が比較的変化する場合には、追尾対象の対象被写体の画像が他の被写体等によって見えなくなることが考えられる。そこで、本実施の形態においては、部分画像として記録被写体を切り替えることで、常に有効な部分画像を記録することを可能にしている。 For example, when shooting a scene in which a plurality of people are singing, the movement of each person is small, and the above-described effective recording is possible. However, when the position of a plurality of persons changes relatively, such as when shooting a scene such as a race run by a plurality of persons, the image of the target subject to be tracked may not be visible by other subjects. It is done. Therefore, in the present embodiment, it is possible to always record an effective partial image by switching the recording subject as the partial image.
即ち、本実施の形態においては、追尾対象の対象被写体を、優先順位に従って切り替えるようになっている。追尾変化判定部１ｅ１は、追尾対象の対象被写体について追尾不能になると、別候補決定部１ｅ２に次の優先順位の対象被写体について問い合わせる。別候補決定部１ｅ２は、現在の追尾対象の対象被写体を除き、複数の対象被写体候補のうち最も優先順位が高い対象被写体を、追尾変化判定部１ｅ１に設定する。 That is, in the present embodiment, the target subject to be tracked is switched according to the priority order. When the tracking change determination unit 1e1 becomes unable to track the target subject to be tracked, the tracking change determination unit 1e1 inquires the candidate candidate determining unit 1e2 about the target subject with the next priority. The separate candidate determination unit 1e2 sets, in the tracking change determination unit 1e1, the target subject with the highest priority among the plurality of target subject candidates, excluding the current target subject to be tracked.
これにより、追尾変化判定部１ｅ１は、設定された対象被写体を新たな追尾対象として、この対象被写体についての特徴量を部分画像特徴記憶部３ａから読み出して追尾を行い、追尾結果を画像処理部１ｃに出力する。また、追尾変化判定部１ｅ１は、新たに設定された対象被写体についても追尾不能の場合には、更に、別候補決定部１ｅ２に次の優先順位の対象被写体についての問い合わせを行う。こうして、追尾変化判定部１ｅ１は、追尾可能な対象被写体のうちより高い優先順位が付された対象被写体の追尾を行う。
As a result, the tracking change determination unit 1e1 uses the set target subject as a new tracking target, reads out the feature amount of the target subject from the partial image feature storage unit 3a, performs tracking, and tracks the tracking result as the
画像処理部１ｃは、追尾変化判定部１ｅ１の追尾結果に従って、入力画像から部分画像を生成する。この部分画像は、追尾可能な対象被写体のうちより高い優先順位を有する対象被写体を含む画像であり、ユーザの希望する部分画像の記録が可能である。
The
このように本実施の形態においては、マルチフレームモードにおいて、複数の対象被写体についてユーザが設定した優先順位を付し、追尾可能な対象被写体のうちより優先順位が高い対象被写体を含む部分画像を記録するようになっている。これにより、第１位の優先順位を有する対象被写体を追尾不能となった場合でも、第２，第３，…の優先順位を有する対象被写体を追尾して部分画像を取得することができ、ユーザーの希望する撮像が可能である。例えば、自分の子供が参加する徒競走の撮影時において、第１位の優先順位を付した自分の子供の表情を部分画像によって記録するだけでなく、自分の子供の画像が他の子供の画像によって隠れてしまった場合には、その期間にユーザが設定した他の子供の表情を部分画像によって記録することができ、ユーザにとって有効な記録が可能である。 As described above, in the present embodiment, in the multi-frame mode, priorities set by the user are assigned to a plurality of target subjects, and partial images including target subjects with higher priorities among target subjects that can be tracked are recorded. It is supposed to be. As a result, even when the target subject having the first priority cannot be tracked, it is possible to track the target subject having the second, third,. Desired imaging is possible. For example, at the time of shooting an athlete race in which your child participates, not only the facial expression of your child with the first priority is recorded as a partial image, but also your child's image depends on the image of another child When hidden, the facial expressions of other children set by the user during that period can be recorded as a partial image, and effective recording for the user is possible.
（第２の実施の形態）
図１１乃至図１７は本発明の第２の実施の形態に係り、図１１は第２の実施の形態において採用される処理フローを示すフローチャートである。本実施の形態のハードウェア構成は第１の実施の形態と同一であり、信号処理及び制御部１の処理フローが第１の実施の形態と異なるのみである。
(Second Embodiment)
FIG. 11 to FIG. 17 relate to the second embodiment of the present invention, and FIG. 11 is a flowchart showing a processing flow adopted in the second embodiment. The hardware configuration of the present embodiment is the same as that of the first embodiment, and only the signal processing and processing flow of the
第１の実施の形態においては、複数の対象被写体について優先順位を付し、追尾可能な対象被写体のうちより高い優先順位を付した対象被写体を追尾して部分画像を生成する例について説明した。これに対し、本実施の形態においては、別候補決定部１ｅ２が、予め設定される条件に従って、特徴判定部１ｄの出力に基づいて１つ以上の対象被写体の候補から１つの対象被写体を選択して追尾変化判定部１ｅ１に設定するようになっている。例えば、別候補決定部１ｅ２は、追尾中の対象被写体との位置関係、動き、選択回数、選択時間等に基づいて１つの対象被写体を選択して、追尾変化判定部１ｅ１に指定する。 In the first embodiment, an example has been described in which priorities are assigned to a plurality of target subjects, and partial images are generated by tracking the target subjects with higher priorities among the target subjects that can be tracked. On the other hand, in the present embodiment, another candidate determination unit 1e2 selects one target subject from one or more target subject candidates based on the output of the feature determination unit 1d according to a preset condition. The tracking change determination unit 1e1 is set. For example, the separate candidate determination unit 1e2 selects one target subject based on the positional relationship with the target subject being tracked, the movement, the number of selections, the selection time, and the like, and designates the target change determination unit 1e1.
なお、別候補決定部１ｅ２は、第１の実施の形態と同様に複数の対象被写体について優先順位を付し、優先順位を付された対象被写体のうち追尾可能な対象被写体が存在しない場合に、予め設定された条件に従って、優先順位が付されていない対象被写体から１つの対象被写体を選択して追尾変化判定部１ｅ１に設定するようにしてもよい。 The another candidate determination unit 1e2 assigns priorities to a plurality of target subjects in the same manner as in the first embodiment, and when there is no target subject that can be tracked among the target subjects with priorities, According to a preset condition, one target subject may be selected from the target subjects that are not given priority and set in the tracking change determination unit 1e1.
また、別候補決定部１ｅ２は、表示制御部１ｇを制御して、スルー画中に各対象被写体候補を含む部分領域の範囲を示す表示を表示すると共に、追尾対象の対象被写体を示す表示をスルー画中に表示させるようにしてもよい。
Further, the separate candidate determination unit 1e2 controls the
図１１は図６のステップＳ１３のマルチフレーム動画撮影処理に対応した処理を示している。また、図１２は対象被写体の切換えを説明するための説明図である。図１２（ａ１）〜（ａ３）は、３人の人物Ａ〜Ｃによる徒競走を撮影して得た時間的に前後する撮像画像に基づくスルー画の一例を示しており、全体画像をメイン画像とし、部分画像をサブ画像とした合成画像を示している。また、図１２（ｂ１），（ｂ２）は図１２（ａ１）に、図１２（ｂ３），（ｂ４）は図１２（ａ２）に、図１２（ｂ５），（ｂ６）は図１２（ａ３）に夫々対応したスルー画を示しており、全体画像をサブ画像とし、部分画像をメイン画像とした合成画像を示している。なお、図１２は優先順位を付すことなく、人物Ａを含む部分領域を指定する部分指定操作によってマルチフレームモードに移行した例を示している。 FIG. 11 shows a process corresponding to the multi-frame moving image shooting process in step S13 of FIG. FIG. 12 is an explanatory diagram for explaining switching of the subject. FIGS. 12 (a1) to (a3) show an example of a through image based on captured images that are obtained by shooting three athletes A to C and that are temporally mixed, and the entire image is a main image. The composite image which made the partial image the sub image is shown. 12 (b1) and (b2) are shown in FIG. 12 (a1), FIGS. 12 (b3) and (b4) are shown in FIG. 12 (a2), and FIGS. 12 (b5) and (b6) are shown in FIG. ) Show corresponding through images, and a composite image with the whole image as a sub-image and a partial image as a main image is shown. FIG. 12 shows an example in which the mode is shifted to the multi-frame mode by a partial designation operation for designating a partial area including the person A without giving priority.
入力画像が図１２（ａ１）の状態から図１２（ａ２）の状態を経て図１２（ａ３）の状態に変化するものとする。図１２（ａ１）〜（ａ３）に示す入力画像のスルー画４１ａ〜４１ｃには、夫々各対象被写体を含む部分領域を示す枠表示（破線）が表示されており、また、現在の追尾対象の対象被写体による部分画像を表示するサブ画像４２ａ〜４２ｃが表示されている。
Assume that the input image changes from the state of FIG. 12A1 to the state of FIG. 12A3 through the state of FIG. 12A2. In the through
ユーザが全体画像よりも部分画像（アップ画像）の方を見ながら撮影したいと考えることもある。この場合には、図１２（ａ１）〜（ａ３）のサブ画像４２ａ〜４２ｃの画像部分をタッチすると、図１２（ｂ１）〜（ｂ６）のように、部分画像をメイン画像化して表情を確認することを重視した撮影が可能となる。なお、マルチフレームモードにおいて撮影した画像から図１２に示す形態で再生表示を行うようにしてもよい。 The user may want to take a picture while viewing the partial image (up image) rather than the entire image. In this case, when the image parts of the sub-images 42a to 42c in FIGS. 12A1 to 12A3 are touched, the partial images are converted into the main image as shown in FIGS. 12B1 to 12B6 and the facial expression is confirmed. This makes it possible to shoot with an emphasis on doing. Note that playback display may be performed in the form shown in FIG. 12 from an image taken in the multi-frame mode.
図１１のステップＳ２１において、信号処理及び制御部１は全体画像及び部分画像を夫々別々の動画として動画記録を開始する。特徴判定部１ｄは、入力される撮像画像中の各対象被写体について、例えば顔等の特徴量や画面上の位置の情報を取得して部分画像特徴記憶部３ａに記録する（ステップＳ２２）。これにより、撮像されている人物、その顔及び撮像時における位置等を、撮像画像毎に記録することができる。
In step S21 of FIG. 11, the signal processing and
次のステップＳ２３においては、別候補決定部１ｅ２は、現在追尾中の部分領域の画像が、記録する部分画像として必要な条件を満足しているか否かを判定する。例えば、追尾不能となった場合や、追尾中の部分領域内の人物の顔の一部が隠されている場合や、追尾対象の対象被写体とする期間を超過した場合等においては、別候補決定部１ｅ２は部分領域は必要な条件を満足していないと判定する。 In the next step S23, the separate candidate determination unit 1e2 determines whether or not the image of the partial area currently being tracked satisfies a condition necessary for the partial image to be recorded. For example, when tracking becomes impossible, when a part of a person's face in the partial area being tracked is hidden, or when the period of the subject subject to be tracked is exceeded, another candidate is determined. The part 1e2 determines that the partial area does not satisfy the necessary condition.
図１２（ａ１）のスルー画４１ａでは、人物Ａ〜Ｃの画像が含まれる部分領域は、殆ど重なっておらず、別候補決定部１ｅ２は、引き続き人物Ａの画像を含む部分領域を追尾変化判定部１ｅ１に設定する。こうして、図１２（ｂ１），（ｂ２）に示すように、スルー画４３ａ１，４３ａ２には、人物Ａを含む部分領域の画像が部分画像４４ａ１，４４ａ２としてメイン画像化され、全体画像４４がサブ画像化される。
In the
即ち、図１２（ａ１）のスルー画４１ａの状態では、別候補決定部１ｅ２は、ステップＳ２３において、部分領域中の画像が必要な条件を満足していると判定することになる。この場合には、信号処理及び制御部１は、ステップＳ２４において追尾中の部分領域の動画撮影を継続し、ステップＳ２５において動画を記録する。
That is, in the state of the
次に、図１２（ａ２）に示すスルー画４１ｂが表示されるタイミングでは、追尾中の人物Ａを含む部分領域が人物Ｃの画像で隠されてしまう。図１２（ａ３）に示すスルー画４１ｃが表示されるタイミングでも同様である。
Next, at the timing when the through
そこで、別候補決定部１ｅ２は、処理をステップＳ３１に移行して別候補が有るか否かを判定する。人物Ａの対象被写体以外に優先順位が付されている対象被写体が存在する場合には、処理をステップＳ３８に移行して、別候補決定部１ｅ２は次の優先順位の対象被写体を追尾変化判定部１ｅ１に設定する。追尾変化判定部１ｅ１は、部分画像特徴記憶部３ａの情報を読み出すことで、設定された対象被写体を追尾し、追尾した対象被写体を含む部分領域を画像処理部１ｃに設定する。これにより、新たな部分領域の部分画像が動画像として記録される（ステップＳ２４，Ｓ２５）
図１２の例では、優先順位は設定されていないので、別候補決定部１ｅ２は処理を次のステップＳ３２に移行して、追尾中の対象被写体の部分領域を隠す対象被写体が存在するか否かを判定する。図１２（ａ２）のスルー画４１ｂでは、追尾中の人物Ａの部分領域は人物Ｃの画像で隠されるので、別候補決定部１ｅ２は、人物Ｃを対象被写体として、ステップＳ３５の処理を行う。
Therefore, the different candidate determination unit 1e2 shifts the processing to step S31 and determines whether there is another candidate. If there is a target subject with a priority other than the subject subject of person A, the process proceeds to step S38, and the different candidate determination unit 1e2 selects the target subject with the next priority as a tracking change determination unit. Set to 1e1. The tracking change determination unit 1e1 reads the information in the partial image feature storage unit 3a, tracks the set target subject, and sets a partial region including the tracked target subject in the
In the example of FIG. 12, since the priority order is not set, the separate candidate determination unit 1e2 proceeds to the next step S32 to determine whether or not there is a target subject that hides the partial region of the target subject being tracked. Determine. In the
ステップＳ３５においては、人物Ｃの対象被写体が過度に選択されていないかが判定される。例えば、自分の子供が参加する徒競走の撮影時には、ユーザは自分の子供のみを部分画像として記録したいと考えられる。しかし、徒競走では人物の動きが激しく、自分の子供の画像が他人の子供の画像に隠されてしまうことがある。この場合でも、自分の子供の画像を隠した他人の子供の画像を部分画像として撮像することで、自分の子供だけでなく、他人の子供の表情の変化等も記録することができ、多彩な映像表現が可能となる。この理由から、優先順位を付した対象被写体やユーザが指定した対象被写体以外の対象被写体についても部分画像の記録を行う。 In step S35, it is determined whether or not the subject subject of the person C is excessively selected. For example, at the time of shooting a student race in which his / her child participates, the user may want to record only his / her child as a partial image. However, there are cases in which the movement of a person is intense in an automatic race, and the image of his child is hidden in the image of another child. Even in this case, it is possible to record not only your own child but also other people's child's facial expressions, etc. by capturing the other child's child's image as a partial image. Video expression is possible. For this reason, partial images are also recorded for target subjects with priorities and target subjects other than the target subject specified by the user.
しかし、全体画像には自分の子供だけでなく他人の子供も記録されており、本来部分画像として記録したいのは他人の子供ではなく、自分の子供である。そこで、ユーザが指定した対象被写体以外の被写体を撮像する場合には、記録回数や頻度、記録時間等の制限を課す。ステップＳ３５では、別候補決定部１ｅ２は、新たに選択された対象被写体について、このような記録回数又は記録頻度の制限を超えたか否かを判定するのである。 However, not only your own children but also children of other people are recorded in the whole image, and it is not your own children but your own children that you want to record as a partial image. Therefore, when a subject other than the target subject designated by the user is imaged, restrictions are imposed on the number of recordings, frequency, recording time, and the like. In step S35, the separate candidate determination unit 1e2 determines whether or not the recording frequency or the recording frequency limit has been exceeded for the newly selected target subject.
ステップＳ３２において選択された対象被写体が過度に選択されていない場合には、別候補決定部１ｅ２は、次のステップＳ３６において、選択された対象被写体を所定の時間（例えば数秒間）だけ追尾対象の対象被写体とする。別候補決定部１ｅ２は、記録回数や頻度の情報を得るために、新たに設定する追尾対象の対象被写体に関する情報を図示しない記憶部に記憶する。次に、別候補決定部１ｅ２は、新たな対象被写体を追尾変化判定部１ｅ１に設定する（ステップＳ３８）。 If the target subject selected in step S32 is not excessively selected, the different candidate determining unit 1e2 selects the target subject selected for tracking for a predetermined time (for example, several seconds) in the next step S36. Target subject. The separate candidate determination unit 1e2 stores information on a target object to be newly set in a storage unit (not shown) in order to obtain information on the number of times of recording and frequency. Next, the separate candidate determination unit 1e2 sets a new target subject in the tracking change determination unit 1e1 (step S38).
これにより、図１２（ｂ３）に示すように、スルー画４３ｂ１は、人物Ｃを含む部分領域の画像が部分画像４４ｂ１としてメイン画像化され、全体画像４４がサブ画像化された合成画像となる。即ち、追尾変化判定部１ｅ１は、所定期間だけ人物Ｃを追尾する対象被写体として追尾を行い、追尾結果を画像処理部１ｃに出力する。こうして、信号処理及び制御部１は、ステップＳ２４において人物Ｃの部分画像による動画撮影を継続し、ステップＳ２５において動画を記録する。
Thereby, as shown in FIG. 12B3, the through image 43b1 is a composite image in which the image of the partial area including the person C is converted into the main image as the partial image 44b1 and the
図１２（ｂ４）のスルー画４３ｂ２は、図１２（ｂ３）と同様に、人物Ｃを含む部分領域の画像を部分画像４４ｂ２としてメイン画像化し、全体画像４４をサブ画像化することを示している。なお、ステップＳ３６で設定した所定期間が経過する前に、人物Ｃに隠れていた人物Ａの部分領域が隠れなくなると、別候補決定部１ｅ２は、ステップＳ２３からステップＳ３１を経てステップＳ３８に移行して、人物Ａを対象被写体に設定して、人物Ａの部分領域の画像を部分画像とするようにしてもよい。
The through image 43b2 in FIG. 12 (b4) shows that the image of the partial area including the person C is converted into the main image as the partial image 44b2 and the
次に、図１２（ａ３）に示すスルー画４１ｃが表示されるタイミングでは、ユーザが指定した人物Ａを含む部分領域は他の人物Ｂ，Ｃの画像で隠されていないが、スルー画４１ｂ，４１ｃの比較から明らかなように、人物Ｂの画像が大きく移動している。この場合には、別候補決定部１ｅ２は、ステップＳ３３において動きが所定の閾値よりも大きい対象被写体が存在するものと判定する。別候補決定部１ｅ２は、動きが大きい人物Ｂが過度に選択されていないか判定する（ステップＳ３５）。
Next, at the timing when the
こうして、図１２（ｂ５）に示すように、スルー画４３ｃ１は、人物Ｂを含む部分領域の画像が部分画像４４ｃ１としてメイン画像化され、全体画像４４がサブ画像化された合成画像となる。即ち、追尾変化判定部１ｅ１は、所定期間だけ人物Ｂを追尾する対象被写体として追尾を行い、追尾結果を画像処理部１ｃに出力する。こうして、信号処理及び制御部１は、ステップＳ２４において人物Ｂの部分画像による動画撮影を継続し、ステップＳ２５において動画を記録する。
Thus, as shown in FIG. 12B5, the through image 43c1 is a composite image in which the image of the partial area including the person B is converted into the main image as the partial image 44c1 and the
人物Ｂの追尾期間が終了すると、別候補決定部１ｅ２は、ステップＳ３１から処理をステップＳ３２に移行する。別候補決定部１ｅ２は、ステップＳ３２，Ｓ３３において対象被写体が存在しない場合には、ステップＳ３４に移行し、未選択の被写体が有るか否かを判定する。別候補決定部１ｅ２は、未選択の被写体が存在する場合には、その中から１つの対象被写体を選択して、ステップＳ３６以降の処理を繰り返す。なお、未選択の被写体が存在しない場合には、別候補決定部１ｅ２は、画像処理部１ｃに対して全体画像を部分画像として設定するよう指示を出す（ステップＳ３９）。
When the tracking period of the person B ends, the different candidate determination unit 1e2 proceeds from step S31 to step S32. If the target subject does not exist in steps S32 and S33, the different candidate determination unit 1e2 proceeds to step S34 and determines whether there is an unselected subject. If there is an unselected subject, the separate candidate determination unit 1e2 selects one target subject from the subjects and repeats the processing from step S36 onward. When there is no unselected subject, the separate candidate determination unit 1e2 instructs the
なお、別候補決定部１ｅ２は、優先順位が付されていない場合でも、ユーザが部分指定操作によって対象被写体を指定した場合には、この対象被写体を新たな追尾対象としてもよい。図１２（ｂ６）はこの状態を示しており、スルー画４３ｃ２は、人物Ａを含む部分領域の画像を部分画像４４ｃ２としてメイン画像化し、全体画像４４をサブ画像化した合成画像となる。
Note that the different candidate determination unit 1e2 may set this target subject as a new tracking target even when the priority order is not given, when the user specifies the target subject through the partial specifying operation. FIG. 12B6 shows this state, and the through image 43c2 is a composite image in which the image of the partial area including the person A is converted into a main image as the partial image 44c2 and the
このように、ユーザが指定した対象被写体を隠す被写体や、動きが大きい被写体等を部分画像とて選択することで、画面に変化が生じ、多彩な映像表現が可能となる。 In this way, by selecting a subject that hides the target subject specified by the user, a subject with large movement, or the like as a partial image, the screen changes, and various video expressions are possible.
図１３は図１１のステップＳ３２の処理の一例を具体的に示すフローチャートであり、図１４はステップＳ３２の処理の一例を具体的に示す説明図である。 FIG. 13 is a flowchart specifically illustrating an example of the process of step S32 in FIG. 11, and FIG. 14 is an explanatory diagram illustrating specifically an example of the process of step S32.
図１４（ａ）乃至（ｃ）は撮像画像の変化を示しており、図１４（ａ）に示す撮像画像５１ａが図１４（ｂ）に示す撮像画像５１ｂに変化し、更に、図１４（ｃ）に示す撮像画像５１ｃに変化するものとする。図１４においては、撮像画像５１ａ，５１ｂに人物Ａ〜Ｃが撮像されており、撮像画像５１ｃに人物Ｂ，Ｃが撮像されていることを示している。また、撮像画像５１ａについては追尾対象の対象被写体が人物Ａであるものとして説明する。
FIGS. 14A to 14C show changes in the captured image. The captured
別候補決定部１ｅ２は、ステップＳ４１において、追尾中の対象被写体を含む部分領域の周辺に存在する人物の顔を、予め設定されている顔特徴に基づいて判定する。例えば、図１４（ａ）の撮像画像５１ａにおいては、別候補決定部１ｅ２は、人物Ａの部分領域５２ａ（破線）の周辺から、人物Ｃの顔を検出する。なお、図１４（ａ）では人物Ｃを含む部分領域５３ｃを破線にて示してある。
In step S41, the different candidate determination unit 1e2 determines the face of a person existing around the partial area including the target subject being tracked based on preset facial features. For example, in the captured
次に、別候補決定部１ｅ２は、追尾中の対象被写体を含む部分領域に、顔が接近したか否かを判定する。接近していない場合には、別候補決定部１ｅ２は、図１１のステップＳ３２のＮＯ分岐に移行する。 Next, the separate candidate determination unit 1e2 determines whether or not the face has approached the partial area including the target subject being tracked. When not approaching, another candidate determination part 1e2 transfers to NO branch of step S32 of FIG.
例えば、図１４（ｂ）の撮像画像５１ｂのように、人物Ａの部分領域５２ｂに人物Ｃの顔が接近すると、別候補決定部１ｅ２は、ステップＳ４３に処理を移行して追尾中の部分領域内の顔の特徴が消失したか否かを判定する。撮像画像５１ｂのように、人物Ａの顔が人物Ｃで隠されると、撮像画像５１ｂから得られる人物Ａの顔の特徴量では、人物Ａを特定することができなくなる。この場合には、別候補決定部１ｅ２は、接近した顔、即ち、人物Ｃを対象被写体として（ステップＳ４４）、ステップＳ３２のＹＥＳ分岐に進む。こうして、図１４（ｃ）に示すように、撮像画像５１ｃでは、人物Ｃが追尾対象となり、人物Ｃを含む部分領域５３ｃに基づいて部分画像が生成される。
For example, when the face of the person C approaches the
図１５乃至図１７は図１１のステップＳ３３の処理の一例を具体的に示すものであり、図１５はフローチャート、図１６は説明図、図１７はグラフである。 FIGS. 15 to 17 specifically show an example of the processing in step S33 of FIG. 11, FIG. 15 is a flowchart, FIG. 16 is an explanatory diagram, and FIG. 17 is a graph.
図１６（ａ），（ｂ）は撮像画像の変化を示しており、図１６（ａ）に示す撮像画像６１が図１６（ｂ）に示す撮像画像６２に変化するものとする。図１６（ａ）においては、撮像画像６１に人物Ａ〜Ｃの顔６３ａ〜６３ｃが撮像されており、撮像画像６２に人物Ａ〜Ｄの顔６４ａ〜６４ｄが撮像されていることを示している。また、撮像画像６１，６２については追尾対象の対象被写体が人物Ａであるものとして説明する。
FIGS. 16A and 16B show changes in the captured image, and it is assumed that the captured
別候補決定部１ｅ２は、ステップＳ５１において、予め設定されている顔特徴に基づいて撮像画像中に顔画像が有るか否かを判定する。図１６の撮像画像６１，６２には人物の顔が写されており、別候補決定部１ｅ２は次のステップＳ５２に処理を移行する。
In step S51, the different candidate determining unit 1e2 determines whether or not there is a face image in the captured image based on a preset facial feature. The captured
ステップＳ５２においては、別候補決定部１ｅ２は、各顔の直前位置との変化を算出する。図１７は横軸に時間をとり縦軸に画像上の横方向の位置をとって、各顔６３ａ〜６３ｃ，６４ａ〜６４ｄの横方向の位置を示している。図１７の時間Ｔ１は、撮像画像６１の撮像タイミングに相当し、時間Ｔ２は撮像画像６２の撮像タイミングに相当する。
In step S52, the different candidate determining unit 1e2 calculates a change from the immediately preceding position of each face. FIG. 17 shows the horizontal positions of the
図１７は画像の左側を基準に各顔の位置を示しており、時間Ｔ１では、顔Ｂの方が顔Ｃよりも右側に位置することを示している。また、時間Ｔ２では、顔Ｄ，Ｃ，Ｂの順で画像のより右側に位置する。別候補決定部１ｅ２は、各顔毎に時間Ｔ１，Ｔ２の位置の差を求める。図１６の例では、顔Ｂ，Ｃの位置変化には差があり、図１７に示すように、顔Ｃの位置変化Δｃよりも顔Ｂの位置変化Δｂの方が大きい。 FIG. 17 shows the position of each face with reference to the left side of the image, and shows that face B is located on the right side of face C at time T1. At time T2, the faces D, C, and B are positioned on the right side of the image in the order. The separate candidate determination unit 1e2 obtains the difference between the positions of the times T1 and T2 for each face. In the example of FIG. 16, there is a difference in the position changes of the faces B and C, and the position change Δb of the face B is larger than the position change Δc of the face C as shown in FIG.
別候補決定部１ｅ２は、ステップＳ５３において、顔の位置変化に差異があるか否かを判定する。差異がない場合には、別候補決定部１ｅ２は、図１１のステップＳ３２のＮＯ分岐に移行する。図１６の例では、別候補決定部１ｅ２は、処理をステップＳ５４に移行して、位置変化が大きい顔Ｂを追尾対象の対象被写体として（ステップＳ５４）、ステップＳ３２のＹＥＳ分岐に進む。こうして、撮像画像６１，６２の例では、人物Ｂが追尾対象となり、人物Ｂを含む部分領域に基づいて部分画像が生成される。
In step S53, the different candidate determination unit 1e2 determines whether there is a difference in face position change. If there is no difference, the different candidate determination unit 1e2 proceeds to the NO branch in step S32 of FIG. In the example of FIG. 16, the separate candidate determination unit 1e2 shifts the processing to step S54, sets the face B having a large positional change as the target subject to be tracked (step S54), and proceeds to the YES branch of step S32. Thus, in the example of the captured
このように本実施の形態においては、マルチフレームモード時には、設定される条件に従って、１つの対象被写体を選択して部分画像に設定する。これにより、多彩な映像表現が可能となり、ユーザが希望する画像を記録することができる。 Thus, in the present embodiment, in the multi-frame mode, one target subject is selected and set as a partial image according to the set conditions. As a result, various video expressions are possible, and an image desired by the user can be recorded.
１…信号処理及び制御部、１ａ…読取部、１ｂ，１ｃ…画像処理部、１ｄ…特徴判定部、１ｅ１…追尾変化判定部、１ｅ２…別候補決定部、１ｆ…画像選択部、１ｇ…表示制御部、１ｈ…Ｓ圧縮部、１ｉ，１ｊ…Ｍ圧縮部、１ｋ…記録制御部、２…撮像部、３…分配用仮記録部、４…記録部、５…表示部、６…操作部、６ａ…動画撮影操作部、６ｂ…静止画撮影操作部。
DESCRIPTION OF
Claims (5)
前記撮像画像から第１の画角の画像を取得する第１画像取得部と、
前記第１の画角よりも狭い第２の画角の１つ以上の第２の画像を前記撮像画像から取得する第２画像取得部と、
前記１つ以上の第２の画像のうちの１つの画像を動画記録する記録制御部と、
前記記録制御部において記録中の前記第２の画像が第１の被写体条件を満足しなくなった場合には前記第２画像取得部が取得した１つ以上の第２の画像のうち第２の被写体条件を満足する他の第２の画像に切換えて前記記録制御部に動画記録させる制御部と
を具備したことを特徴とする撮影機器。 An imaging unit that outputs a captured image obtained by imaging a subject;
A first image acquisition unit that acquires an image of a first angle of view from the captured image;
A second image acquisition unit that acquires one or more second images having a second angle of view narrower than the first angle of view from the captured image;
A recording control unit that records one of the one or more second images as a moving image;
When the second image being recorded in the recording control unit no longer satisfies the first subject condition, the second subject among the one or more second images acquired by the second image acquisition unit A control unit that switches to another second image that satisfies the condition and causes the recording control unit to record a moving image.
ことを特徴とする請求項１に記載の撮影機器。 The control unit determines whether the second image being recorded can be tracked, whether a part of the second image being recorded is hidden, and whether the second image being recorded is The photographing apparatus according to claim 1, wherein at least one of whether or not a recording period is exceeded is the first subject condition.
ことを特徴とする請求項１又は２に記載の撮影機器。 The control unit is an image that moves more than a predetermined threshold in the captured image, whether or not the image has a priority, whether or not the second image being recorded is hidden. The imaging device according to claim 1, wherein at least one of whether or not the image is an unselected image is set as the second subject condition.
ことを特徴とする請求項１に記載の撮影機器。 The control unit assigns priorities to the one or more second images acquired by the second image acquisition unit, and priorities among the other second images satisfying the second subject condition. The photographing apparatus according to claim 1, wherein a second image having a high value is selected and the recording control unit records a moving image.
ことを特徴とする請求項１に記載の撮影機器。 When the second image being recorded does not satisfy the first subject condition, the control unit is configured to record the second second image in accordance with the priority assigned to the second image. When an image is selected and the other second image to be recorded next cannot be selected in the priority order, whether the second image being recorded is an image to be hidden or not is determined. The other second image to be recorded next as at least one of whether or not the image moves more than a predetermined threshold and whether or not the image is an unselected image. The photographing apparatus according to claim 1, wherein the photographing device is selected.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011196257A JP5694097B2 (en) | 2011-09-08 | 2011-09-08 | Photography equipment |
| CN201210262811.XA CN103002207B (en) | 2011-09-08 | 2012-07-26 | Photographic equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011196257A JP5694097B2 (en) | 2011-09-08 | 2011-09-08 | Photography equipment |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015020574A Division JP5942002B2 (en) | 2015-02-04 | 2015-02-04 | Imaging device and method for controlling imaging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013058921A true JP2013058921A (en) | 2013-03-28 |
| JP5694097B2 JP5694097B2 (en) | 2015-04-01 |
Family
ID=47930304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011196257A Expired - Fee Related JP5694097B2 (en) | 2011-09-08 | 2011-09-08 | Photography equipment |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5694097B2 (en) |
| CN (1) | CN103002207B (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014236405A (en) * | 2013-06-04 | 2014-12-15 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | Imaging control device, imaging control method, program therefor and electronic equipment |
| JP2020096262A (en) * | 2018-12-11 | 2020-06-18 | キヤノン株式会社 | Tracking device and method |
| JP2022512715A (en) * | 2018-10-15 | 2022-02-07 | 華為技術有限公司 | Photography scenarios and methods for displaying images on electronic devices |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106454135B (en) * | 2016-11-29 | 2019-11-01 | 维沃移动通信有限公司 | One kind is taken pictures based reminding method and mobile terminal |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005117343A (en) * | 2003-10-07 | 2005-04-28 | Victor Co Of Japan Ltd | Monitoring system |
| JP2006109119A (en) * | 2004-10-06 | 2006-04-20 | Omron Corp | Moving image recorder and moving image reproducing apparatus |
| JP2009229586A (en) * | 2008-03-19 | 2009-10-08 | Fujinon Corp | Autofocus system |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5047007B2 (en) * | 2008-03-03 | 2012-10-10 | 三洋電機株式会社 | Imaging device |
| EP2104337A3 (en) * | 2008-03-19 | 2011-04-27 | Fujinon Corporation | Autofocus system |
| JP2010268019A (en) * | 2009-05-12 | 2010-11-25 | Nikon Corp | Photographing apparatus |
| JP5227888B2 (en) * | 2009-05-21 | 2013-07-03 | 富士フイルム株式会社 | Person tracking method, person tracking apparatus, and person tracking program |
| JP2011166442A (en) * | 2010-02-09 | 2011-08-25 | Sanyo Electric Co Ltd | Imaging device |
-
2011
- 2011-09-08 JP JP2011196257A patent/JP5694097B2/en not_active Expired - Fee Related
-
2012
- 2012-07-26 CN CN201210262811.XA patent/CN103002207B/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005117343A (en) * | 2003-10-07 | 2005-04-28 | Victor Co Of Japan Ltd | Monitoring system |
| JP2006109119A (en) * | 2004-10-06 | 2006-04-20 | Omron Corp | Moving image recorder and moving image reproducing apparatus |
| JP2009229586A (en) * | 2008-03-19 | 2009-10-08 | Fujinon Corp | Autofocus system |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014236405A (en) * | 2013-06-04 | 2014-12-15 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | Imaging control device, imaging control method, program therefor and electronic equipment |
| JP2022512715A (en) * | 2018-10-15 | 2022-02-07 | 華為技術有限公司 | Photography scenarios and methods for displaying images on electronic devices |
| JP7238115B2 (en) | 2018-10-15 | 2023-03-13 | 華為技術有限公司 | Photography scenarios and methods for displaying images on electronic devices |
| JP2020096262A (en) * | 2018-12-11 | 2020-06-18 | キヤノン株式会社 | Tracking device and method |
| JP7325180B2 (en) | 2018-12-11 | 2023-08-14 | キヤノン株式会社 | Tracking device and method |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103002207A (en) | 2013-03-27 |
| JP5694097B2 (en) | 2015-04-01 |
| CN103002207B (en) | 2016-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102077967B1 (en) | Electronic device | |
| JP3962871B2 (en) | Electronic camera and electronic zoom method | |
| JP4924228B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5694097B2 (en) | Photography equipment | |
| JP5054175B2 (en) | Imaging apparatus and control method thereof, imaging control apparatus, and imaging control method | |
| JP5785038B2 (en) | Photography equipment | |
| JP6460783B2 (en) | Image processing apparatus and control method thereof | |
| JP5876991B2 (en) | Shooting equipment, shooting method and playback method | |
| JP6460868B2 (en) | Display control apparatus and control method thereof | |
| JP6957131B2 (en) | Information terminal device, image pickup device, image information processing system and image information processing method | |
| JP5965037B2 (en) | Photography equipment | |
| JP5942002B2 (en) | Imaging device and method for controlling imaging device | |
| JP2016167767A (en) | Imaging apparatus, synthetic imaging method and synthetic imaging program | |
| JP2005073161A (en) | Processing apparatus and image recording method | |
| JP6205464B2 (en) | Photography equipment | |
| JP6952584B2 (en) | Imaging device, imaging method and imaging program | |
| JP2020061760A (en) | Imaging apparatus | |
| JP6569188B2 (en) | Imaging device | |
| JP5370577B2 (en) | Composition selection device and program | |
| JP2013012982A (en) | Imaging apparatus and image reproduction apparatus | |
| US11843854B2 (en) | Display control device and display control method | |
| JP5589615B2 (en) | Imaging device | |
| JP5901328B2 (en) | Image composition method and image composition apparatus | |
| JP2015061129A (en) | Imaging equipment and imaging method | |
| JP2006033611A (en) | Processor and processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140710 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20140710 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140925 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20140925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150204 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5694097 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |