JP2005269121A - 映像記録装置 - Google Patents

映像記録装置 Download PDF

Info

Publication number
JP2005269121A
JP2005269121A JP2004077282A JP2004077282A JP2005269121A JP 2005269121 A JP2005269121 A JP 2005269121A JP 2004077282 A JP2004077282 A JP 2004077282A JP 2004077282 A JP2004077282 A JP 2004077282A JP 2005269121 A JP2005269121 A JP 2005269121A
Authority
JP
Japan
Prior art keywords
area
image
predetermined
effective pixel
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2004077282A
Other languages
English (en)
Inventor
Kenichi Hirako
賢一 平子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2004077282A priority Critical patent/JP2005269121A/ja
Publication of JP2005269121A publication Critical patent/JP2005269121A/ja
Ceased legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 プロではない一般人であっても、移動する被写体を良好な構図で捕えつつ撮影できるようにする。
【解決手段】 有効画素領域の全領域画像をファインダに表示する手段と、ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための手段と、所定のロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す手段と、前記指定されたロック画像を前記ロック画像メモリに記憶し、前記探し出された特徴合致領域の画像で前記ロック画像メモリのロック画像を更新する記憶制御手段と、前記探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す手段と、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する手段とを有する映像記録装置。
【選択図】 図1

Description

本発明はデジタルカメラ等の映像記録装置に関し、詳しくは、移動する被写体を追跡する機能を備えた映像記録装置に関する。
撮像視野内の第1の画像をテンプレートとして記録した後、ズーム倍率を変えて撮像装置から第2の画像を取得し、当該ズーム倍率の変更を補償するようにテンプレート画像又は第2の画像の大きさを変更した状態でテンプレートマッチングを行い、その結果に基づいて撮像装置の移動機構を制御して物体を追跡する物体追跡装置が提案されている(特許文献1,参照)。
高解像度静止画モード時には撮像素子の撮像有効領域全体を使用して撮像し、低解像度動画モード時には撮像素子の撮像有効領域中央部の小領域を選択してブロック読み出しすることにより撮像するデジタルカメラが提案されている(特許文献2,参照)。
撮像素子の受光面に像を結像させる光学部にシフトレンズを組み込み、該シフトレンズを光軸と直交する方向へシフトさせることにより撮影方向を速やかに変えるようにした車両用画像読取装置が提案されている(特許文献3,参照)。
また、撮像素子の受光面に像を結像させる光学部にズームレンズ(可変焦点レンズ)を組み込み、該ズームレンズを駆動することにより結像倍率を無段階に変えるようにした車両用画像読取装置が提案されている(特許文献3,参照)。
特開2003−235035号公報。 特開2003−158684号公報。 特開2003−186075号公報。
デジタルカメラ等の映像記録装置を手で持ち、移動する被写体を良好な構図で捕えつつ撮影することは、プロではない一般人にとって困難である。
本発明は、プロではない一般人であっても、移動する被写体を良好な構図で捕えつつ撮影できるようにすることを目的とする。
本発明は、下記[1]〜[7]のように構成される。
[1]構成1:
有効画素領域の全領域画像をファインダに表示する表示制御手段と、
前記ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための指定入力手段と、
前記指定入力手段により指定されたロック画像を所定のロック画像メモリに記憶する記憶制御手段と、
前記ロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す領域探索手段と、
前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す領域切出手段と、
前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する保存制御手段と、
を有することを特徴とする映像記録装置。
構成1の映像記録装置は、静止画の撮影と動画の撮影の両方に適用可能である。
(a)有効画素領域:
CCD、CMOS等の撮像素子の有効な受光領域の全域をいう。
(b)ファインダ:
光学式ファインダでもよく、対象物のモニタ機能を備えた液晶画面でもよい。また、一眼レフ方式でもよく、それ以外の実像方式や、ブライト・フレーム方式でもよい。
(c)指定入力手段:
例えば、ファインダ内に枠を表示し、該枠内に所望の被写体が入っている状態で所定のロック動作(例:ロックキーの押下等)を行うことで、該枠内の画像をロック画像として指定する手段である。パターンマッチング時の処理負荷を軽減するために、枠内の画像に代えて、枠内を含む最小の方形領域内の画像をロック画像として指定するようにしてもよい。また、動画撮影時には、ロック画像を指定するための指定入力手段を、撮影動作の開始を指令するための手段として兼用してもよい。
(d)ロック画像メモリ:
追跡対象の被写体画像であるロック画像は、ロック画像メモリに格納される。
ロック画像メモリを構成するハードウエアとしては、フラッシュメモリ、ハードディスク、DRAM等、公知のハードウエアを適宜に用いることができる。また、ロック画像のデータ形式や符号化方式としても、公知のデータ形式や符号化方式を適宜に用いることができる。
(e)探索手法:
ロック画像と特徴が合致する画像領域を処理対象の有効画素領域内から探索する手法としては、形状パターン、色情報の比較、ニューラルネットワーク、ウェーブレットの使用等、公知のパターンマッチングの手法を適宜に採用することができる。また、動画撮影時には、前回のロック画像の重心位置に基づいてその周辺から探索を開始することで、処理の負荷を軽減するようにしてもよい。また、前回のフレーム(有効画素領域の画像)と今回のフレーム(有効画素領域の画像)との差分画像情報を利用してロック画像を抽出するようにしてもよい。
(f)記録領域の画定:
記録領域とは、処理対象の有効画素領域から切り出されて、その画像データが表示用や保存用に記録される領域である。この記録領域は、特徴合致領域が当該記録領域内に於いて所定部位に位置し、且つ、当該記録領域に対して所定面積比を占めるように、画定される。換言すれば、記録領域は、特徴合致領域が所定の構図となるように画定される。例えば、特徴合致領域が記録領域の中央位置で1/4の面積を占めるように画定される。或いは、特徴合致領域が記録領域の左寄り1/3の位置で2/5の面積を占めるように画定される。特徴合致領域の記録領域内での重心位置と、特徴合致領域が記録領域内で占める面積比とは、初期設定或いはユーザ設定で適宜に設定されているものとする。
(g)切り出す:
画定した記録領域を有効画素領域から切り出すためには、撮像素子がブロック読み出し可能な素子であればよい。例えば、CCDやCMOS等を用いることができる。
(h)保存画像メモリ:
記録領域の画像データは、保存画像メモリに記録される。
メモリを構成するハードウエアとしては、フラッシュメモリ、ハードディスク、DRAM等、公知のハードウエアを適宜に用いることができる。また、保存画像のデータ形式や符号化方式としては、公知のデータ形式や符号化方式を適宜に用いることができる。例えば、静止画であれば、JPEG(Joint Photographic Coding Experts Group)を用いることができる。また、動画であれば、MPEG(Moving Picture Experts Group)を用いることができる。また、保存画像メモリのハードウエアは、ロック画像メモリのハードウエアと共通でもよく、異なっていてもよい。
[2]構成2:
有効画素領域の全領域画像をファインダに表示する表示制御手段と、
前記ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための指定入力手段と、
所定のロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す領域探索手段と、
前記指定入力手段により指定されたロック画像を前記ロック画像メモリに記憶し、前記領域探索手段により探し出された特徴合致領域の画像で前記ロック画像メモリのロック画像を更新する記憶制御手段と、
前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す領域切出手段と、
前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する保存制御手段と、
を有することを特徴とする映像記録装置。
構成2の映像記録装置は、動画の撮影に適用可能である。前記(a)〜(h)の定義若しくは解説は、動画の性質に反しない限り、構成2でも成り立つ。
(i)ロック画像の更新:
構成1では、指定入力手段により指定されたロック画像がロック画像メモリに格納されるが、構成2では、さらに、ロック画像メモリに格納されているロック画像が、領域探索手段により探し出された特徴画像領域の画像により更新されて、次画面(次に処理対象とされる画面)での特徴画像領域の探索に用いられる。
(j)先頭の保存画像等:
先頭の保存画像とは、動画の先頭の画像をいう。直前に記録された保存画像に続く保存画像(非先頭の保存画像)は、MPEG(Moving Picture Experts Group)のPピクチャやIピクチャのような差分画像等であってもよい。
[3]構成3:
構成1又は2に於いて、
前記保存制御手段は、前記領域切出手段により切り出された記録領域の画像を所定サイズの画像として記録する、
ことを特徴とする映像記録装置。
例えば、300万画素のCCDの出力を、640×480≒31万画素として記録するような場合が想定される。
[4]構成4:
構成2に於いて、
前記保存制御手段は、前記直前に記録された保存画像に続く各保存画像のサイズを前記先頭の保存画像のサイズに合致させて記録する、
ことを特徴とする映像記録装置。
[5]構成5:
構成1又は2に於いて、
前記領域切出手段は、前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定すると該記録領域の1又は2の縁部が当該有効画素領域からはみ出る場合には、該1又は2の縁部が当該有効画素領域の対応する縁部と重なる位置までシフトさせて記録領域を画定する、
ことを特徴とする映像記録装置。
構成5は、記録領域が有効画素領域からはみ出てしまう場合に、構図が所望の設定(初期設定或いはユーザ設定による設定)と異なってしまうことを許容して、有効画素領域内に入るように処理する構成である。この処理により、記録領域内における特徴画像領域の位置は、設定された所定部位ではなくなる。
[6]構成6:
構成1又は2に於いて、さらに、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記領域切出手段により切り出される記録領域の占める面積比が所定の制御範囲内に維持されるように、前記占有率算出手段の算出結果に応じて前記ズームレンズ機構を駆動するズーム制御手段と、
を有することを特徴とする映像記録装置。
構成6は、記録領域が大きくなりすぎて有効画素領域からはみ出たり、小さくなりすぎて保存画像がぼけたりしないように、ズームレンズ機構を制御して記録領域を適切なサイズに維持する構成である。小さくなりすぎて保存画像がぼけるとは、小さくなったためにデジタル処理で画像サイズを大きくした結果、保存画像がぼけることをいう。
[7]構成7:
構成1に於いて、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
前記ズーム制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する、
ことを特徴とする映像記録装置。
構成7は、記録領域が大きくなりすぎたり、小さくなりすぎたりした場合に、ズームレンズ機構を制御して記録領域を適切なサイズに戻して、再度、特徴画像領域の探索及び記録領域の画定を行って適正なサイズの記録領域を切り出し、その画像を保存画像として記録する構成である。
即ち、構成6が予防的にズーム倍率を制御するのに対して、構成7は瑕疵を解消するためにズーム倍率を制御するものである。したがって、構成7の「所定の許容範囲」は、構成6の「所定の制御範囲」よりも少なくとも広い。
[8]構成8:
構成2に於いて、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
前記ズーム制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する、
ことを特徴とする映像記録装置。
構成8は、記録領域が大きくなりすぎたり、小さくなりすぎたりした場合に、ズームレンズ機構を制御して記録領域を適切なサイズに戻して、再度、特徴画像領域の探索及び記録領域の画定を行って適正なサイズの記録領域を切り出し、その画像を動画の当該画面での保存画像として記録する構成である。
即ち、構成6が予防的にズーム倍率を制御するのに対して、構成8は瑕疵を解消するために当該画面についてのズーム倍率を制御するものである。したがって、構成8の「所定の許容範囲」は、構成6の「所定の制御範囲」よりも少なくとも広い。
[9]構成9:
構成1又は構成2に於いて、さらに、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の変位量が所定の制御範囲内に維持されるように、前記変位算出手段の算出結果に応じて前記シフトレンズ機構を駆動するシフト制御手段と、
を有することを特徴とする映像記録装置。
構成9は、記録領域が有効画素領域の中心から外れすぎて有効画素領域からはみ出てしまわないように、シフトレンズ機構を制御して記録領域を有効画素領域内の適切な位置に維持する構成である。
[10]構成10:
構成1に於いて、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記変位算出手段により算出された重心の変位量が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する、
ことを特徴とする映像記録装置。
構成10は、記録領域が有効画素領域の中心から外れすぎた場合(例:記録領域が有効画素領域からはみ出てしまった場合)に、シフトレンズ機構を制御して記録領域を適切な位置(有効画素領域の中心位置)に戻して、再度、特徴画像領域の探索及び記録領域の画定を行って適正な位置から記録領域を切り出し、その画像を保存画像として記録する構成である。
即ち、構成9が予防的に記録領域の位置を制御するのに対して、構成10は瑕疵を解消するために記録領域の位置を制御するものである。したがって、構成10の「所定の許容範囲」は、構成9の「所定の制御範囲」よりも少なくとも広い。
[11]構成11:
構成2に於いて、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記変位算出手段により算出された重心の変位量が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する、
ことを特徴とする映像記録装置。
構成11は、記録領域が有効画素領域の中心から外れすぎた場合(例:記録領域が有効画素領域からはみ出てしまった場合)に、シフトレンズ機構を制御して記録領域を適切な位置(例:有効画素領域の中心位置)に戻して、再度、特徴画像領域の探索及び記録領域の画定を行って適正な位置から記録領域を切り出し、その画像を動画の当該画面での保存画像として記録する構成である。
即ち、構成9が予防的に記録領域の位置を制御するのに対して、構成11は瑕疵を解消するために記録領域の位置を制御するものである。したがって、構成11の「所定の許容範囲」は、構成9の「所定の制御範囲」よりも少なくとも広い。
[12]構成12:
構成1又は構成2に於いて、さらに、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記領域切出手段により切り出される記録領域の占める面積比が所定の制御範囲内に維持されるように、前記占有率算出手段の算出結果に応じて前記ズームレンズ機構を駆動するズーム制御手段と、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と所定結像倍率換算での変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の制御範囲内に維持されるように、前記変位算出手段の算出結果に応じて前記シフトレンズ機構を駆動するシフト制御手段と、
を有することを特徴とする映像記録装置。
構成12は、記録領域が大きくなりすぎて有効画素領域からはみ出たり、小さくなりすぎて保存画像がぼけたりしないように、ズームレンズ機構を制御して記録領域を適切なサイズに維持するとともに、記録領域が有効画素領域の中心から外れすぎて有効画素領域からはみ出てしまわないように、シフトレンズ機構を制御して記録領域を有効画素領域内の適切な位置に維持する構成である。
ズーム制御とシフト制御の何れを主とし、何れを従とするかは、初期設定或いはユーザ設定により、或いは、所定の条件に基づいて、適宜に選択されるものとする。
なお、構成12では、ズームレンズ機構とシフトレンズ機構とを用いているため、記録領域重心が有効画素領域重心から外れた変位量を算出等する場合には、所定結像倍率換算での変位量を用いている。所定結像倍率とは、例えば、1倍である。
[13]構成13:
構成1に於いて、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と所定結像倍率換算での変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
前記ズーム制御手段による駆動後及び/又は前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、及び/又は、前記変位算出手段により算出された重心の所定結像倍率での変位量が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する、
ことを特徴とする映像記録装置。
構成13は、記録領域が大きくなりすぎたり、小さくなりすぎたりした場合には、ズームレンズ機構を制御して記録領域を適切なサイズに戻し、記録領域が有効画素領域の中心から外れすぎた場合(例:記録領域が有効画素領域からはみ出てしまった場合)には、シフトレンズ機構を制御して記録領域を適切な位置(有効画素領域の中心位置)に戻し、その後、再度、特徴画像領域の探索及び記録領域の画定を行って適正なサイズの記録領域を適正な位置から切り出し、その画像を保存画像として記録する構成である。
即ち、構成12が予防的に記録領域のサイズと位置を制御するのに対して、構成13は瑕疵を解消するために記録領域のサイズと位置を制御するものである。したがって、構成13の面積比に関する「所定の許容範囲」は、構成12の面積比に関する「所定の制御範囲」よりも少なくとも広く、構成13の変位量に関する「所定の許容範囲」は、構成12の変位量に関する「所定の制御範囲」よりも少なくとも広い。
なお、構成13では、ズームレンズ機構とシフトレンズ機構とを用いているため、記録領域重心が有効画素領域重心から外れた変位量を算出等する場合には、所定結像倍率換算での変位量を用いている。所定結像倍率とは、例えば、1倍である。
[14]構成14:
構成2に於いて、
前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と所定結像倍率換算での変位量を算出する変位算出手段と、
結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
前記ズーム制御手段による駆動後及び/又は前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
をさらに有し、
前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、及び/又は、前記変位算出手段により算出された重心の所定結像倍率での変位量が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する、
ことを特徴とする映像記録装置。
構成14は、記録領域が大きくなりすぎたり、小さくなりすぎたりした場合には、ズームレンズ機構を制御して記録領域を適切なサイズに戻し、記録領域が有効画素領域の中心から外れすぎた場合(例:記録領域が有効画素領域からはみ出てしまった場合)には、シフトレンズ機構を制御して記録領域を適切な位置(有効画素領域の中心位置)に戻し、その後、再度、特徴画像領域の探索及び記録領域の画定を行って適正なサイズの記録領域を適正な位置から切り出し、その画像を動画の当該画面での保存画像として記録する構成である。
即ち、構成12が予防的に記録領域のサイズと位置を制御するのに対して、構成14は瑕疵を解消するために記録領域のサイズと位置を制御するものである。したがって、構成14の面積比に関する「所定の許容範囲」は、構成12の面積比に関する「所定の制御範囲」よりも少なくとも広く、構成14の変位量に関する「所定の許容範囲」は、構成12の変位量に関する「所定の制御範囲」よりも少なくとも広い。
なお、構成14では、ズームレンズ機構とシフトレンズ機構とを用いているため、記録領域重心が有効画素領域重心から外れた変位量を算出等する場合には、所定結像倍率換算での変位量を用いている。所定結像倍率とは、例えば、1倍である。
構成1の映像記録装置は、有効画素領域の全領域画像をファインダに表示する表示制御手段と、前記ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための指定入力手段と、前記指定入力手段により指定されたロック画像を所定のロック画像メモリに記憶する記憶制御手段と、前記ロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す領域探索手段と、前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す領域切出手段と、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する保存制御手段とを有するため、プロではない一般人であっても、移動する被写体を良好な構図で捕えつつ撮影することができる。
構成2の映像記録装置は、有効画素領域の全領域画像をファインダに表示する表示制御手段と、前記ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための指定入力手段と、所定のロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す領域探索手段と、前記指定入力手段により指定されたロック画像を前記ロック画像メモリに記憶し、前記領域探索手段により探し出された特徴合致領域の画像で前記ロック画像メモリのロック画像を更新する記憶制御手段と、前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す領域切出手段と、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する保存制御手段とを有するため、プロではない一般人であっても、移動する被写体を良好な構図で捕えつつ動画を撮影することができる。
構成5の映像記録装置は、構成1又は構成2の映像記録装置に於いて、前記領域切出手段は、前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定すると該記録領域の1又は2の縁部が当該有効画素領域からはみ出る場合には、該1又は2の縁部が当該有効画素領域の対応する縁部と重なる位置までシフトさせて記録領域を画定するため、構成1又は構成2の装置が持つ効果に加えて、さらに、記録領域が有効画素領域からはみ出てしまう場合に、ズームレンズ機構やシフトレンズ機構の光学系を備えない場合でも、記録領域を有効画素領域内に入れることができる効果がある。
構成6の映像記録装置は、構成1又は2の映像記録装置に於いて、さらに、前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、撮像素子受光面上の結像倍率を変えるズームレンズ機構と、前記領域切出手段により切り出される記録領域の占める面積比が所定の制御範囲内に維持されるように、前記占有率算出手段の算出結果に応じて前記ズームレンズ機構を駆動するズーム制御手段とを有するため、構成1又は2の装置が持つ効果に加えて、さらに、記録領域が大きくなりすぎて有効画素領域からはみ出たり、小さくなりすぎて保存画像がぼけたりしないように、記録領域を適切なサイズに維持することができる効果がある。
構成7の映像記録装置は、構成1の映像記録装置に於いて、前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、撮像素子受光面上の結像倍率を変えるズームレンズ機構と、前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、前記ズーム制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段とをさらに有し、前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録するため、構成1の装置が持つ効果に加えて、さらに、記録領域が大きくなりすぎたり、小さくなりすぎたりした場合に、記録領域を適切なサイズに戻して切り出して、その画像を保存画像として記録することができる効果がある。
構成8の映像記録装置は、構成2の映像記録装置に於いて、前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、撮像素子受光面上の結像倍率を変えるズームレンズ機構と、前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、前記ズーム制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段とをさらに有し、前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録するため、構成2の装置が持つ効果に加えて、さらに、記録領域が大きくなりすぎたり、小さくなりすぎたりした場合に、記録領域を適切なサイズに戻して切り出して、その画像を動画の当該画面での保存画像として記録することができる効果がある。
構成9の映像記録装置は、構成1又は構成2の映像記録装置に於いて、さらに、前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、前記領域切出手段により切り出される記録領域の重心の変位量が所定の制御範囲内に維持されるように、前記変位算出手段の算出結果に応じて前記シフトレンズ機構を駆動するシフト制御手段とを有するため、構成1又は2の装置が持つ効果に加えて、さらに、記録領域が有効画素領域の中心から外れすぎて有効画素領域からはみ出てしまわないように適切な位置に維持することができる効果がある。
構成10の映像記録装置は、構成1の映像記録装置に於いて、前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段とをさらに有し、前記保存制御手段は、前記変位算出手段により算出された重心の変位量が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録するため、構成1の装置が持つ効果に加えて、さらに、記録領域が有効画素領域の中心から外れすぎた場合に適切な位置に戻して切り出して、その画像を保存画像として記録することができる効果がある。
構成11の映像記録装置は、構成2の映像記録装置に於いて、前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段とをさらに有し、前記保存制御手段は、前記変位算出手段により算出された重心の変位量が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録するため、構成2の装置が持つ効果に加えて、さらに、記録領域が有効画素領域の中心から外れすぎた場合に適切な位置戻して切り出して、その画像を動画の当該画面での保存画像として記録することができる効果がある。
構成12の映像記録装置は、構成6と構成9の映像記録装置の構成を併せ持つため、それらの相乗効果を奏することができる。
構成13の映像記録装置は、構成7と構成10の映像記録装置の構成を併せ持つため、それらの相乗効果を奏することができる。
構成14の映像記録装置は、構成8と構成11の映像記録装置の構成を併せ持つため、それらの相乗効果を奏することができる。
以下、図面を参照して本発明の具体的構成例を説明する。
図7(a)は本発明の映像記録装置の機能を備えたデジタルカメラの構成を示し、図1は該デジタルカメラでの動画撮影手順を示す。また、図2〜図6は、図1内に示す手順の詳細を示す説明図である。
[1]撮影手順の概要:
図1に即して、撮影手順(1)〜(10)の概要を説明する。
(1)被写体の選択・ロック画像の生成:
ユーザは、デジタルカメラのファインダ(図2右欄参照)を見ながら所望の被写体をロック枠(図2左上欄内の点線円)内に入れる。
所望の被写体がロック枠内に入ると、ユーザはロックキー(不図示;図7(a)の入力装置20の一構成部分)を操作する。これにより、当該被写体がロックされる。即ち、制御装置70は、ロック枠を含む最小の方形領域(図2左下欄内の方形領域)内の画像をロック画像として切り出して、記憶装置50内の所定の記憶エリアであるロック画像メモリ51に格納する。この時、併せて、有効画素領域内に於けるロック画像の重心位置を記憶して、パターンマッチング(後述)での探索領域の開始位置制御に利用するようにしてもよい。記憶装置50としては、フラッシュメモリ、DRAM、ハードディスク等の公知のハードウエアを用いることができる。
(2)撮影開始:
ユーザは、撮影開始キー(不図示;図7(a)の入力装置20の一構成部分,動画撮影モードではロックキーと兼用でもよい)を操作する。これにより、制御装置70は、撮影動作のための処理を開始する。
(3)有効画素領域の画像(全領域画像)の生成:
制御装置70は、撮像装置10から出力される有効画素領域全域の画像信号を画像処理回路に入力して、公知の画像処理を施す。これにより、有効画素全領域の画像データ(全領域画像の画像データ)が生成される。データ形式や符号化方式等は、適宜に選択できるものとする。例えば、MPEGを用いてもよい。この画像データは、記憶装置50の所定のエリアに一時的に記憶される。
(4)探索処理用の低解像度画像生成:
パターンマッチングの処理負荷軽減のために、制御装置70は、上記有効画素全領域の画像データに基づいて、低解像度の画像データを領域探索用に生成する。この手法としては、例えば、単純サンプリング法や、平均化処理等、公知の解像度変換処理を用いることができる。他に、例えば、「Motion−JPEG 2000」のウェーブレットという多重解像度技術を用いることもできる。なお、制御装置70の処理能力が十分に高い場合には、領域探索用の低解像度の画像データを生成せず、上記有効画素全領域の画像データをそのまま用いてもよい。
(5)パターンマッチング・特徴合致領域の抽出・ロック画像の更新:
次に、制御装置70は、ロック画像メモリ51に格納されているロック画像データを用いて、上記低解像度画像データから、特徴が合致する領域(正確には、「最も一致度が大きい領域」)を、パターンマッチングで抽出する。このパターンマッチングの手法としては、形状パターンの比較、色情報の比較、ニューラルネットワークの使用、ウェーブレットの使用等、公知のパターンマッチング手法を用いることができる。
また、パターンマッチング時の処理負荷を軽減するために、有効画素領域内に於けるロック画像の位置の近傍から探索を開始するようにしてもよい。そのためには、ロック画像の画像データとともに、その重心位置(有効画素領域内での重心位置)を、ロック画像メモリ51に記憶しておく必要がある。
また、探索を行うフレームが非先頭画像の場合には、パターンマッチングによるロック画像の抽出に代えて、前回フレーム(直前の画像)との差分画像の情報からロック画像を抽出してもよい。例えば、MPEGの動き補償と動き予測ベクトルを利用して被写体を抽出する手法が、「情報処理学会誌・2002年3月・早稲田大学理工学部・電子情報通信学科・「動き補償と色情報を組み合わせたMPEG映像からの人物領域抽出」」に記載されており、このような手法を用いてもよい。
特徴合致領域が抽出されると、制御装置70は、当該特徴合致領域の画像データで、ロック画像メモリ51のロック画像データを更新する。この時、重心位置も更新するものとする。こうして更新されたロック画像は、次のフレームでの特徴合致領域の探索に用いられる。このようにロック画像を更新するため、被写体の時間軸上での微小変化(図2に例示する被写体であれば、手足の動きに伴う変動等)を取り入れたロック画像を用いて探索を行うことができ、探索の精度を上げることができる。
(6)記録領域の画定(構図の検討):
特徴合致領域が抽出されると、制御装置70は、当該特徴合致領域が記録領域内の所定部位に位置し、且つ、当該特徴合致領域が記録領域内で所定の面積比を占めるように、記録領域を有効画素領域内に画定する。換言すれば、当該特徴合致領域が記録領域内に所定の構図で配置されるように記録領域を画定する。ここで、特徴合致領域が置かれるべき記録領域内の位置と、特徴合致領域が記録領域内で占有すべき面積比とは、初期設定又はユーザ設定により予め決められているものとする。また、記録領域のサイズも、初期設定又はユーザ設定により予め決められているものとする。
図3を参照して説明する。図3の上欄左右の各図に於いて、最外枠は有効画素領域を示し、最内枠は特徴合致領域を示す。また、中間枠は記録領域のサイズを示す。
図3の上左欄に示すように、特徴合致領域が、有効画素領域内の右寄り略中央高さの位置にて抽出されたものとして説明する。
従来(特許文献2:特開2003−158684号公報)の動画フレームの作成手法では、有効画素領域内中央から所定サイズの領域(図3の上左欄の中間枠の領域)を切り出して、記録領域としている。したがって、当該動画フレームは、図3の下左欄に示すように、特徴合致領域が記録領域内の右端位置に配置される構図となる。
これに対して、本装置では、記録領域の有効画素領域内の位置を有効画素領域に対して決めるのではなく、特徴合致領域の記録領域内での位置と、特徴合致領域が記録領域内で占める面積比とに基づいて決めている。例えば、図3の上右欄の例では、特徴合致領域の重心を、左右方向では記録領域左辺を起点として5/8の位置、上下方向では上辺を起点として1/2の位置として決めるとともに、特徴合致領域の面積を、サイズが所定値である記録領域の0.28として決めている。したがって、切り出されるフレームは、図3の下右欄に示すように、特徴合致領域の重心が記録領域左辺を起点として右へ5/8で記録領域上辺を起点として下へ1/2の位置にあり、且つ、記録領域の0.28の面積を占める構図となる。
制御装置70は、このように記録領域を画定して切り出し(図4参照)、その画像を当該フレームの保存画像として保存画像メモリ52に記録する。
(7)補正処理:
図3や図4に示す例では、上記のように画定した記録領域が、有効画素領域内からはみ出ていない。しかし、図5に示すように、特徴合致領域が有効画素領域の端部で抽出された場合には、記録領域を画定しようとしても有効画素領域からはみ出てしまうために画定できない場合が生ずる。
このような場合の補正手法と適用対象フレームを説明する。
(7-1) 構図を犠牲にする手法(デジタル補正):
図5に示すように、記録領域を本来の位置(図5の中央図の破線枠の位置)からシフトさせて有効画素領域内に入れて、画定する手法。この場合、構図(記録領域内に於ける特徴合致領域の位置)は若干犠牲になる(図5の右図参照)が、全領域画像を再取得することなく当該フレームを作成することができるため、当該フレーム作成のために「(3)全領域画像の取得処理〜(6)記録領域の画定処理」を繰り返す必要がない。
さらに、この補正に於いて、図5内右下図に示すように、カメラを向けるべき方向をファインダに表示して、ユーザの操作を促してもよい。
(7-2) 結像倍率を制御する手法(光学補正1):
より大きな物体が撮像素子の受光面に結像されるように、結像倍率を小さくする手法である。これにより、有効画素領域には、より広範囲の物体が投影され、その結果、特徴合致領域が所定部位に所定面積比で含まれる記録領域を、有効画素領域からはみ出ることなく画定できるようになる。
結像倍率を制御する手法は、また、被写体が遠方に遠ざかってしまって小さくなりすぎた場合に、適切なサイズで撮像素子の受光面に結像されるように、結像倍率を大きくする手法としても用い得る。これにより、所望の被写体が適正なサイズで受光面に投影されるようになるため、保存画像生成時(後述)にデジタル処理で過度に像を拡大する必要がなくなり、ぼけの無い保存画像を得ることができる。
結像倍率の変更は、図9に示すように、焦点距離の変更により実現できる。
図9に於いて「l1:d1=l2:d2」が成り立つ。つまり、CCD上での大きさd2は、「d2=(l2*d1)/l1」と表される。
したがって、下記(イ)(ロ)のように言い得る。
(イ)被写体サイズd1と焦点距離l2が固定の時、像サイズd2が半分のサイズになった場合とは、被写体までの距離l1が2倍になった場合である。言い換えれば、被写体サイズd1と焦点距離l2が固定の時、被写体までの距離l1が2倍になると、像サイズd2は半分になる。この関係を、図9内下図に示す。
(ロ)被写体サイズd1が固定の時に被写体までの距離l1が2倍になっても、像サイズd2が変わらないようにするためには、焦点距離l2を2倍にすればよい。
このような関係があるため、例えば、より広範囲の物体を投影するべく結像倍率を1/2にしたい場合には、焦点距離を1/2にすればよい。また、遠方に遠ざかってしまったために受光面上のサイズ(線サイズ)が1/2になってしまった被写体を当初のサイズで表示するためには、図10に示すように、結像倍率を2倍にするべく、焦点距離を2倍にすればよい。
焦点距離の変更を実現するため、本装置は、図7(b)に示すようなズーム機構71aを光学部11に有するとともに、ズーム機構71aの駆動を制御する機能(ズーム制御部71)を、制御装置70に有する。図7(b)に於いて、一対の凸レンズ111、113間の距離を固定し、その間に配した凹レンズ112を二点鎖線両矢印のように移動させることで、可変焦点レンズ(ズームレンズ)を実現することができる。
なお、結像倍率を変更すると、追跡対象物体等の投影像のスケールが、ロック画像のスケールと異なってしまうため、これを補償する下記二つの処理が必要となる。
(7-2-1) ロック画像のサイズを上記結像倍率の変更に適合するように変更して、パターンマッチングに支障が生じないようにする処理。ロック画像のサイズを結像倍率の変更に適合するように変更する手法は、特許文献1(特開2003−235035号公報)に記載されていて公知であるため、説明は省略する。
(7-2-2) 記録領域のサイズを上記結像倍率の変更に適合するように変更して、縮小後の特徴合致領域が、記録領域内の所定部位に所定面積比で配置されるようにする処理。例えば、結像倍率を1/2にした場合は、特徴合致領域の各辺のサイズが各々1/2となってしまうため、記録領域の各辺のサイズも各々1/2にすればよい。
(7-3) 撮影方向を制御する手法(光学補正2):
追跡対象物体が有効画素領域内の略中央に投影されるように、撮影方向を変える手法である。撮影方向を変えて、有効画素領域の略中央に追跡対象物体が投影されるようにすると、特徴合致領域(追跡対象物体の投影像)を非端部に含む記録領域も有効画素領域の略中央に画定できるようになり、結果、そのはみ出しを回避できるようになる。
撮影方向の変更は、結像レンズを光軸と直交する方向へシフトさせることにより実現できる。図8を参照して説明する。
図8に於いて、110は光軸Lと直交する方向へ変位可能に構成された結像レンズ(シフトレンズ)であり、72aは結像レンズ110をシフトさせるシフト機構である。シフト機構72aは、制御装置70の機能であるシフト制御部72により駆動制御される。なお、11は結像レンズ等を有する光学部である。
結像レンズ110を光軸Lと直交する方向へ距離「S」だけシフトさせると、撮像素子12に投影される物体の方向がθだけ変わる。ここで、Sとθには、
「S=k*sinθ」・・・・・(1)
の関係が成り立つ。なお、kは結像レンズ110に固有の定数である。
本装置はこのような構成を有するため、シフト制御部72により結像レンズ110のシフト量Sを適宜に制御することにより、撮影方向を所望の方向へ変えることができる。即ち、追跡対象物体を撮像素子12の略中央に投影して、記録領域を有効画素領域の略中央に画定し、そのはみ出しを回避することができる。
(7-4) 補正の適用対象フレーム:
デジタル補正は、先述のように、当該フレームに対して適用される。
これに対して、光学補正1と光学補正2は、当該フレームに対して適用してもよく、次フレームに対して適用してもよい。
光学補正1及び/又は光学補正2を当該フレームに対して適用する場合、つまり、結像倍率及び/又は撮影方向を補正した後の全領域画像に基づいて当該フレームの保存画像を作成する(保存画像の作成は後述)場合には、「(3)全領域画像の取得処理〜(6)記録領域の画定処理」を繰り返す必要があるため、処理時間が長くなる。
一方、光学補正1や光学補正2を次フレームに対して適用する場合には、上記のように処理時間が長くなることはないが、当該フレームを補正できない結果として、保存画像を最適な構図では作成できないという不具合がある。また、ズーム倍率の変更量の算出やシフト方向及びシフト量の算出に用いた画像が現在の画像であり、次フレームの時刻での追跡対象物体の位置や投影像のサイズ等に基づくものではないため、次フレームでの追跡対象物体の位置等を正確に補正するためには、次フレームの時刻での追跡対象物体の位置等を予測する必要が生ずる。図6に、このことを図解する。
図示のように、次フレームでの追跡対象物体が撮像素子12の受光面上に投影される位置やサイズは、今回を含む過去の数フレームでの投影像の位置やサイズに基づいて予測することが可能である。上記の補正は、このことを考慮して行うこととする。
(7-5) 補正の閾値:
デジタル補正に関しては、記録領域を有効画素領域内に画定できなくなった時点で行えばよい。なお、ユーザにカメラ方向をアシストする表示に関しては、記録領域を有効画素領域内に画定できなくなる可能性が生じた時点で行うようにしてもよい。例えば、記録領域の縁が有効画素領域の縁から所定の値(例:1/6程度)になった時点で、アシスト表示を行うように設定すればよい。
光学補正1と光学補正2に関しては、記録領域を有効画素領域内に画定できなくなった時点で行ってもよく、記録領域を有効画素領域内に画定できなくなる可能性が生じた時点で行うように構成してもよい。前者は、前記構成7,8,10,11,13,14の許容範囲である。また、後者は、前記構成6,9,12の制御範囲である。前者のように、前記構成7,8,10,11,13,14の許容範囲を閾値として用いて制御すると、光学補正(ズーム動作やレンズシフト動作)を行う回数が減るため、バッテリーの消費量を低減できる。一方、後者のように、前記構成6,9,12の制御範囲を閾値として用いて制御すると、殆どの場合に最適な構図で保存画像を作成することができる。
(8)(9)記録領域の画像(保存画像)の生成と記録:
記録領域が画定されると、当該画定した記録領域を図4や図5のように有効画素領域から切り出して画像(保存画像)を生成し、保存画像メモリ52に記録する。動画の場合は直前の保存画像に続く保存画像として記録する。なお、MPEG等の符号化方式を用いる場合には、当該符号化方式に適合する形式で記録する。
保存画像のサイズは予め定められているものとする。したがって、切り出した記録領域のサイズが保存画像のサイズと異なる場合には、公知の解像度変換処理(例:単純サンプリング法,平均化処理,線型補間法,荷重平均補間法,等)を施してサイズを先行の保存画像に合わせた後、保存画像メモリ52に格納する。
(10)撮影終了:
ユーザの操作入力又はデジタルカメラの設定等で撮影が終了するまで、上記「(3)全領域画像の生成〜(9)保存画像メモリへの記録」を繰り返して実行する。
このようにして、所望の構図での撮影が行われる。
本発明の映像記録装置の機能を備えたデジタルカメラでの動画撮影手順を示すフローチャート。 図1内に示す手順「(1)被写体の選択とロック画像の生成」の解説に用いる説明図。 図1内に示す手順「(6)記録領域画定のための構図の検討」の解説に用いる説明図。 図1内に示す手順「(6)記録領域画定と切り出し(シフト無し)」の解説に用いる説明図。 図1内に示す手順「(6)記録領域画定と切り出し(シフト有り)」の解説に用いる説明図。 図1内に示す手順「(7)補正処理(ズーム倍率・撮影方向の予測)」の解説に用いる説明図。 (a)は本発明の映像記録装置の機能を備えたデジタルカメラの構成を示すブロック図、(b)はズーム機構の構成を示す模式図。 シフト機構の説明図であり、(a)はシフト機構の構成説明図、(b)はシフトレンズの移動方向を光軸直交方向から見た説明図、(c)はシフトレンズの移動方向を光軸方向から見た説明図、(d)はレンズのシフト量と撮影方向の関係を示す説明図。 ズーム倍率と焦点距離等との関係を示す説明図。 ズーム倍率及び焦点距離と撮像素子の受光面上での投影像のサイズとの関係を例示する説明図。
符号の説明
10 撮像装置
11 光学部
12 撮像素子(CCD,CMOS等)
71a ズーム機構
72a シフト機構

Claims (14)

  1. 有効画素領域の全領域画像をファインダに表示する表示制御手段と、
    前記ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための指定入力手段と、
    前記指定入力手段により指定されたロック画像を所定のロック画像メモリに記憶する記憶制御手段と、
    前記ロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す領域探索手段と、
    前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す領域切出手段と、
    前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する保存制御手段と、
    を有することを特徴とする映像記録装置。
  2. 有効画素領域の全領域画像をファインダに表示する表示制御手段と、
    前記ファインダに表示されている全領域画像の所望の部位をロック画像として指定するための指定入力手段と、
    所定のロック画像メモリのロック画像と特徴が合致する画像の領域を処理対象の有効画素領域内から探し出す領域探索手段と、
    前記指定入力手段により指定されたロック画像を前記ロック画像メモリに記憶し、前記領域探索手段により探し出された特徴合致領域の画像で前記ロック画像メモリのロック画像を更新する記憶制御手段と、
    前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定して当該有効画素領域から切り出す領域切出手段と、
    前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する保存制御手段と、
    を有することを特徴とする映像記録装置。
  3. 請求項1又は請求項2に於いて、
    前記保存制御手段は、前記領域切出手段により切り出された記録領域の画像を所定サイズの画像として記録する、
    ことを特徴とする映像記録装置。
  4. 請求項2に於いて、
    前記保存制御手段は、前記直前に記録された保存画像に続く各保存画像のサイズを前記先頭の保存画像のサイズに合致させて記録する、
    ことを特徴とする映像記録装置。
  5. 請求項1又は請求項2に於いて、
    前記領域切出手段は、前記領域探索手段により探し出された特徴合致領域が記録領域内所定部位で所定面積比を占めるように記録領域を画定すると該記録領域の1又は2の縁部が当該有効画素領域からはみ出る場合には、該1又は2の縁部が当該有効画素領域の対応する縁部と重なる位置までシフトさせて記録領域を画定する、
    ことを特徴とする映像記録装置。
  6. 請求項1又は請求項2に於いて、さらに、
    前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
    撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
    前記領域切出手段により切り出される記録領域の占める面積比が所定の制御範囲内に維持されるように、前記占有率算出手段の算出結果に応じて前記ズームレンズ機構を駆動するズーム制御手段と、
    を有することを特徴とする映像記録装置。
  7. 請求項1に於いて、
    前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
    撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
    前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
    前記ズーム制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
    をさらに有し、
    前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する、
    ことを特徴とする映像記録装置。
  8. 請求項2に於いて、
    前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
    撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
    前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
    前記ズーム制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
    をさらに有し、
    前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する、
    ことを特徴とする映像記録装置。
  9. 請求項1又は請求項2に於いて、さらに、
    前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、
    結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
    前記領域切出手段により切り出される記録領域の重心の変位量が所定の制御範囲内に維持されるように、前記変位算出手段の算出結果に応じて前記シフトレンズ機構を駆動するシフト制御手段と、
    を有することを特徴とする映像記録装置。
  10. 請求項1に於いて、
    前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、
    結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
    前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
    前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
    をさらに有し、
    前記保存制御手段は、前記変位算出手段により算出された重心の変位量が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する、
    ことを特徴とする映像記録装置。
  11. 請求項2に於いて、
    前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と変位量を算出する変位算出手段と、
    結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
    前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
    前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
    をさらに有し、
    前記保存制御手段は、前記変位算出手段により算出された重心の変位量が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する、
    ことを特徴とする映像記録装置。
  12. 請求項1又は請求項2に於いて、さらに、
    前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
    撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
    前記領域切出手段により切り出される記録領域の占める面積比が所定の制御範囲内に維持されるように、前記占有率算出手段の算出結果に応じて前記ズームレンズ機構を駆動するズーム制御手段と、
    前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と所定結像倍率換算での変位量を算出する変位算出手段と、
    結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
    前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の制御範囲内に維持されるように、前記変位算出手段の算出結果に応じて前記シフトレンズ機構を駆動するシフト制御手段と、
    を有することを特徴とする映像記録装置。
  13. 請求項1に於いて、
    前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
    撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
    前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
    前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と所定結像倍率換算での変位量を算出する変位算出手段と、
    結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
    前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
    前記ズーム制御手段による駆動後及び/又は前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
    をさらに有し、
    前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、及び/又は、前記変位算出手段により算出された重心の所定結像倍率での変位量が所定の許容範囲に入っていることを条件に、前記領域切出手段により切り出された記録領域の画像を当該有効画素領域での保存画像として所定の保存画像メモリに記録する、
    ことを特徴とする映像記録装置。
  14. 請求項2に於いて、
    前記領域切出手段により切り出された記録領域が当該有効画素領域内で占める面積比を算出する占有率算出手段と、
    撮像素子受光面上の結像倍率を変えるズームレンズ機構と、
    前記占有率算出手段により算出された面積比が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の占める面積比が前記許容範囲に入るように前記ズームレンズ機構を駆動するズーム制御手段と、
    前記領域切出手段により切り出された記録領域の重心が当該有効画素領域の重心から外れた変位方向と所定結像倍率換算での変位量を算出する変位算出手段と、
    結像レンズを光軸直交方向へシフトさせるシフトレンズ機構と、
    前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲を外れた場合は、前記領域切出手段により切り出される記録領域の重心の所定結像倍率換算での変位量が所定の許容範囲に入るように前記シフトレンズ機構を駆動するシフト制御手段と、
    前記ズーム制御手段による駆動後及び/又は前記シフト制御手段による駆動後に撮像素子から出力される有効画素領域の画像データを前記領域探索手段へ処理対象として与える再処理制御手段と、
    をさらに有し、
    前記保存制御手段は、前記占有率算出手段により算出された面積比が所定の許容範囲に入っていることを条件に、及び/又は、前記変位算出手段により算出された重心の所定結像倍率での変位量が所定の許容範囲に入っていることを条件に、前記ロック画像メモリのロック画像が未更新のロック画像である場合は前記領域切出手段により切り出された記録領域の画像を先頭の保存画像として所定の保存画像メモリに記録し、更新後のロック画像である場合は直前に記録された保存画像に続く保存画像として記録する、
    ことを特徴とする映像記録装置。
JP2004077282A 2004-03-17 2004-03-17 映像記録装置 Ceased JP2005269121A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004077282A JP2005269121A (ja) 2004-03-17 2004-03-17 映像記録装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004077282A JP2005269121A (ja) 2004-03-17 2004-03-17 映像記録装置

Publications (1)

Publication Number Publication Date
JP2005269121A true JP2005269121A (ja) 2005-09-29

Family

ID=35093206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004077282A Ceased JP2005269121A (ja) 2004-03-17 2004-03-17 映像記録装置

Country Status (1)

Country Link
JP (1) JP2005269121A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011132552A1 (ja) * 2010-04-22 2011-10-27 コニカミノルタホールディングス株式会社 情報処理装置、プログラム、情報処理方法、および情報処理システム
JP2014082764A (ja) * 2013-11-01 2014-05-08 Sony Computer Entertainment Inc 画像表示装置、画像表示方法、サーバ装置、および画像データ構造
US9124867B2 (en) 2010-10-05 2015-09-01 Sony Corporation Apparatus and method for displaying images
JP2016046580A (ja) * 2014-08-20 2016-04-04 キヤノン株式会社 撮像装置およびその制御方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011132552A1 (ja) * 2010-04-22 2011-10-27 コニカミノルタホールディングス株式会社 情報処理装置、プログラム、情報処理方法、および情報処理システム
JP5327381B2 (ja) * 2010-04-22 2013-10-30 コニカミノルタ株式会社 情報処理装置、プログラム、および情報処理システム
US9335622B2 (en) 2010-04-22 2016-05-10 Konica Minolta Holdings, Inc. Information processing device and information processing system
US9124867B2 (en) 2010-10-05 2015-09-01 Sony Corporation Apparatus and method for displaying images
US9497391B2 (en) 2010-10-05 2016-11-15 Sony Corporation Apparatus and method for displaying images
JP2014082764A (ja) * 2013-11-01 2014-05-08 Sony Computer Entertainment Inc 画像表示装置、画像表示方法、サーバ装置、および画像データ構造
JP2016046580A (ja) * 2014-08-20 2016-04-04 キヤノン株式会社 撮像装置およびその制御方法

Similar Documents

Publication Publication Date Title
USRE48552E1 (en) Method and system for image construction using multiple exposures
US8274572B2 (en) Electronic camera capturing a group of a plurality of specific objects
JP2008092297A (ja) 画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体
KR20090071471A (ko) 촬상 장치 및 그 셔터 구동 모드 선택 방법
JP2008236645A (ja) 撮影装置
JP2005252657A (ja) 電子スチルカメラ
JP5228354B2 (ja) ディジタルカメラ
US7423671B2 (en) Image pickup apparatus and photographing method with image angle correction for combining image data
JP2005215388A (ja) 交換レンズ及びそれを用いたカメラシステム
JP2009212804A (ja) 構図アシスト機能付き撮像装置及び該撮像装置における構図アシスト方法
JP2007129310A (ja) 撮像装置
JP2006091915A (ja) 撮像装置
JP2006067452A (ja) 映像記録装置、および電子カメラ
US8310551B2 (en) Digital photographing apparatuses for controlling hand shake correction and methods of controlling the digital photographing apparatus
JP2009212802A (ja) 構図アシスト機能付き撮像装置及び該撮像装置における構図アシスト方法
JP5014267B2 (ja) 撮像装置
JP2010193324A (ja) カメラ装置、及びその撮影方法とプログラム
JP2005269121A (ja) 映像記録装置
JP2003241065A (ja) オートフォーカスシステム
JP2008146024A (ja) 撮影装置及び撮影方法
JP2017161649A (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP4807623B2 (ja) 撮像装置、撮像方法及び撮像プログラム
JP2015233211A (ja) 撮像装置およびその制御方法ならびにプログラム
JP2008053787A (ja) 多眼電子カメラ及び多眼電子カメラの視差補正方法
JP2011059977A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070307

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080801

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20080829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100126

A045 Written measure of dismissal of application [lapsed due to lack of payment]

Free format text: JAPANESE INTERMEDIATE CODE: A045

Effective date: 20100525