JP2004080427A - 撮像装置、及び画像形式変換方法 - Google Patents
撮像装置、及び画像形式変換方法 Download PDFInfo
- Publication number
- JP2004080427A JP2004080427A JP2002238401A JP2002238401A JP2004080427A JP 2004080427 A JP2004080427 A JP 2004080427A JP 2002238401 A JP2002238401 A JP 2002238401A JP 2002238401 A JP2002238401 A JP 2002238401A JP 2004080427 A JP2004080427 A JP 2004080427A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- recording
- display
- format conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】本発明は、記録用画像データのフレームレートを増加させることが可能な撮像装置を提供することを目的とする。
【解決手段】画像データ取得部(201)で順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と(203)、前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段(205)と、前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数が前記画像形式変換手段で単位時間当りに生成されるスルー画表示用画像データの画像枚数よりも上回る設定を有する画像変換条件設定手段(211)と、前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段(213)と、を有する撮像装置。
【選択図】 図2
【解決手段】画像データ取得部(201)で順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と(203)、前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段(205)と、前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数が前記画像形式変換手段で単位時間当りに生成されるスルー画表示用画像データの画像枚数よりも上回る設定を有する画像変換条件設定手段(211)と、前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段(213)と、を有する撮像装置。
【選択図】 図2
Description
【0001】
【発明の属する技術分野】
本発明は、撮像してバッファメモリに一時記憶された元画像データを基に記録用画像データを生成する画像生成技術に関し、特に、バッファメモリに逐次一時記憶される複数の画像データから逐次記録用画像データを生成する撮像装置、及びその生成のための画像形式変換方法に関する。
【0002】
【従来の技術】
被写体を撮像し、撮像した被写体の画像をデジタルデータとして記録する装置にデジタルカメラが知られている。デジタルカメラは、銀塩カメラで従来から行なわれてきたアナログの撮影をデジタルで行なえるように構成されたものであり、静止画像撮影を行なうために利用されることが一般的である。
【0003】
しかし、近年の信号処理の高速化や、メモリの小型化や、圧縮技術の高度化などに伴い、静止画像のみならず動画像をデジタルで撮影する機能を合わせ持つデジタルカメラが多く存在している。
動画像をデジタルで撮影する機能と言えば、通常、デジタルビデオカメラに代表される機能であるが、このデジタルビデオカメラによる動画像撮影とデジタルカメラによる動画像撮影とでは撮影された動画像の利用目的が異なるためそれぞれの撮影で生成されるデジタルデータの生成方式が異なっている。動画像は一般的にデータ量が膨大であるにもかかわらずデータの処理能力が限られたハードウエア環境下で撮影や再生が実現されなければならないため種々の圧縮処理がなされている。そして、この圧縮処理の圧縮方式が、デジタルビデオカメラで撮影された動画像とデジタルカメラで撮影された動画像との異なる利用目的によって、異なっている。
【0004】
デジタルビデオカメラの動画像撮影はその名の通り動画像としての利用を目的としているため、このデジタルビデオカメラで撮影される動画像には、動画像の1フレーム目のデータをもとに、2フレーム目はそれと違う部分だけ、3フレーム目は2フレーム目と違う部分だけと、直前のフレームとの差分を記録するなどして圧縮をかけるMPEGと呼ばれる高圧縮方式が採用されている。この圧縮方式は、動画像を動画として見ることに優れている反面、フレーム毎の利用や編集には不向きである。
【0005】
それに対して、デジタルカメラの動画像撮影は、動画像を構成する各フレームを静止画像として構成させてフレーム単位の利用を図ることを目的としているため、デジタルカメラで撮影される動画像には、通常の静止画像で利用されるJPEGと同様にフレーム単位で圧縮をかけるモーションJPEGという圧縮方式が採用され、この圧縮方式で撮影された各フレームを、時系列順に撮影時と同じ時間間隔で再生させることで動画像を形成している。
【0006】
このように生成される動画像は、撮影時と同じフレームレートの30(frame/sec)で記録されることが望ましい。
ところが、後者のデジタルカメラは静止画撮影を主として構成されており、動画像撮影で必要とされる逐次的なフレーム処理においては、小型化の波を受けたハードウエア構成の制限やこれをカバーするソフトウエアのアルゴリズムの開発の遅れなどから必ずしも所望の処理スピード(フレームレート)が得られてはいない。そのため、撮影により記録させるフレームレートを上記のように設定しようとするといくつかの問題が生じてしまう。
【0007】
ここで、上述したフレーム処理のタイミングを以下に図を追って説明する。
一般的にデジタルカメラでは、先ず始めに、被写体像がCCDなどの撮像素子により電気信号に変換され、この電気信号がゲイン調整回路やノイズ除去処理回路で各処理を経てA/D変換回路でデジタルデータに変換され、このデジタルデータは記憶領域に制限のある例えばDRAM(Dynamic Random Access Memory)などの一時記憶部にデジタルデータ(元画像データ)として一時的に記憶される。この元画像データは、一時記憶部から読み出され、デジタルカメラ本体に構成される例えば液晶などの表示部への表示用として画像形式が変換され、スルー画表示用画像データ(以下、表示用画像データとする。)として生成される。また、同一の元画像データは、デジタルカメラ本体に対して着脱可能なメモリカードなどの記録部への記録用として画像形式が変換され、記録用画像データとして生成される。そして、生成された表示用画像データはその都度表示部に表示され、生成した記録用画像データは所定のタイミングで記録部に記録される。動画像撮影では、被写体が撮像素子から逐次取り込まれ、上記処理が繰り返し行なわれている。
【0008】
図19は、以上のような従来のデジタルカメラで検討されたフレーム処理のタイミングの一例を示した図である。
同図は、一時記憶部に逐次記憶される被写体の元画像データ全てに対して逐次表示用及び記録用の画像形式変換処理が行なわれる場合のタイムチャートである。
【0009】
なお、同図では、一時記憶部へ被写体の1フレーム分の元画像データが書き込まれてから次のフレーム分の元画像データが一時記憶部へ書き込まれるまでの時間をΔinとし、一時記憶部へ記憶された元画像データを読み出して1フレーム分を表示用画像データに変換するまでの時間(ΔoutA)と一時記憶部へ記憶されたその元画像データを読み出して記録用画像データに変換するまでの時間(ΔoutB)とを合わせた時間をΔoutとする。
【0010】
また、同図はΔin<Δout<2*Δin(*は積を示す演算記号である。)の関係を前提としている。
同図に示す六角形のボックスは、動画像の1フレームを単位とする処理を示し、同図の時間軸t方向に対してそのボックスの処理時間と処理順が対応している。
【0011】
同図の上段は、一時記憶部に逐次記憶される元画像データを時間軸t方向にフレーム単位で時系列順に並べた様子が示されている。同図の様子を各フレームの切り替わる点である時間軸t上のアルファベットの大文字(A点、B点、・・・)で示すと、一時記憶部では、時間軸t上のA点で、フレーム1の元画像データの一時記憶を完了し、続けてフレーム2の記憶を開始し始め、その後も同様に、後続するフレームを逐次一時記憶していく。
【0012】
同図の下段は、上段の各ボックスで示されるフレーム単位の各元画像データに対して施される表示用画像形式変換処理及び記録用画像形式変換処理が同図の時間軸t方向に対応してこの順で示されている。
なお、各フレーム単位の元画像データに対する記録用画像形式変換処理が終わる時刻を時間軸t上にアルファベットの小文字(a点、b点、・・・)で示すものとする。
【0013】
同図の下段においては、時間軸t上のA点で一時記憶の完了した同図の上段に示すフレーム1の元画像データに対して、この時点から表示用画像変換処理及び記録用画像変換処理がこの順に行なわれている様子が示されている。フレーム1の記録用画像形式変換処理が終わる時刻は時間軸t上のa点で示され、Δin<Δout<2*Δinの関係からこのa点では、同図の上段に示すように一時記憶部へのフレーム2の記憶が完了してフレーム3の記憶が既に開始されている。同図の下段に示すように、a点でフレーム1の記録用画像形式変換処理を終えるとすぐにフレーム2の表示用画像形式変換処理が開始され、さらに、フレーム2の記録用画像形式変換処理も行なわれる。そして、後続する各フレームに対しても以上に示した表示用及び記録用の画像形式変換処理がこの順で繰り返されている。
【0014】
同図の上段及び下段の比較から明らかなように、表示用画像形式変換処理が終了する時点とその表示用画像形式変換処理の対象となる元画像データが一時記憶される時点との間では、時間が経過するに連れて、遅延が進む。
この結果、表示用画像形式変換処理によって生成された表示用画像データをその都度表示部に更新表示させて形成される表示部の動画像は実際に撮影している動画像よりも前に撮影した動画像となり、時間の経過と共に実際に撮影している動画像と表示部に表示させる動画像との時間差が大きくなることから、撮影者に対して混乱や動画像撮影の不便さを招いてしまうこととなる。
【0015】
また、上述したように一時記憶部の記憶領域には限界があるため、逐次撮像されてデジタル変換された元画像データを記憶する一時記憶部に記憶領域不足が生ずると、次に一時記憶される元画像データが、最初に記憶された一時記録部の格納場所から格納順に、上書きされてしまう。そして、格納場所にあった元画像データが上書きされるまでの間にその元画像データに対する記録用画像データの生成を行なわなければ、その元画像データを再度復元することはできなくなる。
【0016】
すなわち、図19の上段に示す各ボックスの番号▲1▼から▲3▼を、一時記憶部で記憶できる各格納場所の格納順序を示した番号とすると、フレーム4の元画像データはフレーム1の元画像データが格納されている格納場所▲1▼に上書き処理されることとなる。図19に示す例では、フレーム1の格納場所▲1▼の最初の書き換えが開始される時間軸t上のC点よりも前にフレーム1の記録用画像形式変換処理は終了しているため、C点では限られた記憶領域という点での問題は発生しない。しかし、処理が進んで時間軸t上のD点に達すると、フレーム2の元画像データを記録用画像形式変換処理中に、フレーム2の元画像データが一時記憶されている格納場所▲2▼は、フレーム5の元画像データで上書き処理が開始され、D点以後の記録用画像形式変換処理で生成される記録用画像データはフレーム2とフレーム5が混在した異常なものとなってしまう。そして、後続処理される記録用画像データや、もちろん表示用画像データにおいても、上記処理を受けて使いものにならなくなってしまう。
【0017】
この問題を回避するために1フレーム当りのデータ量を減らして、Δoutを小さく抑えてフレームレートを上げる方法も考えられるが、各フレームの静止画像の品質を下げる結果となるため望ましい方法ではない。
【0018】
【発明が解決しようとする課題】
そこで、現状のデジタルカメラにおいては、画像形式変換処理をするフレームレートを例えば15(frame/sec)などの低いフレームレートに落としてフレーム処理を行なわせている。
【0019】
図20は、上述した現状のデジタルカメラで適用されている表示用及び記録用の画像形式変換処理のタイムチャートの一例である。
同図の上段は、図19の上段に示される図と同様で、一時記憶部に逐次記憶される元画像データを時間軸t方向にフレーム単位で時系列順に並べたものである。
【0020】
また、同図の時間軸t上に示される記号A点からG点は、図19の時間軸t上に示したものと同様に、同図の上段に示される各フレームが切り替わる点を示している。
図20の下段は、同図の上段に示される元画像データの各フレームに対して行なわれる表示用及び記憶用の画像形式変換処理を、半分に減らした場合の様子、すなわち、本例では同図の上段の偶数番号のフレームをとばして奇数番号のフレームに対して画像形式変換処理を行なった様子、が時間軸tに対応して示されている。
【0021】
本例はΔin<Δout<2*Δinの関係があることから、フレームを1つとばしで表示用及び記録用の画像形式変換処理を行なうようにしたので、奇数番号のフレームに対する表示用画像形式変換処理はその処理の対象となるフレーム分の元画像データが一時記憶部に記憶されると同時に常に開始することが可能となる。
【0022】
これによって、実際に撮影している動画像と表示部に表示させる動画像との時間差が極端に広がる事態を避け、撮影者に対して快適に動画像撮影ができるようにしている。また、記録用画像形式変換処理を行なう前または途中にその処理の元となるフレーム分の元画像データが一時記憶部の格納場所から無くなるという事態を避け、正常に記録処理を行なえるようにしている。
【0023】
但し、本例の方法で得られた記録用画像データは所望のフレームレートの半分のフレームレートとなるため、動画像再生時に自然な動きで再生できる例えば30(frame/sec)などのフレームレートの高いものに比べ、ぎくしゃくした不自然な動きで再生されるという記録用画像データとしては好ましくない問題が生じてしまう。
【0024】
さらに、上記問題においては、(α−1)*Δin<Δout<α*Δin(αは2以上の整数とする。)とした場合も同様に言える。
すなわち、図19の下段のタイムチャートにおいて、フレーム1の記録用画像形式変換処理の終了を示す時間軸t上のa点が、同図の上段のフレーム3以後のフレームの一時記憶の完了を示す時間軸t上のアルファベットの大文字で示される各点(C点、D点、E点、F点、G点、・・・)を、αの値が2から1増加する毎に、一つとび越える形で同図のボックスが時間軸方向に延びて表される。そして、後続するボックスも、前段の各記録用画像形式変換処理に続けて、同様に時間軸方向に延びて表される。このように、αが増加するにつれて、撮影されている動画像に対して表示部に表示される動画像の上記遅延の量は増し、制限された記憶領域という観点からはより早い段階で異常な画像が生成される結果となる。そして、図20の下段のタイムチャートにおいては、フレーム1の元画像データに対して記録用画像形式変換処理が終了する時間軸t上のa´点が、同図の上段のフレーム3以後のフレームの一時記憶の完了を示す時間軸t上のアルファベットの大文字で示される各点(C点、D点、E点、F点、G点、・・・)を、αの値が2から1増加する毎に、一つとび越える形で同図のボックスが時間軸方向に延びて表される。そして、後続するボックスも、前段の各記録用画像形式変換処理が終了する時間軸t上の点以後の、同図上段のフレームの一時記憶の完了を示す時間軸t上の点に続けて、同様に時間軸方向に延びて表される。このように、上述したような遅延を無くすためには、画像形式変換処理をする対象のフレームをαが1増加する毎にさらに1フレームとばす必要があり、この結果、フレームレートはさらに落ち込み、この記録した動画像を再生する際には一層ぎくしゃくした動きとなってしまう。
【0025】
以上のように、従来のデジタルカメラにおいては、ハードウエアの制限や処理スピードを上げるソフトウエアの開発の遅れなどから記録用画像データに対して所望のフレームレートを実現させるのが困難であり、時系列順の情報量を少なくした記録用画像データでは動画像再生時に自然な動きが表現できなかった。
【0026】
そこで本発明は、記録用画像データのフレームレートを増加させることが可能な撮像装置、及び画像形式変換方法を提供することを目的とする。
【0027】
【課題を解決するための手段】
本発明は上記課題を解決するために以下のように構成する。
すなわち本発明の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と、前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段と、前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数が前記画像形式変換手段で前記単位時間当りに生成されるスルー画表示用画像データの画像枚数よりも上回る設定を有する画像変換条件設定手段と、前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段と、を有するように構成する。
【0028】
このように構成することによって、画像形式変換手段で生成する画像データの種類を、表示用画像データよりも記録用画像データの方を多くすることが可能となる。
また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と、前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段と、前記画像形式変換手段で単位時間当りに生成されるスルー画表示用画像データの画像枚数を減らすことにより前記画像形式変換手段で前記単位時間当りに生成される記録用画像データの画像枚数が増えるようにした設定を有する画像変換条件設定手段と、前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段と、を有するように構成する。
【0029】
このように構成することによって、画像形式変換手段において、表示用画像データの生成を減らして記録用画像データの生成を増やすことが可能となる。
また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と、前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段と、前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数と前記画像形式変換手段で前記単位時間当りに生成されるスルー画表示用画像データの画像枚数とを相対的に変化させる設定を有する画像変換条件設定手段と、前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段と、を有するように構成する。
【0030】
このように構成することによって、画像形式変換手段において生成する表示用画像データと記録用画像データの画像枚数を相対的に変化させることが可能となる。
また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と、前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段と、前記記憶されている画像信号を順次画像形式変換する際に、前記スルー画表示用画像データ及び前記記録用画像データの双方に順次画像形式変換する第一の画像形式変換と前記記憶されている画像信号を前記記録用画像データにのみ画像形式変換する第二の画像形式変換とを時系列的に行なう設定を有する画像変換条件設定手段と、前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段と、を有するように構成する。
【0031】
このように構成することによって、表示用画像データを生成する全ての画像信号に対して記録用画像データを生成し、その他の所定の画像信号に対しては記録用画像データのみ生成することが可能となる。
なお、上述した構成における画像変換条件設定手段は、例えば以下のように設定される。
【0032】
すなわち、第一の例として、前記画像変換条件設定手段は、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合で設定される。
第二の例として、前記画像変換条件設定手段は、前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数に対する前記画像形式変換手段で前記単位時間当りに生成されるスルー画表示用画像データの画像枚数の割合で設定される。
【0033】
第三の例として、前記画像変換条件設定手段は、前記記録用画像データの画像品質で設定され、さらに該画像品質には、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合が関連付けられている。
【0034】
第四の例として、前記画像変換条件設定手段は、前記画像形式変換手段で単位時間当りに生成されるスルー画表示用画像データの画像枚数と前記画像形式変換手段で前記単位時間当りに生成される記録用画像データの画像枚数との比率で設定される。
【0035】
第五の例として、前記画像変換条件設定手段は、前記画像形式変換手段で生成されるスルー画表示用画像データのフレームレートと前記画像形式変換手段で生成される記録用画像データのフレームレートとの組み合わせで設定される。
第六の例として、前記画像変換条件設定手段は、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合で設定されるモード、前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数に対する前記画像形式変換手段で該単位時間当りに生成されるスルー画表示用画像データの画像枚数の割合で設定されるモード、前記記録用画像データの画像品質で設定され、さらに該画像品質には、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合が関連付けられているモード、前記画像形式変換手段で単位時間当りに生成されるスルー画表示用画像データの画像枚数と前記画像形式変換手段で該単位時間当りに生成される記録用画像データの画像枚数との比率で設定されるモード、前記画像形式変換手段で生成されるスルー画表示用画像データのフレームレートと前記画像形式変換手段で生成される記録用画像データのフレームレートとの組み合わせで設定されるモード、の内、何れか一つのモードが設定される。
【0036】
第七の例として、前記画像変換条件設定手段は、前記記録用画像データの画像品質が設定可能で、さらに、該設定された画像品質に対して、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合を設定できる。
【0037】
また、上述した構成に、前記画像変換条件設定手段の設定内容を表示する警告表示手段と、前記撮像装置に着脱可能な記録媒体に記録可能な記録手段とを、更に有し、前記画像変換条件設定手段の設定内容の表示は、該画像変換条件設定手段の設定内容に基づいて画像形式変換された前記記録用画像データを前記記録手段に記録する際に行なわれる、ようにすることもできる。
【0038】
そして、前記記録手段に記録された記録用画像データを再生する際は、前記記録用画像データに画像形式変換される際の前記画像変換条件設定手段における設定内容を前記記録用画像データとともに前記警告表示手段に表示可能とする、こともできる。
【0039】
このように構成することによって、記録用画像データを記録手段に記録する際または記録手段に記録された記録用画像データを再生する際に前記画像変換条件設定手段の設定内容が表示できるようになる。
また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行ない、前記記憶時の画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する撮像装置の画像形式変換方法であって、単位時間当りに生成される前記記録用画像データの画像枚数が該単位時間当りに生成される前記スルー画表示用画像データの画像枚数よりも上回るように画像形式変換させる、ようにすることである。
【0040】
このようにすることによって、画像形式変換して生成する画像データの種類を、表示用画像データよりも記録用画像データの方を多くすることが可能となる。また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行ない、前記記憶時の画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する撮像装置の画像形式変換方法であって、単位時間当りに生成される前記スルー画表示用画像データの画像枚数を減らすことにより前記単位時間当りに生成される前記記録用画像データの画像枚数が増えるように画像形式変換させる、ようにすることである。
【0041】
このようにすることによって、表示用画像データの生成を減らして記録用画像データの生成を増やすことが可能となる。
また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行ない、前記記憶時の画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する撮像装置の画像形式変換方法であって、単位時間当りに生成される前記記録用画像データの画像枚数と該単位時間当りに生成される前記スルー画表示用画像データの画像枚数とを相対的に変化させて画像形式変換する、ようにすることである。
【0042】
このようにすることによって、画像形式変換して生成する表示用画像データと記録用画像データの画像枚数を相対的に変化させることが可能となる。
また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行ない、前記記憶時の画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する撮像装置の画像形式変換方法であって、前記記憶されている画像信号を順次画像形式変換する際に、前記スルー画表示用画像データ及び前記記録用画像データの双方に順次画像形式変換する第一の画像形式変換と前記記憶されている画像信号を前記記録用画像データにのみ画像形式変換する第二の画像形式変換とを時系列的に行なう、ようにすることである。
【0043】
このように構成することによって、表示用画像データを生成する全ての画像信号に対して記録用画像データを生成し、その他の所定の画像信号に対しては記録用画像データのみ生成することが可能となる。
【0044】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら詳細に説明する。
図1は、本発明の一例であるデジタルカメラで行なわれる画像形式変換処理のタイムチャート例である。
【0045】
同図の上段は、図19の上段及び図20の上段に示される図と同様で、従来技術の説明で述べた一時記憶部に逐次記憶される元画像データを時間軸t方向にフレーム単位で時系列順に並べたものである。
また、同図の時間軸t上に示される記号A点からG点は、図19の時間軸t上に示したものと同様に、同図の上段に示される各フレームが切り替わる点を示している。そして、同図の時間軸t上に示される記号a点からd点は、図19の時間軸t上に示したものと同様に、対象となるフレーム単位の元画像データに対して記録用画像形式変換処理が終わる点を示している。
【0046】
図1の下段には、元画像データの所定のフレームに対して表示用及び記憶用の画像形式変換処理を1対3の比で行なわせた場合の様子が時間軸tに対応して示されている。
但し、同図では、Δin<Δout<2*ΔinかつΔin>ΔoutB(各記号は,従来技術と同様のものとする。)の関係を前提とした。
【0047】
同図の下段においては、時間軸t上のA点で一時記憶の完了した同図の上段に示すフレーム1の元画像データに対して、この時点から表示用画像変換処理及び記録用画像変換処理がこの順に行なわれている様子が示されている。
同図において、フレーム1の記録用画像形式変換処理が終わる時刻は時間軸t上のa点で示され、このa点では、Δin<Δout<2*Δinの関係から一時記憶部でのフレーム2の一時記憶が完了してフレーム3の一時記憶が既に開始されている。
【0048】
また、同図の下段においては、同図の上段に示されるフレーム3の一時記憶が完了するまで処理を待ち、フレーム3の一時記憶が完了する時間軸t上のC点から、フレーム2ではなく、一時記憶が完了したばかりのフレーム3に対して二つ目の記録用画像形式変換処理を開始する。この記録用画像形式変換処理は、Δin>ΔoutBの関係から、同図の上段のフレーム4が一時記憶される時間軸t上のD点よりも前のb点で処理が完了する。そして、時間軸t上のD点で同図の上段のフレーム4の一時記憶が完了すると、三つ目の記録用画像形式変換処理をこのフレーム4に対して開始する。二つ目の記録用画像形式変換処理のように、同図の上段のフレーム5が一時記憶される時間軸t上のE点よりも前のc点でこの処理は完了する。本例は、表示用及び記録用の画像形式変換処理量の比率を1対3に設定しているので、続く時間軸t上のE点になるとフレーム5に対して表示用及び記録用の画像形式変換処理をこの順で行なう。そして、この記録用画像形式変換処理は時間軸t上のd点で完了し、その後に一時記憶処理が完了するフレーム7の時間軸t上のG点からフレーム7に対する記録用画像形式変換処理のみが行なわれ、続くフレーム8に対しても同様に同図には示されていないが記録用画像形式変換処理のみが行なわれる。さらに、以後の処理においても、時間軸t上のA点からE点に示される同図の下段の処理パターンが同図の上段のフレームに対応して繰り返し行なわれる。
【0049】
このように本例では、表示用及び記録用の画像形式変換処理を行なったフレームの直後のフレームをとばして、続く2つのフレームに対して立て続けに記録用画像形式変換処理のみを行ない、さらに続く1つのフレームに対しては元の処理内容に戻して表示用及び記録用の画像形式変換処理を行ない、その後もこれら一連の処理を繰り返し行なう。
【0050】
なお、本例では、Δin<Δout<2*ΔinかつΔin>ΔoutBの関係を前提としたが、(α−1)*Δin<Δout<α*Δin(各記号は,従来技術と同様のものとする。)かつΔin>ΔoutBの関係においても同様に考えると、表示用及び記録用の画像形式変換処理を行なったフレームの直後に続くα−1個分のフレームが各画像形式変換処理をとばされて、その後に続く2つのフレームに対して立て続けに記録用画像形式変換処理のみを行ない、さらに続く1つのフレームに対しては元の処理内容に戻して表示用及び記録用の画像形式変換処理を行ない、その後もこれら一連の処理を繰り返し行なう。
【0051】
さらに、(α−1)*Δin<Δout<α*Δinかつ(α−2)Δin<ΔoutB<(α−1)Δinの関係においても同様に考えると、表示用及び記録用の画像形式変換処理を行なったフレームの直後に続くα−1個分のフレームが画像形式変換処理をとばされて、その後に続く1つのフレームに対して記録用画像形式変換処理のみを行ない、続くα―2個分のフレームが画像形式変換処理をとばされて、続く1つのフレームに対して記録用画像形式変換処理のみを行ない、さらに続くα―2個分のフレームが画像形式変換処理をとばされて、続く1つのフレームに対しては元の処理内容に戻して表示用及び記録用の画像形式変換処理を行ない、その後も同様にこれら一連の処理を繰り返し行なう。
【0052】
また、本例では、フレーム1から表示用及び記録用の画像形式変換処理を行なわせているが、フレーム1に対しては記録用画像形式変換処理のみ行なわせ、フレーム2から表示用及び記録用の画像形式変換処理を行なわせてもよいし、フレーム2に対しても記録用画像形式変換処理のみを行なわせ、フレーム3から表示用及び記録用の画像形式変換処理を行なわせてもよい。
【0053】
また、本例では、画像形式変換処理の順番を表示用を先に記録用を後にしているが、記録用を先に表示用を後にしてもよい。
また、本例では図1の上段のフレームを4回に1回とばして表示用または記録用の画像形式変換処理を行なわせてるが、表示用及び記録用の画像形式変換処理とこれに続く2回の記録用画像形式変換処理との時間の和が、上段の3フレーム分が一時記憶される時間よりも少なければ、画像形式変換処理を連続的に実行することで一時記憶部に記憶される全ての元画像データに対して記録用画像形式変換処理が行なえる。
【0054】
また、本例では表示用及び記録用の画像形式変換処理の比を1対3として示したが比率は任意に設定できる。
また、この比率と、Δinと、ΔoutAと、ΔoutBと、一時記憶部の記憶容量とから、表示用画像形式変換処理が遅延なく処理でき、各種の画像形式変換処理を行なわせる多数のタイミングを決定できる。
【0055】
以上のように、表示用画像形式変換処理及び記録用画像形式変換処理の単位時間(本例では、A点からE点で示される時間の単位)当りの処理を、例えば、生成する記録用画像データの画像枚数が表示用画像データの画像枚数よりも上回るようにしたり、生成する表示用画像データの画像枚数を減らすことにより記録用画像データの画像枚数が増えるようにしたり、生成する記録用画像データの画像枚数と表示用画像データの画像枚数とを相対的に変化させるようにしたり、元画像データを順次画像形式変換する際に、表示用画像データと記録用画像データの双方に順次画像形式変換する第一の画像形式変換と記録用画像データにのみ画像形式変換する第二の画像形式変換とを時系列的に行なわせるようにしたりするなど、それぞれ異ならせて、記録用画像形式変換処理を行なうフレーム数を増やす。また、表示用画像形式変換処理にあっては、その変換の対象となるフレームが一時記憶部に記憶された直後に、変換処理を行なうようにする。
【0056】
このようなタイミングで各画像形式変換処理を行なえば、記録用画像データのフレームレートを増加させることができるので動画像再生時の自然な再生を実現することができる。さらに、表示用画像形式変換処理は変換対象のフレームが一時記憶されるほぼ直後に常に行なわれるので実際の動画像と表示部に表示される動画像との間に遅延は生じず、撮影者は混乱することなく安心して撮影を行なうことができるようになる。
【0057】
なお、表示用画像形式変換処理がフレーム単位で間引かれ、動画像撮影時の表示部での表示がぎくしゃくするとしても、表示部に更新される画像とその時点の実際の動画像との間に時間的な差異は感じられないため、撮影者は安心して動画像を撮影できる。
【0058】
また、このように生成された記録用画像データは、記録用画像形式変換が行なわれなかったフレームに対応する場所に一フレームを構成する空データや直前または直後のフレームのコピーを備えさせてもよい。このようにして動画像撮影時の撮影スピードと同じスピードで再生される記録用画像データは、動画像撮影時における被写体の動くスピードと同じスピードで再生され、より被写体の自然な動きが再現される。
【0059】
次に、図1のタイムチャートに示す処理をデジタルカメラに構成する場合を以下に示す。
図2は、デジタルカメラに構成される動画像処理システムのブロック図である。
【0060】
図2のブロック図は、画像データ取得部201と、一時記憶部203と、画像形式変換部205と、記録部207と、表示部209と、画像変換条件設定部211と、制御部213とで構成される。
画像データ取得部201では、例えば所定のクロックレートで駆動するCCDなどの撮像素子から被写体をアナログの電気信号として取り込み、この電気信号にゲイン調整やノイズ除去処理の回路を介させて、最終的にA/D変換回路によってデジタルデータに変換する。
【0061】
一時記憶部203は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)などのRAM(Random Access Memory)で構成され、画像データ取得部201で生成されたデジタルデータ(元画像データ)を一時的に記憶したり、変換処理されたデジタルデータを一時的に記憶したり、記録部207から読み出したデータを一時的に記憶したりする。
【0062】
画像形式変換部205では、一時記憶部203に記憶された元画像データを、表示部209に表示させる表示用画像データ、または記録部207に記録する記録用画像データに画像形式変換処理したり、記録部207に記録された記録用画像データを表示用に間引き伸張処理したりする。本例に示す画像形式変換とは、表示用画像データにおいては色信号処理やリサイズ処理やγ変換処理などの表示用画像形式変換を示し、記録用画像データにおいては上記処理にさらにモーションJPEGの画像圧縮処理を加えた記録用画像形式変換を示す。
【0063】
記録部207は、デジタルカメラ本体に対して着脱可能な例えばメモリカードなどの可搬型記録媒体で構成され、画像形式変換部205で生成された記録用画像データを記録する。
表示部209は、例えば液晶などのディスプレイで構成され、画像形式変換部205で生成された表示用画像データや、記録部207に記録した記録用画像データの再生データや、各種メニュー画面を表示する。
【0064】
画像変換条件設定部211では、画像形式変換部205で行なわれる表示用画像形式変換処理と記録用画像形式変換処理の処理条件が設定できる。
この処理条件とは、大別すると、生成する記録用画像データの画像枚数が表示用画像データの画像枚数よりも上回るようにした条件や、生成する表示用画像データの画像枚数を減らすことにより記録用画像データの画像枚数が増えるようにした条件や、生成する記録用画像データの画像枚数と表示用画像データの画像枚数とを相対的に変化させるようにした条件や、元画像データを順次画像形式変換する際に、表示用画像データと記録用画像データの双方に順次画像形式変換する第一の画像形式変換と記録用画像データにのみ画像形式変換する第二の画像形式変換とを時系列的に行なわせるようにした条件などが挙げられ、その具体例としては、図1に示す表示用画像形式変換処理を行なう対象のフレーム数と記録用画像形式変換処理を行なう対象のフレーム数の単位時間当りの比率である1対3が挙げられる。
【0065】
そして、このような条件は、例えば、デジタルカメラ本体の図2に示されていない操作部からの操作により、表示部209に表示される条件設定画面上で所望の条件を選択または入力するなどして、設定できる。
制御部213では、例えば、各種演算を行なう中央処理装置(CPU)で所定のプログラムが実行されたり、DMA(Direct Memory Access)転送が行なわれるなどして、上記各部を制御している。
【0066】
図3は、上記動画像処理システムを有するデジタルカメラで動画像撮影が行なわれる場合の制御部213の動作例である。
同図に示す制御部213の動作は、デジタルカメラ本体の図2に示されていない操作部から操作される動画像撮影の開始操作、例えばレリーズ釦の押下操作など、に基づいて開始される。
【0067】
さて、動画像撮影の開始操作が上記操作部から操作されると、制御部213は、先ず、画像データ取得部201から逐次出力される所定単位毎(例えば数ライン毎など)の元画像データをDMA転送によって一時記憶部203に逐次記憶させる(S301)。続いて、その元画像データを一時記憶部203から所定単位毎に逐次読み出し、画像変換条件設定部211にデフォルトで設定された表示用画像形式変換の処理条件または操作部から設定された表示用画像形式変換の処理条件に基づき、元画像データに対して表示用画像形式変換処理を画像形式変換部205に1フレーム分行なわせ、表示用画像データを生成する(S303)。ステップS303において1フレーム分の表示用画像データが生成されると、その表示用画像データは表示部209に表示させられ、表示部209に古い表示用画像データが表示されている場合にはその古い表示用画像データが更新される(S305)。続いて、同一の元画像データに対して、画像変換条件設定部211にデフォルトで設定された記録用画像形式変換の処理条件または操作部から設定された記録用画像形式変換の処理条件に基づき、記録用画像形式変換処理を画像形式変換部205で1フレーム分行なわせ、記録用画像データを生成する(S307)。ステップS307において1フレーム分の記録用画像データが生成されると、その記録用画像データは記録部207に記録される(S309)。ステップS301からステップS309までの処理は、動画像撮影の終了操作が上記操作部からなされたことをステップS311で判断されるまで繰り返し実行され、動画像撮影の終了操作、例えばレリーズ釦を再び押下する操作など が上記操作部からなされたことがステップS311で判断されると、処理を終了する。
【0068】
また、図3では表示用画像形式変換処理してから記録用画像形式変換処理をしているが、記録用画像形式変換処理をしてから表示用画像形式変換処理を行なってもよい。
また、画像形式変換部205において、表示用画像データから記録用画像データへの変換処理または記録用画像データから表示用画像データへの変換処理を行なうものとすれば、画像形式変換部205において、一時記憶部203に記憶された元画像データを基に生成した表示用画像データから記録用画像データを生成したり、一時記憶部203に記憶された元画像データを基に生成した記録用画像データから表示用画像データを生成したりすることができる。
【0069】
また、記録用画像データを記録部207に記録させるタイミングとして、記録用画像データが1フレーム生成されるごとに行なう例を示したが、そのタイミングは適宜設定してよく、例えば、全記録用画像データを一時記憶部203に記憶させておき、動画像撮影の終了後にまとめて記録部207へ記録させるようにしてもよい。
【0070】
このように構成されたデジタルカメラで撮影される動画像の記録用画像データは、再生時に、記録時と同じ時間間隔で各フレームを再生させることによって、動画像を形成する。そして、単位時間当りの記録用画像形式変換処理の量が表示用画像形式変換処理の量を上回る場合には、再生される動画像を形成する静止画像の単位時間当りの密度は高いものとなり、動画品質が高まる。
【0071】
次に、上記動画像撮影に関連する処理を以下に図4から図7を用いて説明する。なお、以下の説明において、表示部209に表示させる複数の設定項目やモードや動画像撮影条件は縦に並べて表示させるものとし、これら複数の設定項目やモードや動画像撮影条件の選択は画面上に表示させたカーソルで指定して行なうものとする。
【0072】
また、以下の各種操作において、動画像撮影の開始にはレリーズ釦、画面上のカーソルの移動には方向指示釦、カーソルが指定する項目の確定には確定釦、処理のキャンセルにはキャンセル釦、設定画面の終了には終了釦で行ない、これらの何れの釦も図2には示されていない操作部に構成されているものとする。
【0073】
図4は、上記動画像撮影を含む動画像関連の処理の中から所定の項目を選択させるための制御部213での処理フローの一例である。
同図で示されているように、制御部213は動画像関連の処理の開始指示(各種設定変更処理の開始指示、動画像撮影の開始指示、及び動画像再生処理の開始指示)またはその他の処理の開始指示が操作部から入力されるまで待機している。
【0074】
なお、設定変更処理とは、動画像撮影で行なわれる表示用及び記録用の画像形式変換処理の処理条件を設定するための処理であり、動画像再生処理とは、動画像撮影で記録部207に記録された記録用画像データの再生データを表示部209に再生させる処理である。
【0075】
制御部213は、各種設定変更処理の開始指示が操作部から入力されたと判断すると(S401)、各種設定変更処理を開始し(S403)、ステップS403における各種設定変更処理を終えると、上記待機の状態に戻る。
また、制御部213は、動画像撮影の開始指示が操作部から入力されたと判断すると(S405)、動画像撮影を開始し(S407)、図3に示す制御を行なう。ステップS407における動画像撮影を終えると、上記待機の状態に戻る。
【0076】
また、制御部213は、動画像再生処理の開始指示が操作部から入力されたと判断すると(S409)、動画像再生処理を開始し(S411)、ステップS411における動画像再生処理を終えると、上記待機の状態に戻る。
また、制御部213は、その他の処理の開始指示が操作部から入力されたと判断すると(S413)、その他の処理を開始し(S415)、ステップS415におけるその他の処理を終えると、上記待機の状態に戻る。
【0077】
図5は、図4のステップS403に示す各種設定変更処理における制御部213の動作フロー例である。
先ず、表示部209に複数の設定項目を表示し、操作部からの上下移動指示に基づいて指定先の設定項目にカーソルを移動し、カーソルが指定する設定項目を操作部からの確定指示に基づいて確定させる(S501)。
【0078】
そして、確定した項目が動画像撮影条件設定モードを設定する項目であるかどうかを判断し(S503)、動画像撮影条件設定モードを設定する項目であると判断すると、動画像撮影条件設定モードの設定変更処理を開始する(S505)。
【0079】
ステップS503において、動画像撮影条件設定モードを設定する項目ではないと判断した場合は、動画像撮影条件を設定する項目であるかどうかを判断し(S507)、動画像撮影条件を設定する項目であると判断した場合は、動画像撮影条件の設定変更処理を開始する(S509)。
【0080】
ステップS507において、動画像撮影条件を設定する項目ではないと判断した場合は、その他の設定内容を変更する処理を開始する(S511)。
また、ステップS505、ステップS509、またはステップS511の処理を終了すると、操作部からの各種設定変更処理の終了を示す入力があるかどうかを判断し(S513)、ステップS513において終了を示す入力がないと判断した場合はステップS501の処理に戻り、上述したステップS501からステップS513の処理を繰り返し実行する。ステップS513において終了を示す入力があると判断すると、各種設定変更処理を終了する。
【0081】
図6は、図5のステップS505に示す動画像撮影条件設定モードの設定変更処理における制御部213の動作フロー例である。
制御部213では、設定変更する複数のモードを表示部209に表示している状態で、カーソルを上方向に移動する指示が操作部から入力されたかどうか(S601)、カーソルを下方向に移動する指示が操作部から入力されたかどうか(S603)、カーソルで指定するモードを確定する指示が操作部から入力されたかどうか(S605)、本設定変更処理をキャンセルする指示が操作部から入力されたかどうか(S607)を判断し、何れかの入力があることを判断するまで待機する。
【0082】
ステップS601で、カーソルを上方向に移動する指示が操作部から入力されたと判断すると、その入力回数やその入力の継続時間に基づいて、現在指定しているモードから一つ上または複数上に位置するモードへとカーソルを移動する移動量を算出し(S609)、表示部209の表示内容を更新させる(S611)。
【0083】
また、ステップS601で、カーソルを上方向に移動する指示が操作部から入力されていないと判断し、ステップS603で、カーソルを下方向に移動する指示が操作部から入力されたと判断すると、その入力回数やその入力の継続時間に基づいて、現在指定しているモードから一つ下または複数下に位置するモードへとカーソルを移動する移動量を算出し(S613)、表示部209の表示内容を更新させる(S611)。ステップS611における表示部209の表示内容の更新が完了すると、ステップS601から同様に処理が繰り返される。
【0084】
また、ステップS603において、カーソルを下方向に移動する指示が操作部から入力されていないと判断し、ステップS605において、カーソルで指定するモードを確定する指示が操作部から入力されたと判断すると、カーソルで指定しているモードが動画像撮影条件設定モードとなるように、画像変換条件設定部211にデフォルトで設定された動画像撮影条件設定モードの内容を更新する(S615)。
【0085】
そして、設定された動画像撮影条件設定モードを表示部209に表示して(S617)、本処理を終了する。
また、ステップS605において、カーソルで指定するモードを確定する指示が操作部から入力されていないと判断し、ステップS607において、キャンセルする指示が操作部から入力されたと判断すると、キャンセルした場合の表示に更新して(S617)、本処理を終了する。
【0086】
図7は、図5のステップS509に示す動画像撮影条件の設定変更処理における制御部213の動作フロー例である。
制御部213では、複数の動画像撮影条件を表示部209に表示している状態で、カーソルを上方向に移動する指示が操作部から入力されたかどうか(S701)、カーソルを下方向に移動する指示が操作部から入力されたかどうか(S703)、カーソルで指定する動画像撮影条件を確定する指示が操作部から入力されたかどうか(S705)、本設定変更処理をキャンセルする指示が操作部から入力されたかどうか(S707)を判断し、何れかの入力があることを判断するまで待機する。
【0087】
ステップS701で、カーソルを上方向に移動する指示が操作部から入力されたと判断すると、その入力回数やその入力の継続時間に基づいて、現在指定している動画像撮影条件から一つ上または複数上に位置する動画像撮影条件へとカーソルを移動する移動量を算出し(S709)、表示部209の表示内容を更新させる(S711)。
【0088】
また、ステップS701で、カーソルを上方向に移動する指示が操作部から入力されていないと判断し、ステップS703で、カーソルを下方向に移動する指示が操作部から入力されたと判断すると、その入力回数やその入力の継続時間に基づいて、現在指定している動画像撮影条件から一つ下または複数下に位置する動画像撮影条件へとカーソルを移動する移動量を算出し(S713)、表示部209の表示内容を更新させる(S711)。ステップS711における表示部209の表示内容の更新が完了すると、ステップS701から同様に処理が繰り返される。
【0089】
また、ステップS703において、カーソルを下方向に移動する指示が操作部から入力されていないと判断し、ステップS705において、カーソルで指定する動画像撮影条件を確定する指示が操作部から入力されたと判断すると、カーソルで指定している動画像撮影条件を動画像撮影時の動画像撮影条件となるように、画像変換条件設定部211に設定された動画像撮影条件を更新する(S715)。
【0090】
そして、設定された動画像撮影条件を表示部209に表示して(S717)、本処理を終了する。
また、ステップS705において、カーソルで指定する動画像撮影条件を確定する指示が操作部から入力されていないと判断し、ステップS707において、キャンセルする指示が操作部から入力されたと判断すると、キャンセルした場合の表示に更新して(S717)、本処理を終了する。
【0091】
次に、図6または図7の処理の中で表示部209に表示されるモードまたは動画像撮影条件の一例を、図8から図14に示す表示画面例を用いて説明する。
なお、本例においてはモードまたは動画像撮影条件を表示画面中の二重線で囲まれた部分に縦に並べて表示させ、カーソルをその二重線の中の矩形の枠で示すものとする。
【0092】
図8は、図6の処理の中で表示部209に表示されるモードの一例である。
同図に二重線で囲まれるように、5種類のモード(撮影枚数中の記録枚数、変換処理中の表示処理割合、動画品質、表示処理と記録処理の割合、及び表示フレームレート(DF)と記録フレームレート(RF)の設定)が選択可能なモードとして上から順番に表示されている。そして、その中で「表示処理と記録処理の割合」がカーソルで指定されている。
【0093】
上記撮影枚数中の記録枚数は、単位時間当りに一時記憶部203に記憶される元画像データのフレーム数に対する、画像形式変換部205で記録用画像形式変換処理を行なわせるフレーム数(または生成される記録用画像データの画像枚数)の割合が設定されたモードである。
【0094】
上記変換処理中の表示処理割合は、単位時間当りに画像形式変換部205で画像形式変換処理する元画像データのフレーム数に対する、表示用画像形式変換処理を行なわせるフレーム数(または、生成される表示用画像データの画像枚数)の割合が設定されたモードである。
【0095】
上記動画品質は、動画像再生した際の動画像の動きの滑らか度が設定されたモードである。
上記表示処理と記録処理の割合は、画像形式変換部205における単位時間当りの表示用画像形式変換するフレーム数(または、生成される表示用画像データの画像枚数)と、記録用画像形式変換するフレーム数(または、生成される記録用画像データの画像枚数)の割合が設定されたモードである。
【0096】
上記DFとRFの設定は、単位時間当りに画像形式変換部205で生成される表示用画像データと記録用画像データのフレームレートが設定されたモードである。
なお、以下に示す図9から図14においても同様であるが、図6に示す方向指示釦からの入力に応じて、図8の二重線内のカーソルが上下の各モードに一つずつ移動し、図6に示す確定釦からの入力に応じて、カーソルで指定されているモードが画像変換条件設定部211に設定される。
【0097】
図9は、図7の処理の中で表示部209に表示される動画像撮影条件の一例である。
同図に二重線で囲まれるように、図8に示す「撮影枚数中の記録枚数」をさらに細かく選択できるようにした3つの動画像撮影条件(撮影枚数の1/2、撮影枚数の2/3、及び撮影枚数の3/4)が選択可能な動画像撮影条件として上から順番に表示されている。そして、その中で「撮影枚数の3/4」がカーソルで指定されている。
【0098】
図10は、図7の処理の中で表示部209に表示される動画像撮影条件の他の例である。
同図に二重線で囲まれるように、図8に示す「変換処理中の表示処理割合」をさらに細かく選択できるようにした3つの動画像撮影条件(変換処理の20%、変換処理の25%、及び変換処理の50%)が選択可能な動画像撮影条件として上から順番に表示されている。そして、その中で「変換処理の20%」がカーソルで指定されている。
【0099】
図11は、図7の処理の中で表示部209に表示される動画像撮影条件の他の例である。
同図に二重線で囲まれるように、図8に示す「動画品質」をさらに細かく選択できるようにした3つの動画像撮影条件(高品質→撮影枚数の3/4、中品質→撮影枚数の2/3、及び通常品質→撮影枚数の1/2)が選択可能な動画像撮影条件として上から順番に表示されている。そして、その中で「中品質→撮影枚数の2/3」がカーソルで指定されている。なお、高品質、中品質、及び通常品質には、右矢印(→)で示された先の図9に示す3つの動画像撮影条件(撮影枚数の1/2、撮影枚数の2/3、及び撮影枚数の3/4)が図11のように対応付けられているが、その他の動画像撮影条件を対応付けるようにしてもよい。
【0100】
図12は、図7の処理の中で表示部209に表示される動画像撮影条件の他の例である。
同図に二重線で囲まれるように、図8に示す「表示処理と記録処理の割合」をさらに細かく選択できるようにした3つの動画像撮影条件(1:4、1:3、及び1:1)が選択可能な動画像撮影条件として上から順番に表示されている。そして、その中で「1:3」がカーソルで指定されている。
【0101】
図13は、図7の処理の中で表示部209に表示される動画像撮影条件の他の例である。
同図に二重線で囲まれるように、図8に示す「DFとRFの設定」をさらに細かく選択できるようにした3つの動画像撮影条件(DFを15fpsとしてRFを15fpsとする、DFを12fpsとしてRFを18fpsとする、及びDFを7.5fpsとしてRFを22.5fpsとする)が選択可能な動画像撮影条件として上から順番に表示されている。そして、その中で「DFを12fpsとしてRFを18fpsとする」がカーソルで指定されている。
【0102】
図14は、図7の処理の中で表示部209に表示される動画像撮影条件の種類を複数組み合わせた例である。
同図に二重線で囲まれるように、3つの動画像撮影条件が選択可能な動画像撮影条件として上から順番に表示されている。そして、カーソルでその中から動画像撮影条件を指定すると、プルダウン方式により、さらに他の種類の動画像撮影条件から選択が可能となる。
【0103】
本例では、図8に示す「動画品質」をさらに細かく選択できるようにした3つの動画像撮影条件(高品質、中品質、及び通常品質)が選択可能な動画像撮影条件として上から順番に表示されている。そして、その中からカーソルによって中品質が指定され、プルダウン方式によって表示される図9に示す3つの動画像撮影条件(撮影枚数の1/2、撮影枚数の2/3、及び撮影枚数の3/4)から「撮影枚数の2/3」がカーソルで指定されている。
【0104】
なお、本例では、動画品質から図9に示す撮影枚数中の記録枚数をプルダウン方式で選択させるようにしているが、その他の組み合わせにしてもよい。
また、図8から図14に示す例では、モードや動画像撮影条件を縦に複数配列しているが、配列は任意に設定でき、例えば横に配列させてもよい。
【0105】
また、図8から図14に示す例では、モードまたは動画像撮影条件を二重線内に一度に表示させるようにしているが、スクロール表示をさせたり、プルダウン表示をさせたり、それらを組み合わせるなど、表示形式は適宜設定してよい。
次に、動画像撮影中または動画像再生中の表示部209の表示制御の例について説明する。
【0106】
図15は、動画像撮影中に表示部209へ動画像撮影条件を表示させるか否かが設定できる場合の、動画像撮影時の制御部213の制御例である。
なお、本例においては、図2の画像形式変換部205において、生成された表示用画像データに対してさらに動画像撮影条件を埋め込むことが可能なものとし、図2の画像変換条件設定部211において、動画像撮影条件を表示部に表示させるか否かを示す表示/非表示の情報が設定できるものとする。
【0107】
同図に示す制御部213の動作は、デジタルカメラ本体の操作部から操作される動画像撮影の開始操作に基づいて開始される。
さて、動画像撮影の開始操作が上記操作部から操作されると、制御部213は、先ず、画像データ取得部201から逐次出力される所定単位毎(例えば数ライン毎など)の元画像データをDMA転送によって一時記憶部203に逐次記憶させる(S801)。続いて、その元画像データを一時記憶部203から所定単位毎に逐次読み出し、画像変換条件設定部211にデフォルトで設定された動画像撮影条件または操作部から設定変更された動画像撮影条件に基づき、読み出した元画像データに対して表示用画像形式変換処理が必要か否かを判断し(S803)、必要であれば元画像データに対して表示用画像形式変換処理を画像形式変換部205に1フレーム分行なわせて、表示用画像データを生成する(S805)。続いて、動画像撮影条件の表示/非表示の判断を画像変換条件設定部211にデフォルトで設定された表示/非表示の設定内容または操作部から設定変更された表示/非表示の設定内容から判断する(S807)。ステップS807において、その設定が表示であると判断すると生成した表示用画像データに動画像撮影条件を画像形式変換部205で埋め込み(S809)、ステップS811の処理に進む。一方、ステップS807において、その設定が非表示であると判断するとステップS809の処理をとばしてステップS811の処理を行なう。ステップS811においては、生成した表示用画像データ(動画像撮影条件が埋め込まれたものも含む)を表示部209に表示し、表示部209に古い表示用画像データが表示されている場合にはその古い表示用画像データを更新して(S811)、ステップS813の処理に進む。また、ステップS803において一時記憶部203から読み出した元画像データに対して表示用画像形式変換処理は必要でないと判断した場合にはステップS805からステップS811の処理をとばしてステップS813の処理に進む。ステップS813においては、上記元画像データに対して記録用画像形式変換処理を画像形式変換部205で1フレーム分行なわせ、記録用画像データを生成する(S813)。ステップS813において1フレーム分の記録用画像データが生成されると、その記録用画像データを記録部207に記録する(S815)。そして、動画像撮影の終了の指示が上記操作部からなされたことがステップS817で判断されるまで、ステップS801からステップS817までの処理は繰り返し実行され、動画像撮影の終了の指示が上記操作部からなされたとステップS817で判断すると、本処理を終了する。
【0108】
また、図15では、一時記憶部203に記憶される元画像データの全てに対して記録用画像データを作成する例を示したが、ステップS813に、一時記憶部203から読み出した元画像データに対して記録用画像形式変換処理が必要か否かを画像変換条件設定部211にデフォルトで設定された動画像撮影条件または操作部から設定変更された動画像撮影条件に基づいて判断させる判断処理を行なわせて、所定の元画像データに対してのみ記録用画像形式変換処理を行なうようにしてもよい。
【0109】
また、記録用画像データを記録部207に記録させるタイミングとして、記録用画像データが1フレーム生成されるごとに行なう例を示したが、そのタイミングは適宜設定してよく、例えば、全記録用画像データを一時記憶部203に記憶させておき、動画像撮影の終了後にまとめて記録部207へ記録させるようにしてもよい。
【0110】
また、画像形式変換部205において、表示用画像データから記録用画像データへの変換処理または記録用画像データから表示用画像データへの変換処理を行なうものとすれば、画像形式変換部205において、一時記憶部203に記憶された元画像データを基に生成した表示用画像データから記録用画像データを生成したり、一時記憶部203に記憶された元画像データを基に生成した記録用画像データから表示用画像データを生成したりすることができる。
【0111】
図16は、動画像撮影中に動画像撮影条件を表示画面上に表示させた場合の表示例である。
本例は、図12に示す「表示処理と記録処理の割合」の「1:3」が動画像撮影条件として画像変換条件設定部211に設定されている場合の動画像撮影中の表示例である。同図の例では、動画像の上部に「表示処理と記録処理の割合」及び「1:3」が表示されているが、表示位置や大きさや表示内容は適宜設定してよい。
【0112】
このように、動画像撮影中に動画像撮影条件が表示されれば、動画像撮影中であってもその動画像撮影条件の確認が容易となり、たとえ表示部に表示されている動画像が不自然な動きをしていても、例えば記録用画像データはそれよりも高いフレームレートで作成していることを知ることが容易なので、撮影者は安心して撮影に望めるようになる。
【0113】
図17は、動画像撮影時に設定した動画像撮影条件を動画像再生時に表示部209へ表示させるか否かが設定できる場合の制御部213の制御例である。
なお、本例においては、図2の画像形式変換部205において、生成された再生用画像データに対してさらに動画像撮影条件を埋め込むことが可能なものとし、図2の画像変換条件設定部211において、動画像撮影条件を表示部に表示させるか否かを示す表示/非表示の情報が設定できるものとし、記録部207において、動画像撮影時の動画像撮影条件の情報を記録用画像データに対応させて記録させているものとする。
【0114】
本処理は、図4のステップS411における動画像再生処理に相当する。
先ず、記録部207に記録された記録用画像データを一時記憶部203に読み出す(S901)。
そして、一時記憶部203に読み出した記録用画像データを画像形式変換部205で間引き伸張処理させて再生用画像データを生成させる(S903)。
【0115】
ここで、上記再生用画像データを表示部209に再生する際に動画像撮影条件を一緒に表示させるか否かの判断をする(S905)。
画像変換条件設定部211に動画像撮影条件の表示が設定されている場合は、ステップS905において動画像撮影条件を一緒に表示させるものと判断し、再生画像データに動画像撮影条件の情報を埋め込み(S907)、ステップS909の処理に進む。また、画像変換条件設定部211に動画像撮影条件の非表示が設定されている場合は、ステップS905において動画像撮影条件を一緒に表示させないものと判断し、ステップS907の処理をとばしてステップS909の処理に進む。
【0116】
ステップS909では、生成した再生用画像データ(動画像撮影条件が埋め込まれたものも含む)を表示部209に表示し、表示部209に古い再生用画像データが表示されている場合にはその古い再生用画像データを更新する。
このステップS901からステップS909の処理を、動画像再生処理を停止する指示が操作部からあるまで繰り返し行なう。
【0117】
ステップS911で動画像再生処理を停止する指示が操作部から入力されたと判断すると、本処理は終了する。
図18は、動画像撮影時の動画像撮影条件を動画像再生中に表示画面上に表示させた場合の表示例である。
【0118】
本例は、図13に示す「DFとRFの設定」の「DFが7.5fps、RFが22.5fps」が動画像撮影条件で撮影された記録用画像データを動画像撮影条件表示の設定で表示部209に再生表示させた例である。同図の例では、動画像の上部に「表示フレームレート:7.5fps」及び「記録フレームレート22.5fps」が表示されているが、表示位置や大きさや表示内容は適宜設定してよい。
【0119】
なお、図2以下の説明では、一例としてデジタルカメラを取り上げたが、逐次的に撮像される画像信号の記憶とその更新を所定範囲の記憶領域で逐次行ない、記憶領域にある画像信号を表示用画像データまたは記録用画像データに画像形式変換するもので、短時間当りの表示用と記録用の画像変換処理量が変わるもの、または記録用の画像変換処理量が表示用の画像変換処理量を上回る撮像装置であれば、何れの種類の撮像装置であってもよい。
【0120】
以上のように各画像形式変換処理を行なえば、記録用画像データのフレームレートを増加させることができるので動画像再生時の自然な再生を実現することができる。さらに、表示用画像形式変換処理は変換対象のフレームが一時記憶されるほぼ直後に常に行なわれるので実際の動画像と表示部に表示される動画像との間に遅延は生じず、撮影者は混乱することなく安心して撮影を行なうことができるようになる。
【0121】
【発明の効果】
以上述べたように、本発明によれば、記録用画像データのフレームレートを高めた状態で動画像撮影が可能となる。
【図面の簡単な説明】
【図1】本発明の一例であるデジタルカメラで行なわれる画像形式変換処理のタイムチャート例である。
【図2】デジタルカメラに構成される動画像処理システムのブロック図である。
【図3】デジタルカメラで動画像撮影が行なわれる場合の制御部213の動作例である。
【図4】動画像関連の処理を選択させるための処理例である。
【図5】図4のステップS403における制御部213の動作例である。
【図6】図5のステップS505における制御部213の動作例である。
【図7】図5のステップS509における制御部213の動作例である。
【図8】表示部209に表示されるモードの一例である。
【図9】表示部209に表示される動画像撮影条件の一例である。
【図10】表示部209に表示される動画像撮影条件の他の例である。
【図11】表示部209に表示される動画像撮影条件の他の例である。
【図12】表示部209に表示される動画像撮影条件の他の例である。
【図13】表示部209に表示される動画像撮影条件の他の例である。
【図14】表示部209に表示される動画像撮影条件の種類を複数組み合わせた例である。
【図15】動画像撮影中の動画像撮影条件表示/非表示の判断を含む、動画像撮影時の制御部213の制御例である。
【図16】動画像撮影中に動画像撮影条件を表示画面上に表示させた場合の表示例である。
【図17】動画像再生中の動画像撮影条件表示/非表示の判断を含む、動画像再生時の制御部213の制御例である。
【図18】動画像再生中に動画像撮影条件を表示画面上に表示させた場合の表示例である。
【図19】従来のデジタルカメラで検討されたフレーム処理のタイムチャート例である。
【図20】現状のデジタルカメラで適用されている表示用及び記録用の画像形式変換処理のタイムチャート例である。
【符号の説明】
201 画像データ取得部
203 一時記憶部
205 画像形式変換部
207 記録部
209 表示部
211 画像変換条件設定部
213 制御部
【発明の属する技術分野】
本発明は、撮像してバッファメモリに一時記憶された元画像データを基に記録用画像データを生成する画像生成技術に関し、特に、バッファメモリに逐次一時記憶される複数の画像データから逐次記録用画像データを生成する撮像装置、及びその生成のための画像形式変換方法に関する。
【0002】
【従来の技術】
被写体を撮像し、撮像した被写体の画像をデジタルデータとして記録する装置にデジタルカメラが知られている。デジタルカメラは、銀塩カメラで従来から行なわれてきたアナログの撮影をデジタルで行なえるように構成されたものであり、静止画像撮影を行なうために利用されることが一般的である。
【0003】
しかし、近年の信号処理の高速化や、メモリの小型化や、圧縮技術の高度化などに伴い、静止画像のみならず動画像をデジタルで撮影する機能を合わせ持つデジタルカメラが多く存在している。
動画像をデジタルで撮影する機能と言えば、通常、デジタルビデオカメラに代表される機能であるが、このデジタルビデオカメラによる動画像撮影とデジタルカメラによる動画像撮影とでは撮影された動画像の利用目的が異なるためそれぞれの撮影で生成されるデジタルデータの生成方式が異なっている。動画像は一般的にデータ量が膨大であるにもかかわらずデータの処理能力が限られたハードウエア環境下で撮影や再生が実現されなければならないため種々の圧縮処理がなされている。そして、この圧縮処理の圧縮方式が、デジタルビデオカメラで撮影された動画像とデジタルカメラで撮影された動画像との異なる利用目的によって、異なっている。
【0004】
デジタルビデオカメラの動画像撮影はその名の通り動画像としての利用を目的としているため、このデジタルビデオカメラで撮影される動画像には、動画像の1フレーム目のデータをもとに、2フレーム目はそれと違う部分だけ、3フレーム目は2フレーム目と違う部分だけと、直前のフレームとの差分を記録するなどして圧縮をかけるMPEGと呼ばれる高圧縮方式が採用されている。この圧縮方式は、動画像を動画として見ることに優れている反面、フレーム毎の利用や編集には不向きである。
【0005】
それに対して、デジタルカメラの動画像撮影は、動画像を構成する各フレームを静止画像として構成させてフレーム単位の利用を図ることを目的としているため、デジタルカメラで撮影される動画像には、通常の静止画像で利用されるJPEGと同様にフレーム単位で圧縮をかけるモーションJPEGという圧縮方式が採用され、この圧縮方式で撮影された各フレームを、時系列順に撮影時と同じ時間間隔で再生させることで動画像を形成している。
【0006】
このように生成される動画像は、撮影時と同じフレームレートの30(frame/sec)で記録されることが望ましい。
ところが、後者のデジタルカメラは静止画撮影を主として構成されており、動画像撮影で必要とされる逐次的なフレーム処理においては、小型化の波を受けたハードウエア構成の制限やこれをカバーするソフトウエアのアルゴリズムの開発の遅れなどから必ずしも所望の処理スピード(フレームレート)が得られてはいない。そのため、撮影により記録させるフレームレートを上記のように設定しようとするといくつかの問題が生じてしまう。
【0007】
ここで、上述したフレーム処理のタイミングを以下に図を追って説明する。
一般的にデジタルカメラでは、先ず始めに、被写体像がCCDなどの撮像素子により電気信号に変換され、この電気信号がゲイン調整回路やノイズ除去処理回路で各処理を経てA/D変換回路でデジタルデータに変換され、このデジタルデータは記憶領域に制限のある例えばDRAM(Dynamic Random Access Memory)などの一時記憶部にデジタルデータ(元画像データ)として一時的に記憶される。この元画像データは、一時記憶部から読み出され、デジタルカメラ本体に構成される例えば液晶などの表示部への表示用として画像形式が変換され、スルー画表示用画像データ(以下、表示用画像データとする。)として生成される。また、同一の元画像データは、デジタルカメラ本体に対して着脱可能なメモリカードなどの記録部への記録用として画像形式が変換され、記録用画像データとして生成される。そして、生成された表示用画像データはその都度表示部に表示され、生成した記録用画像データは所定のタイミングで記録部に記録される。動画像撮影では、被写体が撮像素子から逐次取り込まれ、上記処理が繰り返し行なわれている。
【0008】
図19は、以上のような従来のデジタルカメラで検討されたフレーム処理のタイミングの一例を示した図である。
同図は、一時記憶部に逐次記憶される被写体の元画像データ全てに対して逐次表示用及び記録用の画像形式変換処理が行なわれる場合のタイムチャートである。
【0009】
なお、同図では、一時記憶部へ被写体の1フレーム分の元画像データが書き込まれてから次のフレーム分の元画像データが一時記憶部へ書き込まれるまでの時間をΔinとし、一時記憶部へ記憶された元画像データを読み出して1フレーム分を表示用画像データに変換するまでの時間(ΔoutA)と一時記憶部へ記憶されたその元画像データを読み出して記録用画像データに変換するまでの時間(ΔoutB)とを合わせた時間をΔoutとする。
【0010】
また、同図はΔin<Δout<2*Δin(*は積を示す演算記号である。)の関係を前提としている。
同図に示す六角形のボックスは、動画像の1フレームを単位とする処理を示し、同図の時間軸t方向に対してそのボックスの処理時間と処理順が対応している。
【0011】
同図の上段は、一時記憶部に逐次記憶される元画像データを時間軸t方向にフレーム単位で時系列順に並べた様子が示されている。同図の様子を各フレームの切り替わる点である時間軸t上のアルファベットの大文字(A点、B点、・・・)で示すと、一時記憶部では、時間軸t上のA点で、フレーム1の元画像データの一時記憶を完了し、続けてフレーム2の記憶を開始し始め、その後も同様に、後続するフレームを逐次一時記憶していく。
【0012】
同図の下段は、上段の各ボックスで示されるフレーム単位の各元画像データに対して施される表示用画像形式変換処理及び記録用画像形式変換処理が同図の時間軸t方向に対応してこの順で示されている。
なお、各フレーム単位の元画像データに対する記録用画像形式変換処理が終わる時刻を時間軸t上にアルファベットの小文字(a点、b点、・・・)で示すものとする。
【0013】
同図の下段においては、時間軸t上のA点で一時記憶の完了した同図の上段に示すフレーム1の元画像データに対して、この時点から表示用画像変換処理及び記録用画像変換処理がこの順に行なわれている様子が示されている。フレーム1の記録用画像形式変換処理が終わる時刻は時間軸t上のa点で示され、Δin<Δout<2*Δinの関係からこのa点では、同図の上段に示すように一時記憶部へのフレーム2の記憶が完了してフレーム3の記憶が既に開始されている。同図の下段に示すように、a点でフレーム1の記録用画像形式変換処理を終えるとすぐにフレーム2の表示用画像形式変換処理が開始され、さらに、フレーム2の記録用画像形式変換処理も行なわれる。そして、後続する各フレームに対しても以上に示した表示用及び記録用の画像形式変換処理がこの順で繰り返されている。
【0014】
同図の上段及び下段の比較から明らかなように、表示用画像形式変換処理が終了する時点とその表示用画像形式変換処理の対象となる元画像データが一時記憶される時点との間では、時間が経過するに連れて、遅延が進む。
この結果、表示用画像形式変換処理によって生成された表示用画像データをその都度表示部に更新表示させて形成される表示部の動画像は実際に撮影している動画像よりも前に撮影した動画像となり、時間の経過と共に実際に撮影している動画像と表示部に表示させる動画像との時間差が大きくなることから、撮影者に対して混乱や動画像撮影の不便さを招いてしまうこととなる。
【0015】
また、上述したように一時記憶部の記憶領域には限界があるため、逐次撮像されてデジタル変換された元画像データを記憶する一時記憶部に記憶領域不足が生ずると、次に一時記憶される元画像データが、最初に記憶された一時記録部の格納場所から格納順に、上書きされてしまう。そして、格納場所にあった元画像データが上書きされるまでの間にその元画像データに対する記録用画像データの生成を行なわなければ、その元画像データを再度復元することはできなくなる。
【0016】
すなわち、図19の上段に示す各ボックスの番号▲1▼から▲3▼を、一時記憶部で記憶できる各格納場所の格納順序を示した番号とすると、フレーム4の元画像データはフレーム1の元画像データが格納されている格納場所▲1▼に上書き処理されることとなる。図19に示す例では、フレーム1の格納場所▲1▼の最初の書き換えが開始される時間軸t上のC点よりも前にフレーム1の記録用画像形式変換処理は終了しているため、C点では限られた記憶領域という点での問題は発生しない。しかし、処理が進んで時間軸t上のD点に達すると、フレーム2の元画像データを記録用画像形式変換処理中に、フレーム2の元画像データが一時記憶されている格納場所▲2▼は、フレーム5の元画像データで上書き処理が開始され、D点以後の記録用画像形式変換処理で生成される記録用画像データはフレーム2とフレーム5が混在した異常なものとなってしまう。そして、後続処理される記録用画像データや、もちろん表示用画像データにおいても、上記処理を受けて使いものにならなくなってしまう。
【0017】
この問題を回避するために1フレーム当りのデータ量を減らして、Δoutを小さく抑えてフレームレートを上げる方法も考えられるが、各フレームの静止画像の品質を下げる結果となるため望ましい方法ではない。
【0018】
【発明が解決しようとする課題】
そこで、現状のデジタルカメラにおいては、画像形式変換処理をするフレームレートを例えば15(frame/sec)などの低いフレームレートに落としてフレーム処理を行なわせている。
【0019】
図20は、上述した現状のデジタルカメラで適用されている表示用及び記録用の画像形式変換処理のタイムチャートの一例である。
同図の上段は、図19の上段に示される図と同様で、一時記憶部に逐次記憶される元画像データを時間軸t方向にフレーム単位で時系列順に並べたものである。
【0020】
また、同図の時間軸t上に示される記号A点からG点は、図19の時間軸t上に示したものと同様に、同図の上段に示される各フレームが切り替わる点を示している。
図20の下段は、同図の上段に示される元画像データの各フレームに対して行なわれる表示用及び記憶用の画像形式変換処理を、半分に減らした場合の様子、すなわち、本例では同図の上段の偶数番号のフレームをとばして奇数番号のフレームに対して画像形式変換処理を行なった様子、が時間軸tに対応して示されている。
【0021】
本例はΔin<Δout<2*Δinの関係があることから、フレームを1つとばしで表示用及び記録用の画像形式変換処理を行なうようにしたので、奇数番号のフレームに対する表示用画像形式変換処理はその処理の対象となるフレーム分の元画像データが一時記憶部に記憶されると同時に常に開始することが可能となる。
【0022】
これによって、実際に撮影している動画像と表示部に表示させる動画像との時間差が極端に広がる事態を避け、撮影者に対して快適に動画像撮影ができるようにしている。また、記録用画像形式変換処理を行なう前または途中にその処理の元となるフレーム分の元画像データが一時記憶部の格納場所から無くなるという事態を避け、正常に記録処理を行なえるようにしている。
【0023】
但し、本例の方法で得られた記録用画像データは所望のフレームレートの半分のフレームレートとなるため、動画像再生時に自然な動きで再生できる例えば30(frame/sec)などのフレームレートの高いものに比べ、ぎくしゃくした不自然な動きで再生されるという記録用画像データとしては好ましくない問題が生じてしまう。
【0024】
さらに、上記問題においては、(α−1)*Δin<Δout<α*Δin(αは2以上の整数とする。)とした場合も同様に言える。
すなわち、図19の下段のタイムチャートにおいて、フレーム1の記録用画像形式変換処理の終了を示す時間軸t上のa点が、同図の上段のフレーム3以後のフレームの一時記憶の完了を示す時間軸t上のアルファベットの大文字で示される各点(C点、D点、E点、F点、G点、・・・)を、αの値が2から1増加する毎に、一つとび越える形で同図のボックスが時間軸方向に延びて表される。そして、後続するボックスも、前段の各記録用画像形式変換処理に続けて、同様に時間軸方向に延びて表される。このように、αが増加するにつれて、撮影されている動画像に対して表示部に表示される動画像の上記遅延の量は増し、制限された記憶領域という観点からはより早い段階で異常な画像が生成される結果となる。そして、図20の下段のタイムチャートにおいては、フレーム1の元画像データに対して記録用画像形式変換処理が終了する時間軸t上のa´点が、同図の上段のフレーム3以後のフレームの一時記憶の完了を示す時間軸t上のアルファベットの大文字で示される各点(C点、D点、E点、F点、G点、・・・)を、αの値が2から1増加する毎に、一つとび越える形で同図のボックスが時間軸方向に延びて表される。そして、後続するボックスも、前段の各記録用画像形式変換処理が終了する時間軸t上の点以後の、同図上段のフレームの一時記憶の完了を示す時間軸t上の点に続けて、同様に時間軸方向に延びて表される。このように、上述したような遅延を無くすためには、画像形式変換処理をする対象のフレームをαが1増加する毎にさらに1フレームとばす必要があり、この結果、フレームレートはさらに落ち込み、この記録した動画像を再生する際には一層ぎくしゃくした動きとなってしまう。
【0025】
以上のように、従来のデジタルカメラにおいては、ハードウエアの制限や処理スピードを上げるソフトウエアの開発の遅れなどから記録用画像データに対して所望のフレームレートを実現させるのが困難であり、時系列順の情報量を少なくした記録用画像データでは動画像再生時に自然な動きが表現できなかった。
【0026】
そこで本発明は、記録用画像データのフレームレートを増加させることが可能な撮像装置、及び画像形式変換方法を提供することを目的とする。
【0027】
【課題を解決するための手段】
本発明は上記課題を解決するために以下のように構成する。
すなわち本発明の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と、前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段と、前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数が前記画像形式変換手段で前記単位時間当りに生成されるスルー画表示用画像データの画像枚数よりも上回る設定を有する画像変換条件設定手段と、前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段と、を有するように構成する。
【0028】
このように構成することによって、画像形式変換手段で生成する画像データの種類を、表示用画像データよりも記録用画像データの方を多くすることが可能となる。
また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と、前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段と、前記画像形式変換手段で単位時間当りに生成されるスルー画表示用画像データの画像枚数を減らすことにより前記画像形式変換手段で前記単位時間当りに生成される記録用画像データの画像枚数が増えるようにした設定を有する画像変換条件設定手段と、前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段と、を有するように構成する。
【0029】
このように構成することによって、画像形式変換手段において、表示用画像データの生成を減らして記録用画像データの生成を増やすことが可能となる。
また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と、前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段と、前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数と前記画像形式変換手段で前記単位時間当りに生成されるスルー画表示用画像データの画像枚数とを相対的に変化させる設定を有する画像変換条件設定手段と、前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段と、を有するように構成する。
【0030】
このように構成することによって、画像形式変換手段において生成する表示用画像データと記録用画像データの画像枚数を相対的に変化させることが可能となる。
また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と、前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段と、前記記憶されている画像信号を順次画像形式変換する際に、前記スルー画表示用画像データ及び前記記録用画像データの双方に順次画像形式変換する第一の画像形式変換と前記記憶されている画像信号を前記記録用画像データにのみ画像形式変換する第二の画像形式変換とを時系列的に行なう設定を有する画像変換条件設定手段と、前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段と、を有するように構成する。
【0031】
このように構成することによって、表示用画像データを生成する全ての画像信号に対して記録用画像データを生成し、その他の所定の画像信号に対しては記録用画像データのみ生成することが可能となる。
なお、上述した構成における画像変換条件設定手段は、例えば以下のように設定される。
【0032】
すなわち、第一の例として、前記画像変換条件設定手段は、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合で設定される。
第二の例として、前記画像変換条件設定手段は、前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数に対する前記画像形式変換手段で前記単位時間当りに生成されるスルー画表示用画像データの画像枚数の割合で設定される。
【0033】
第三の例として、前記画像変換条件設定手段は、前記記録用画像データの画像品質で設定され、さらに該画像品質には、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合が関連付けられている。
【0034】
第四の例として、前記画像変換条件設定手段は、前記画像形式変換手段で単位時間当りに生成されるスルー画表示用画像データの画像枚数と前記画像形式変換手段で前記単位時間当りに生成される記録用画像データの画像枚数との比率で設定される。
【0035】
第五の例として、前記画像変換条件設定手段は、前記画像形式変換手段で生成されるスルー画表示用画像データのフレームレートと前記画像形式変換手段で生成される記録用画像データのフレームレートとの組み合わせで設定される。
第六の例として、前記画像変換条件設定手段は、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合で設定されるモード、前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数に対する前記画像形式変換手段で該単位時間当りに生成されるスルー画表示用画像データの画像枚数の割合で設定されるモード、前記記録用画像データの画像品質で設定され、さらに該画像品質には、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合が関連付けられているモード、前記画像形式変換手段で単位時間当りに生成されるスルー画表示用画像データの画像枚数と前記画像形式変換手段で該単位時間当りに生成される記録用画像データの画像枚数との比率で設定されるモード、前記画像形式変換手段で生成されるスルー画表示用画像データのフレームレートと前記画像形式変換手段で生成される記録用画像データのフレームレートとの組み合わせで設定されるモード、の内、何れか一つのモードが設定される。
【0036】
第七の例として、前記画像変換条件設定手段は、前記記録用画像データの画像品質が設定可能で、さらに、該設定された画像品質に対して、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合を設定できる。
【0037】
また、上述した構成に、前記画像変換条件設定手段の設定内容を表示する警告表示手段と、前記撮像装置に着脱可能な記録媒体に記録可能な記録手段とを、更に有し、前記画像変換条件設定手段の設定内容の表示は、該画像変換条件設定手段の設定内容に基づいて画像形式変換された前記記録用画像データを前記記録手段に記録する際に行なわれる、ようにすることもできる。
【0038】
そして、前記記録手段に記録された記録用画像データを再生する際は、前記記録用画像データに画像形式変換される際の前記画像変換条件設定手段における設定内容を前記記録用画像データとともに前記警告表示手段に表示可能とする、こともできる。
【0039】
このように構成することによって、記録用画像データを記録手段に記録する際または記録手段に記録された記録用画像データを再生する際に前記画像変換条件設定手段の設定内容が表示できるようになる。
また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行ない、前記記憶時の画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する撮像装置の画像形式変換方法であって、単位時間当りに生成される前記記録用画像データの画像枚数が該単位時間当りに生成される前記スルー画表示用画像データの画像枚数よりも上回るように画像形式変換させる、ようにすることである。
【0040】
このようにすることによって、画像形式変換して生成する画像データの種類を、表示用画像データよりも記録用画像データの方を多くすることが可能となる。また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行ない、前記記憶時の画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する撮像装置の画像形式変換方法であって、単位時間当りに生成される前記スルー画表示用画像データの画像枚数を減らすことにより前記単位時間当りに生成される前記記録用画像データの画像枚数が増えるように画像形式変換させる、ようにすることである。
【0041】
このようにすることによって、表示用画像データの生成を減らして記録用画像データの生成を増やすことが可能となる。
また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行ない、前記記憶時の画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する撮像装置の画像形式変換方法であって、単位時間当りに生成される前記記録用画像データの画像枚数と該単位時間当りに生成される前記スルー画表示用画像データの画像枚数とを相対的に変化させて画像形式変換する、ようにすることである。
【0042】
このようにすることによって、画像形式変換して生成する表示用画像データと記録用画像データの画像枚数を相対的に変化させることが可能となる。
また、本発明の他の態様の一つは、順次撮像される画像信号の記憶と該記憶の更新を順次行ない、前記記憶時の画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する撮像装置の画像形式変換方法であって、前記記憶されている画像信号を順次画像形式変換する際に、前記スルー画表示用画像データ及び前記記録用画像データの双方に順次画像形式変換する第一の画像形式変換と前記記憶されている画像信号を前記記録用画像データにのみ画像形式変換する第二の画像形式変換とを時系列的に行なう、ようにすることである。
【0043】
このように構成することによって、表示用画像データを生成する全ての画像信号に対して記録用画像データを生成し、その他の所定の画像信号に対しては記録用画像データのみ生成することが可能となる。
【0044】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら詳細に説明する。
図1は、本発明の一例であるデジタルカメラで行なわれる画像形式変換処理のタイムチャート例である。
【0045】
同図の上段は、図19の上段及び図20の上段に示される図と同様で、従来技術の説明で述べた一時記憶部に逐次記憶される元画像データを時間軸t方向にフレーム単位で時系列順に並べたものである。
また、同図の時間軸t上に示される記号A点からG点は、図19の時間軸t上に示したものと同様に、同図の上段に示される各フレームが切り替わる点を示している。そして、同図の時間軸t上に示される記号a点からd点は、図19の時間軸t上に示したものと同様に、対象となるフレーム単位の元画像データに対して記録用画像形式変換処理が終わる点を示している。
【0046】
図1の下段には、元画像データの所定のフレームに対して表示用及び記憶用の画像形式変換処理を1対3の比で行なわせた場合の様子が時間軸tに対応して示されている。
但し、同図では、Δin<Δout<2*ΔinかつΔin>ΔoutB(各記号は,従来技術と同様のものとする。)の関係を前提とした。
【0047】
同図の下段においては、時間軸t上のA点で一時記憶の完了した同図の上段に示すフレーム1の元画像データに対して、この時点から表示用画像変換処理及び記録用画像変換処理がこの順に行なわれている様子が示されている。
同図において、フレーム1の記録用画像形式変換処理が終わる時刻は時間軸t上のa点で示され、このa点では、Δin<Δout<2*Δinの関係から一時記憶部でのフレーム2の一時記憶が完了してフレーム3の一時記憶が既に開始されている。
【0048】
また、同図の下段においては、同図の上段に示されるフレーム3の一時記憶が完了するまで処理を待ち、フレーム3の一時記憶が完了する時間軸t上のC点から、フレーム2ではなく、一時記憶が完了したばかりのフレーム3に対して二つ目の記録用画像形式変換処理を開始する。この記録用画像形式変換処理は、Δin>ΔoutBの関係から、同図の上段のフレーム4が一時記憶される時間軸t上のD点よりも前のb点で処理が完了する。そして、時間軸t上のD点で同図の上段のフレーム4の一時記憶が完了すると、三つ目の記録用画像形式変換処理をこのフレーム4に対して開始する。二つ目の記録用画像形式変換処理のように、同図の上段のフレーム5が一時記憶される時間軸t上のE点よりも前のc点でこの処理は完了する。本例は、表示用及び記録用の画像形式変換処理量の比率を1対3に設定しているので、続く時間軸t上のE点になるとフレーム5に対して表示用及び記録用の画像形式変換処理をこの順で行なう。そして、この記録用画像形式変換処理は時間軸t上のd点で完了し、その後に一時記憶処理が完了するフレーム7の時間軸t上のG点からフレーム7に対する記録用画像形式変換処理のみが行なわれ、続くフレーム8に対しても同様に同図には示されていないが記録用画像形式変換処理のみが行なわれる。さらに、以後の処理においても、時間軸t上のA点からE点に示される同図の下段の処理パターンが同図の上段のフレームに対応して繰り返し行なわれる。
【0049】
このように本例では、表示用及び記録用の画像形式変換処理を行なったフレームの直後のフレームをとばして、続く2つのフレームに対して立て続けに記録用画像形式変換処理のみを行ない、さらに続く1つのフレームに対しては元の処理内容に戻して表示用及び記録用の画像形式変換処理を行ない、その後もこれら一連の処理を繰り返し行なう。
【0050】
なお、本例では、Δin<Δout<2*ΔinかつΔin>ΔoutBの関係を前提としたが、(α−1)*Δin<Δout<α*Δin(各記号は,従来技術と同様のものとする。)かつΔin>ΔoutBの関係においても同様に考えると、表示用及び記録用の画像形式変換処理を行なったフレームの直後に続くα−1個分のフレームが各画像形式変換処理をとばされて、その後に続く2つのフレームに対して立て続けに記録用画像形式変換処理のみを行ない、さらに続く1つのフレームに対しては元の処理内容に戻して表示用及び記録用の画像形式変換処理を行ない、その後もこれら一連の処理を繰り返し行なう。
【0051】
さらに、(α−1)*Δin<Δout<α*Δinかつ(α−2)Δin<ΔoutB<(α−1)Δinの関係においても同様に考えると、表示用及び記録用の画像形式変換処理を行なったフレームの直後に続くα−1個分のフレームが画像形式変換処理をとばされて、その後に続く1つのフレームに対して記録用画像形式変換処理のみを行ない、続くα―2個分のフレームが画像形式変換処理をとばされて、続く1つのフレームに対して記録用画像形式変換処理のみを行ない、さらに続くα―2個分のフレームが画像形式変換処理をとばされて、続く1つのフレームに対しては元の処理内容に戻して表示用及び記録用の画像形式変換処理を行ない、その後も同様にこれら一連の処理を繰り返し行なう。
【0052】
また、本例では、フレーム1から表示用及び記録用の画像形式変換処理を行なわせているが、フレーム1に対しては記録用画像形式変換処理のみ行なわせ、フレーム2から表示用及び記録用の画像形式変換処理を行なわせてもよいし、フレーム2に対しても記録用画像形式変換処理のみを行なわせ、フレーム3から表示用及び記録用の画像形式変換処理を行なわせてもよい。
【0053】
また、本例では、画像形式変換処理の順番を表示用を先に記録用を後にしているが、記録用を先に表示用を後にしてもよい。
また、本例では図1の上段のフレームを4回に1回とばして表示用または記録用の画像形式変換処理を行なわせてるが、表示用及び記録用の画像形式変換処理とこれに続く2回の記録用画像形式変換処理との時間の和が、上段の3フレーム分が一時記憶される時間よりも少なければ、画像形式変換処理を連続的に実行することで一時記憶部に記憶される全ての元画像データに対して記録用画像形式変換処理が行なえる。
【0054】
また、本例では表示用及び記録用の画像形式変換処理の比を1対3として示したが比率は任意に設定できる。
また、この比率と、Δinと、ΔoutAと、ΔoutBと、一時記憶部の記憶容量とから、表示用画像形式変換処理が遅延なく処理でき、各種の画像形式変換処理を行なわせる多数のタイミングを決定できる。
【0055】
以上のように、表示用画像形式変換処理及び記録用画像形式変換処理の単位時間(本例では、A点からE点で示される時間の単位)当りの処理を、例えば、生成する記録用画像データの画像枚数が表示用画像データの画像枚数よりも上回るようにしたり、生成する表示用画像データの画像枚数を減らすことにより記録用画像データの画像枚数が増えるようにしたり、生成する記録用画像データの画像枚数と表示用画像データの画像枚数とを相対的に変化させるようにしたり、元画像データを順次画像形式変換する際に、表示用画像データと記録用画像データの双方に順次画像形式変換する第一の画像形式変換と記録用画像データにのみ画像形式変換する第二の画像形式変換とを時系列的に行なわせるようにしたりするなど、それぞれ異ならせて、記録用画像形式変換処理を行なうフレーム数を増やす。また、表示用画像形式変換処理にあっては、その変換の対象となるフレームが一時記憶部に記憶された直後に、変換処理を行なうようにする。
【0056】
このようなタイミングで各画像形式変換処理を行なえば、記録用画像データのフレームレートを増加させることができるので動画像再生時の自然な再生を実現することができる。さらに、表示用画像形式変換処理は変換対象のフレームが一時記憶されるほぼ直後に常に行なわれるので実際の動画像と表示部に表示される動画像との間に遅延は生じず、撮影者は混乱することなく安心して撮影を行なうことができるようになる。
【0057】
なお、表示用画像形式変換処理がフレーム単位で間引かれ、動画像撮影時の表示部での表示がぎくしゃくするとしても、表示部に更新される画像とその時点の実際の動画像との間に時間的な差異は感じられないため、撮影者は安心して動画像を撮影できる。
【0058】
また、このように生成された記録用画像データは、記録用画像形式変換が行なわれなかったフレームに対応する場所に一フレームを構成する空データや直前または直後のフレームのコピーを備えさせてもよい。このようにして動画像撮影時の撮影スピードと同じスピードで再生される記録用画像データは、動画像撮影時における被写体の動くスピードと同じスピードで再生され、より被写体の自然な動きが再現される。
【0059】
次に、図1のタイムチャートに示す処理をデジタルカメラに構成する場合を以下に示す。
図2は、デジタルカメラに構成される動画像処理システムのブロック図である。
【0060】
図2のブロック図は、画像データ取得部201と、一時記憶部203と、画像形式変換部205と、記録部207と、表示部209と、画像変換条件設定部211と、制御部213とで構成される。
画像データ取得部201では、例えば所定のクロックレートで駆動するCCDなどの撮像素子から被写体をアナログの電気信号として取り込み、この電気信号にゲイン調整やノイズ除去処理の回路を介させて、最終的にA/D変換回路によってデジタルデータに変換する。
【0061】
一時記憶部203は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)などのRAM(Random Access Memory)で構成され、画像データ取得部201で生成されたデジタルデータ(元画像データ)を一時的に記憶したり、変換処理されたデジタルデータを一時的に記憶したり、記録部207から読み出したデータを一時的に記憶したりする。
【0062】
画像形式変換部205では、一時記憶部203に記憶された元画像データを、表示部209に表示させる表示用画像データ、または記録部207に記録する記録用画像データに画像形式変換処理したり、記録部207に記録された記録用画像データを表示用に間引き伸張処理したりする。本例に示す画像形式変換とは、表示用画像データにおいては色信号処理やリサイズ処理やγ変換処理などの表示用画像形式変換を示し、記録用画像データにおいては上記処理にさらにモーションJPEGの画像圧縮処理を加えた記録用画像形式変換を示す。
【0063】
記録部207は、デジタルカメラ本体に対して着脱可能な例えばメモリカードなどの可搬型記録媒体で構成され、画像形式変換部205で生成された記録用画像データを記録する。
表示部209は、例えば液晶などのディスプレイで構成され、画像形式変換部205で生成された表示用画像データや、記録部207に記録した記録用画像データの再生データや、各種メニュー画面を表示する。
【0064】
画像変換条件設定部211では、画像形式変換部205で行なわれる表示用画像形式変換処理と記録用画像形式変換処理の処理条件が設定できる。
この処理条件とは、大別すると、生成する記録用画像データの画像枚数が表示用画像データの画像枚数よりも上回るようにした条件や、生成する表示用画像データの画像枚数を減らすことにより記録用画像データの画像枚数が増えるようにした条件や、生成する記録用画像データの画像枚数と表示用画像データの画像枚数とを相対的に変化させるようにした条件や、元画像データを順次画像形式変換する際に、表示用画像データと記録用画像データの双方に順次画像形式変換する第一の画像形式変換と記録用画像データにのみ画像形式変換する第二の画像形式変換とを時系列的に行なわせるようにした条件などが挙げられ、その具体例としては、図1に示す表示用画像形式変換処理を行なう対象のフレーム数と記録用画像形式変換処理を行なう対象のフレーム数の単位時間当りの比率である1対3が挙げられる。
【0065】
そして、このような条件は、例えば、デジタルカメラ本体の図2に示されていない操作部からの操作により、表示部209に表示される条件設定画面上で所望の条件を選択または入力するなどして、設定できる。
制御部213では、例えば、各種演算を行なう中央処理装置(CPU)で所定のプログラムが実行されたり、DMA(Direct Memory Access)転送が行なわれるなどして、上記各部を制御している。
【0066】
図3は、上記動画像処理システムを有するデジタルカメラで動画像撮影が行なわれる場合の制御部213の動作例である。
同図に示す制御部213の動作は、デジタルカメラ本体の図2に示されていない操作部から操作される動画像撮影の開始操作、例えばレリーズ釦の押下操作など、に基づいて開始される。
【0067】
さて、動画像撮影の開始操作が上記操作部から操作されると、制御部213は、先ず、画像データ取得部201から逐次出力される所定単位毎(例えば数ライン毎など)の元画像データをDMA転送によって一時記憶部203に逐次記憶させる(S301)。続いて、その元画像データを一時記憶部203から所定単位毎に逐次読み出し、画像変換条件設定部211にデフォルトで設定された表示用画像形式変換の処理条件または操作部から設定された表示用画像形式変換の処理条件に基づき、元画像データに対して表示用画像形式変換処理を画像形式変換部205に1フレーム分行なわせ、表示用画像データを生成する(S303)。ステップS303において1フレーム分の表示用画像データが生成されると、その表示用画像データは表示部209に表示させられ、表示部209に古い表示用画像データが表示されている場合にはその古い表示用画像データが更新される(S305)。続いて、同一の元画像データに対して、画像変換条件設定部211にデフォルトで設定された記録用画像形式変換の処理条件または操作部から設定された記録用画像形式変換の処理条件に基づき、記録用画像形式変換処理を画像形式変換部205で1フレーム分行なわせ、記録用画像データを生成する(S307)。ステップS307において1フレーム分の記録用画像データが生成されると、その記録用画像データは記録部207に記録される(S309)。ステップS301からステップS309までの処理は、動画像撮影の終了操作が上記操作部からなされたことをステップS311で判断されるまで繰り返し実行され、動画像撮影の終了操作、例えばレリーズ釦を再び押下する操作など が上記操作部からなされたことがステップS311で判断されると、処理を終了する。
【0068】
また、図3では表示用画像形式変換処理してから記録用画像形式変換処理をしているが、記録用画像形式変換処理をしてから表示用画像形式変換処理を行なってもよい。
また、画像形式変換部205において、表示用画像データから記録用画像データへの変換処理または記録用画像データから表示用画像データへの変換処理を行なうものとすれば、画像形式変換部205において、一時記憶部203に記憶された元画像データを基に生成した表示用画像データから記録用画像データを生成したり、一時記憶部203に記憶された元画像データを基に生成した記録用画像データから表示用画像データを生成したりすることができる。
【0069】
また、記録用画像データを記録部207に記録させるタイミングとして、記録用画像データが1フレーム生成されるごとに行なう例を示したが、そのタイミングは適宜設定してよく、例えば、全記録用画像データを一時記憶部203に記憶させておき、動画像撮影の終了後にまとめて記録部207へ記録させるようにしてもよい。
【0070】
このように構成されたデジタルカメラで撮影される動画像の記録用画像データは、再生時に、記録時と同じ時間間隔で各フレームを再生させることによって、動画像を形成する。そして、単位時間当りの記録用画像形式変換処理の量が表示用画像形式変換処理の量を上回る場合には、再生される動画像を形成する静止画像の単位時間当りの密度は高いものとなり、動画品質が高まる。
【0071】
次に、上記動画像撮影に関連する処理を以下に図4から図7を用いて説明する。なお、以下の説明において、表示部209に表示させる複数の設定項目やモードや動画像撮影条件は縦に並べて表示させるものとし、これら複数の設定項目やモードや動画像撮影条件の選択は画面上に表示させたカーソルで指定して行なうものとする。
【0072】
また、以下の各種操作において、動画像撮影の開始にはレリーズ釦、画面上のカーソルの移動には方向指示釦、カーソルが指定する項目の確定には確定釦、処理のキャンセルにはキャンセル釦、設定画面の終了には終了釦で行ない、これらの何れの釦も図2には示されていない操作部に構成されているものとする。
【0073】
図4は、上記動画像撮影を含む動画像関連の処理の中から所定の項目を選択させるための制御部213での処理フローの一例である。
同図で示されているように、制御部213は動画像関連の処理の開始指示(各種設定変更処理の開始指示、動画像撮影の開始指示、及び動画像再生処理の開始指示)またはその他の処理の開始指示が操作部から入力されるまで待機している。
【0074】
なお、設定変更処理とは、動画像撮影で行なわれる表示用及び記録用の画像形式変換処理の処理条件を設定するための処理であり、動画像再生処理とは、動画像撮影で記録部207に記録された記録用画像データの再生データを表示部209に再生させる処理である。
【0075】
制御部213は、各種設定変更処理の開始指示が操作部から入力されたと判断すると(S401)、各種設定変更処理を開始し(S403)、ステップS403における各種設定変更処理を終えると、上記待機の状態に戻る。
また、制御部213は、動画像撮影の開始指示が操作部から入力されたと判断すると(S405)、動画像撮影を開始し(S407)、図3に示す制御を行なう。ステップS407における動画像撮影を終えると、上記待機の状態に戻る。
【0076】
また、制御部213は、動画像再生処理の開始指示が操作部から入力されたと判断すると(S409)、動画像再生処理を開始し(S411)、ステップS411における動画像再生処理を終えると、上記待機の状態に戻る。
また、制御部213は、その他の処理の開始指示が操作部から入力されたと判断すると(S413)、その他の処理を開始し(S415)、ステップS415におけるその他の処理を終えると、上記待機の状態に戻る。
【0077】
図5は、図4のステップS403に示す各種設定変更処理における制御部213の動作フロー例である。
先ず、表示部209に複数の設定項目を表示し、操作部からの上下移動指示に基づいて指定先の設定項目にカーソルを移動し、カーソルが指定する設定項目を操作部からの確定指示に基づいて確定させる(S501)。
【0078】
そして、確定した項目が動画像撮影条件設定モードを設定する項目であるかどうかを判断し(S503)、動画像撮影条件設定モードを設定する項目であると判断すると、動画像撮影条件設定モードの設定変更処理を開始する(S505)。
【0079】
ステップS503において、動画像撮影条件設定モードを設定する項目ではないと判断した場合は、動画像撮影条件を設定する項目であるかどうかを判断し(S507)、動画像撮影条件を設定する項目であると判断した場合は、動画像撮影条件の設定変更処理を開始する(S509)。
【0080】
ステップS507において、動画像撮影条件を設定する項目ではないと判断した場合は、その他の設定内容を変更する処理を開始する(S511)。
また、ステップS505、ステップS509、またはステップS511の処理を終了すると、操作部からの各種設定変更処理の終了を示す入力があるかどうかを判断し(S513)、ステップS513において終了を示す入力がないと判断した場合はステップS501の処理に戻り、上述したステップS501からステップS513の処理を繰り返し実行する。ステップS513において終了を示す入力があると判断すると、各種設定変更処理を終了する。
【0081】
図6は、図5のステップS505に示す動画像撮影条件設定モードの設定変更処理における制御部213の動作フロー例である。
制御部213では、設定変更する複数のモードを表示部209に表示している状態で、カーソルを上方向に移動する指示が操作部から入力されたかどうか(S601)、カーソルを下方向に移動する指示が操作部から入力されたかどうか(S603)、カーソルで指定するモードを確定する指示が操作部から入力されたかどうか(S605)、本設定変更処理をキャンセルする指示が操作部から入力されたかどうか(S607)を判断し、何れかの入力があることを判断するまで待機する。
【0082】
ステップS601で、カーソルを上方向に移動する指示が操作部から入力されたと判断すると、その入力回数やその入力の継続時間に基づいて、現在指定しているモードから一つ上または複数上に位置するモードへとカーソルを移動する移動量を算出し(S609)、表示部209の表示内容を更新させる(S611)。
【0083】
また、ステップS601で、カーソルを上方向に移動する指示が操作部から入力されていないと判断し、ステップS603で、カーソルを下方向に移動する指示が操作部から入力されたと判断すると、その入力回数やその入力の継続時間に基づいて、現在指定しているモードから一つ下または複数下に位置するモードへとカーソルを移動する移動量を算出し(S613)、表示部209の表示内容を更新させる(S611)。ステップS611における表示部209の表示内容の更新が完了すると、ステップS601から同様に処理が繰り返される。
【0084】
また、ステップS603において、カーソルを下方向に移動する指示が操作部から入力されていないと判断し、ステップS605において、カーソルで指定するモードを確定する指示が操作部から入力されたと判断すると、カーソルで指定しているモードが動画像撮影条件設定モードとなるように、画像変換条件設定部211にデフォルトで設定された動画像撮影条件設定モードの内容を更新する(S615)。
【0085】
そして、設定された動画像撮影条件設定モードを表示部209に表示して(S617)、本処理を終了する。
また、ステップS605において、カーソルで指定するモードを確定する指示が操作部から入力されていないと判断し、ステップS607において、キャンセルする指示が操作部から入力されたと判断すると、キャンセルした場合の表示に更新して(S617)、本処理を終了する。
【0086】
図7は、図5のステップS509に示す動画像撮影条件の設定変更処理における制御部213の動作フロー例である。
制御部213では、複数の動画像撮影条件を表示部209に表示している状態で、カーソルを上方向に移動する指示が操作部から入力されたかどうか(S701)、カーソルを下方向に移動する指示が操作部から入力されたかどうか(S703)、カーソルで指定する動画像撮影条件を確定する指示が操作部から入力されたかどうか(S705)、本設定変更処理をキャンセルする指示が操作部から入力されたかどうか(S707)を判断し、何れかの入力があることを判断するまで待機する。
【0087】
ステップS701で、カーソルを上方向に移動する指示が操作部から入力されたと判断すると、その入力回数やその入力の継続時間に基づいて、現在指定している動画像撮影条件から一つ上または複数上に位置する動画像撮影条件へとカーソルを移動する移動量を算出し(S709)、表示部209の表示内容を更新させる(S711)。
【0088】
また、ステップS701で、カーソルを上方向に移動する指示が操作部から入力されていないと判断し、ステップS703で、カーソルを下方向に移動する指示が操作部から入力されたと判断すると、その入力回数やその入力の継続時間に基づいて、現在指定している動画像撮影条件から一つ下または複数下に位置する動画像撮影条件へとカーソルを移動する移動量を算出し(S713)、表示部209の表示内容を更新させる(S711)。ステップS711における表示部209の表示内容の更新が完了すると、ステップS701から同様に処理が繰り返される。
【0089】
また、ステップS703において、カーソルを下方向に移動する指示が操作部から入力されていないと判断し、ステップS705において、カーソルで指定する動画像撮影条件を確定する指示が操作部から入力されたと判断すると、カーソルで指定している動画像撮影条件を動画像撮影時の動画像撮影条件となるように、画像変換条件設定部211に設定された動画像撮影条件を更新する(S715)。
【0090】
そして、設定された動画像撮影条件を表示部209に表示して(S717)、本処理を終了する。
また、ステップS705において、カーソルで指定する動画像撮影条件を確定する指示が操作部から入力されていないと判断し、ステップS707において、キャンセルする指示が操作部から入力されたと判断すると、キャンセルした場合の表示に更新して(S717)、本処理を終了する。
【0091】
次に、図6または図7の処理の中で表示部209に表示されるモードまたは動画像撮影条件の一例を、図8から図14に示す表示画面例を用いて説明する。
なお、本例においてはモードまたは動画像撮影条件を表示画面中の二重線で囲まれた部分に縦に並べて表示させ、カーソルをその二重線の中の矩形の枠で示すものとする。
【0092】
図8は、図6の処理の中で表示部209に表示されるモードの一例である。
同図に二重線で囲まれるように、5種類のモード(撮影枚数中の記録枚数、変換処理中の表示処理割合、動画品質、表示処理と記録処理の割合、及び表示フレームレート(DF)と記録フレームレート(RF)の設定)が選択可能なモードとして上から順番に表示されている。そして、その中で「表示処理と記録処理の割合」がカーソルで指定されている。
【0093】
上記撮影枚数中の記録枚数は、単位時間当りに一時記憶部203に記憶される元画像データのフレーム数に対する、画像形式変換部205で記録用画像形式変換処理を行なわせるフレーム数(または生成される記録用画像データの画像枚数)の割合が設定されたモードである。
【0094】
上記変換処理中の表示処理割合は、単位時間当りに画像形式変換部205で画像形式変換処理する元画像データのフレーム数に対する、表示用画像形式変換処理を行なわせるフレーム数(または、生成される表示用画像データの画像枚数)の割合が設定されたモードである。
【0095】
上記動画品質は、動画像再生した際の動画像の動きの滑らか度が設定されたモードである。
上記表示処理と記録処理の割合は、画像形式変換部205における単位時間当りの表示用画像形式変換するフレーム数(または、生成される表示用画像データの画像枚数)と、記録用画像形式変換するフレーム数(または、生成される記録用画像データの画像枚数)の割合が設定されたモードである。
【0096】
上記DFとRFの設定は、単位時間当りに画像形式変換部205で生成される表示用画像データと記録用画像データのフレームレートが設定されたモードである。
なお、以下に示す図9から図14においても同様であるが、図6に示す方向指示釦からの入力に応じて、図8の二重線内のカーソルが上下の各モードに一つずつ移動し、図6に示す確定釦からの入力に応じて、カーソルで指定されているモードが画像変換条件設定部211に設定される。
【0097】
図9は、図7の処理の中で表示部209に表示される動画像撮影条件の一例である。
同図に二重線で囲まれるように、図8に示す「撮影枚数中の記録枚数」をさらに細かく選択できるようにした3つの動画像撮影条件(撮影枚数の1/2、撮影枚数の2/3、及び撮影枚数の3/4)が選択可能な動画像撮影条件として上から順番に表示されている。そして、その中で「撮影枚数の3/4」がカーソルで指定されている。
【0098】
図10は、図7の処理の中で表示部209に表示される動画像撮影条件の他の例である。
同図に二重線で囲まれるように、図8に示す「変換処理中の表示処理割合」をさらに細かく選択できるようにした3つの動画像撮影条件(変換処理の20%、変換処理の25%、及び変換処理の50%)が選択可能な動画像撮影条件として上から順番に表示されている。そして、その中で「変換処理の20%」がカーソルで指定されている。
【0099】
図11は、図7の処理の中で表示部209に表示される動画像撮影条件の他の例である。
同図に二重線で囲まれるように、図8に示す「動画品質」をさらに細かく選択できるようにした3つの動画像撮影条件(高品質→撮影枚数の3/4、中品質→撮影枚数の2/3、及び通常品質→撮影枚数の1/2)が選択可能な動画像撮影条件として上から順番に表示されている。そして、その中で「中品質→撮影枚数の2/3」がカーソルで指定されている。なお、高品質、中品質、及び通常品質には、右矢印(→)で示された先の図9に示す3つの動画像撮影条件(撮影枚数の1/2、撮影枚数の2/3、及び撮影枚数の3/4)が図11のように対応付けられているが、その他の動画像撮影条件を対応付けるようにしてもよい。
【0100】
図12は、図7の処理の中で表示部209に表示される動画像撮影条件の他の例である。
同図に二重線で囲まれるように、図8に示す「表示処理と記録処理の割合」をさらに細かく選択できるようにした3つの動画像撮影条件(1:4、1:3、及び1:1)が選択可能な動画像撮影条件として上から順番に表示されている。そして、その中で「1:3」がカーソルで指定されている。
【0101】
図13は、図7の処理の中で表示部209に表示される動画像撮影条件の他の例である。
同図に二重線で囲まれるように、図8に示す「DFとRFの設定」をさらに細かく選択できるようにした3つの動画像撮影条件(DFを15fpsとしてRFを15fpsとする、DFを12fpsとしてRFを18fpsとする、及びDFを7.5fpsとしてRFを22.5fpsとする)が選択可能な動画像撮影条件として上から順番に表示されている。そして、その中で「DFを12fpsとしてRFを18fpsとする」がカーソルで指定されている。
【0102】
図14は、図7の処理の中で表示部209に表示される動画像撮影条件の種類を複数組み合わせた例である。
同図に二重線で囲まれるように、3つの動画像撮影条件が選択可能な動画像撮影条件として上から順番に表示されている。そして、カーソルでその中から動画像撮影条件を指定すると、プルダウン方式により、さらに他の種類の動画像撮影条件から選択が可能となる。
【0103】
本例では、図8に示す「動画品質」をさらに細かく選択できるようにした3つの動画像撮影条件(高品質、中品質、及び通常品質)が選択可能な動画像撮影条件として上から順番に表示されている。そして、その中からカーソルによって中品質が指定され、プルダウン方式によって表示される図9に示す3つの動画像撮影条件(撮影枚数の1/2、撮影枚数の2/3、及び撮影枚数の3/4)から「撮影枚数の2/3」がカーソルで指定されている。
【0104】
なお、本例では、動画品質から図9に示す撮影枚数中の記録枚数をプルダウン方式で選択させるようにしているが、その他の組み合わせにしてもよい。
また、図8から図14に示す例では、モードや動画像撮影条件を縦に複数配列しているが、配列は任意に設定でき、例えば横に配列させてもよい。
【0105】
また、図8から図14に示す例では、モードまたは動画像撮影条件を二重線内に一度に表示させるようにしているが、スクロール表示をさせたり、プルダウン表示をさせたり、それらを組み合わせるなど、表示形式は適宜設定してよい。
次に、動画像撮影中または動画像再生中の表示部209の表示制御の例について説明する。
【0106】
図15は、動画像撮影中に表示部209へ動画像撮影条件を表示させるか否かが設定できる場合の、動画像撮影時の制御部213の制御例である。
なお、本例においては、図2の画像形式変換部205において、生成された表示用画像データに対してさらに動画像撮影条件を埋め込むことが可能なものとし、図2の画像変換条件設定部211において、動画像撮影条件を表示部に表示させるか否かを示す表示/非表示の情報が設定できるものとする。
【0107】
同図に示す制御部213の動作は、デジタルカメラ本体の操作部から操作される動画像撮影の開始操作に基づいて開始される。
さて、動画像撮影の開始操作が上記操作部から操作されると、制御部213は、先ず、画像データ取得部201から逐次出力される所定単位毎(例えば数ライン毎など)の元画像データをDMA転送によって一時記憶部203に逐次記憶させる(S801)。続いて、その元画像データを一時記憶部203から所定単位毎に逐次読み出し、画像変換条件設定部211にデフォルトで設定された動画像撮影条件または操作部から設定変更された動画像撮影条件に基づき、読み出した元画像データに対して表示用画像形式変換処理が必要か否かを判断し(S803)、必要であれば元画像データに対して表示用画像形式変換処理を画像形式変換部205に1フレーム分行なわせて、表示用画像データを生成する(S805)。続いて、動画像撮影条件の表示/非表示の判断を画像変換条件設定部211にデフォルトで設定された表示/非表示の設定内容または操作部から設定変更された表示/非表示の設定内容から判断する(S807)。ステップS807において、その設定が表示であると判断すると生成した表示用画像データに動画像撮影条件を画像形式変換部205で埋め込み(S809)、ステップS811の処理に進む。一方、ステップS807において、その設定が非表示であると判断するとステップS809の処理をとばしてステップS811の処理を行なう。ステップS811においては、生成した表示用画像データ(動画像撮影条件が埋め込まれたものも含む)を表示部209に表示し、表示部209に古い表示用画像データが表示されている場合にはその古い表示用画像データを更新して(S811)、ステップS813の処理に進む。また、ステップS803において一時記憶部203から読み出した元画像データに対して表示用画像形式変換処理は必要でないと判断した場合にはステップS805からステップS811の処理をとばしてステップS813の処理に進む。ステップS813においては、上記元画像データに対して記録用画像形式変換処理を画像形式変換部205で1フレーム分行なわせ、記録用画像データを生成する(S813)。ステップS813において1フレーム分の記録用画像データが生成されると、その記録用画像データを記録部207に記録する(S815)。そして、動画像撮影の終了の指示が上記操作部からなされたことがステップS817で判断されるまで、ステップS801からステップS817までの処理は繰り返し実行され、動画像撮影の終了の指示が上記操作部からなされたとステップS817で判断すると、本処理を終了する。
【0108】
また、図15では、一時記憶部203に記憶される元画像データの全てに対して記録用画像データを作成する例を示したが、ステップS813に、一時記憶部203から読み出した元画像データに対して記録用画像形式変換処理が必要か否かを画像変換条件設定部211にデフォルトで設定された動画像撮影条件または操作部から設定変更された動画像撮影条件に基づいて判断させる判断処理を行なわせて、所定の元画像データに対してのみ記録用画像形式変換処理を行なうようにしてもよい。
【0109】
また、記録用画像データを記録部207に記録させるタイミングとして、記録用画像データが1フレーム生成されるごとに行なう例を示したが、そのタイミングは適宜設定してよく、例えば、全記録用画像データを一時記憶部203に記憶させておき、動画像撮影の終了後にまとめて記録部207へ記録させるようにしてもよい。
【0110】
また、画像形式変換部205において、表示用画像データから記録用画像データへの変換処理または記録用画像データから表示用画像データへの変換処理を行なうものとすれば、画像形式変換部205において、一時記憶部203に記憶された元画像データを基に生成した表示用画像データから記録用画像データを生成したり、一時記憶部203に記憶された元画像データを基に生成した記録用画像データから表示用画像データを生成したりすることができる。
【0111】
図16は、動画像撮影中に動画像撮影条件を表示画面上に表示させた場合の表示例である。
本例は、図12に示す「表示処理と記録処理の割合」の「1:3」が動画像撮影条件として画像変換条件設定部211に設定されている場合の動画像撮影中の表示例である。同図の例では、動画像の上部に「表示処理と記録処理の割合」及び「1:3」が表示されているが、表示位置や大きさや表示内容は適宜設定してよい。
【0112】
このように、動画像撮影中に動画像撮影条件が表示されれば、動画像撮影中であってもその動画像撮影条件の確認が容易となり、たとえ表示部に表示されている動画像が不自然な動きをしていても、例えば記録用画像データはそれよりも高いフレームレートで作成していることを知ることが容易なので、撮影者は安心して撮影に望めるようになる。
【0113】
図17は、動画像撮影時に設定した動画像撮影条件を動画像再生時に表示部209へ表示させるか否かが設定できる場合の制御部213の制御例である。
なお、本例においては、図2の画像形式変換部205において、生成された再生用画像データに対してさらに動画像撮影条件を埋め込むことが可能なものとし、図2の画像変換条件設定部211において、動画像撮影条件を表示部に表示させるか否かを示す表示/非表示の情報が設定できるものとし、記録部207において、動画像撮影時の動画像撮影条件の情報を記録用画像データに対応させて記録させているものとする。
【0114】
本処理は、図4のステップS411における動画像再生処理に相当する。
先ず、記録部207に記録された記録用画像データを一時記憶部203に読み出す(S901)。
そして、一時記憶部203に読み出した記録用画像データを画像形式変換部205で間引き伸張処理させて再生用画像データを生成させる(S903)。
【0115】
ここで、上記再生用画像データを表示部209に再生する際に動画像撮影条件を一緒に表示させるか否かの判断をする(S905)。
画像変換条件設定部211に動画像撮影条件の表示が設定されている場合は、ステップS905において動画像撮影条件を一緒に表示させるものと判断し、再生画像データに動画像撮影条件の情報を埋め込み(S907)、ステップS909の処理に進む。また、画像変換条件設定部211に動画像撮影条件の非表示が設定されている場合は、ステップS905において動画像撮影条件を一緒に表示させないものと判断し、ステップS907の処理をとばしてステップS909の処理に進む。
【0116】
ステップS909では、生成した再生用画像データ(動画像撮影条件が埋め込まれたものも含む)を表示部209に表示し、表示部209に古い再生用画像データが表示されている場合にはその古い再生用画像データを更新する。
このステップS901からステップS909の処理を、動画像再生処理を停止する指示が操作部からあるまで繰り返し行なう。
【0117】
ステップS911で動画像再生処理を停止する指示が操作部から入力されたと判断すると、本処理は終了する。
図18は、動画像撮影時の動画像撮影条件を動画像再生中に表示画面上に表示させた場合の表示例である。
【0118】
本例は、図13に示す「DFとRFの設定」の「DFが7.5fps、RFが22.5fps」が動画像撮影条件で撮影された記録用画像データを動画像撮影条件表示の設定で表示部209に再生表示させた例である。同図の例では、動画像の上部に「表示フレームレート:7.5fps」及び「記録フレームレート22.5fps」が表示されているが、表示位置や大きさや表示内容は適宜設定してよい。
【0119】
なお、図2以下の説明では、一例としてデジタルカメラを取り上げたが、逐次的に撮像される画像信号の記憶とその更新を所定範囲の記憶領域で逐次行ない、記憶領域にある画像信号を表示用画像データまたは記録用画像データに画像形式変換するもので、短時間当りの表示用と記録用の画像変換処理量が変わるもの、または記録用の画像変換処理量が表示用の画像変換処理量を上回る撮像装置であれば、何れの種類の撮像装置であってもよい。
【0120】
以上のように各画像形式変換処理を行なえば、記録用画像データのフレームレートを増加させることができるので動画像再生時の自然な再生を実現することができる。さらに、表示用画像形式変換処理は変換対象のフレームが一時記憶されるほぼ直後に常に行なわれるので実際の動画像と表示部に表示される動画像との間に遅延は生じず、撮影者は混乱することなく安心して撮影を行なうことができるようになる。
【0121】
【発明の効果】
以上述べたように、本発明によれば、記録用画像データのフレームレートを高めた状態で動画像撮影が可能となる。
【図面の簡単な説明】
【図1】本発明の一例であるデジタルカメラで行なわれる画像形式変換処理のタイムチャート例である。
【図2】デジタルカメラに構成される動画像処理システムのブロック図である。
【図3】デジタルカメラで動画像撮影が行なわれる場合の制御部213の動作例である。
【図4】動画像関連の処理を選択させるための処理例である。
【図5】図4のステップS403における制御部213の動作例である。
【図6】図5のステップS505における制御部213の動作例である。
【図7】図5のステップS509における制御部213の動作例である。
【図8】表示部209に表示されるモードの一例である。
【図9】表示部209に表示される動画像撮影条件の一例である。
【図10】表示部209に表示される動画像撮影条件の他の例である。
【図11】表示部209に表示される動画像撮影条件の他の例である。
【図12】表示部209に表示される動画像撮影条件の他の例である。
【図13】表示部209に表示される動画像撮影条件の他の例である。
【図14】表示部209に表示される動画像撮影条件の種類を複数組み合わせた例である。
【図15】動画像撮影中の動画像撮影条件表示/非表示の判断を含む、動画像撮影時の制御部213の制御例である。
【図16】動画像撮影中に動画像撮影条件を表示画面上に表示させた場合の表示例である。
【図17】動画像再生中の動画像撮影条件表示/非表示の判断を含む、動画像再生時の制御部213の制御例である。
【図18】動画像再生中に動画像撮影条件を表示画面上に表示させた場合の表示例である。
【図19】従来のデジタルカメラで検討されたフレーム処理のタイムチャート例である。
【図20】現状のデジタルカメラで適用されている表示用及び記録用の画像形式変換処理のタイムチャート例である。
【符号の説明】
201 画像データ取得部
203 一時記憶部
205 画像形式変換部
207 記録部
209 表示部
211 画像変換条件設定部
213 制御部
Claims (17)
- 順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と、
前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段と、
前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数が前記画像形式変換手段で前記単位時間当りに生成されるスルー画表示用画像データの画像枚数よりも上回る設定を有する画像変換条件設定手段と、
前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段と、
を有することを特徴とする撮像装置。 - 順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と、
前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段と、
前記画像形式変換手段で単位時間当りに生成されるスルー画表示用画像データの画像枚数を減らすことにより前記画像形式変換手段で前記単位時間当りに生成される記録用画像データの画像枚数が増えるようにした設定を有する画像変換条件設定手段と、
前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段と、
を有することを特徴とする撮像装置。 - 順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と、
前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段と、
前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数と前記画像形式変換手段で前記単位時間当りに生成されるスルー画表示用画像データの画像枚数とを相対的に変化させる設定を有する画像変換条件設定手段と、
前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段と、
を有することを特徴とする撮像装置。 - 順次撮像される画像信号の記憶と該記憶の更新を順次行なう一時記憶手段と、
前記記憶されている画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する画像形式変換手段と、
前記記憶されている画像信号を順次画像形式変換する際に、前記スルー画表示用画像データ及び前記記録用画像データの双方に順次画像形式変換する第一の画像形式変換と前記記憶されている画像信号を前記記録用画像データにのみ画像形式変換する第二の画像形式変換とを時系列的に行なう設定を有する画像変換条件設定手段と、
前記画像変換条件設定手段の設定に基づいて前記一時記憶手段に記憶されている画像信号を前記画像形式変換手段で前記スルー画表示用画像データまたは前記記録用画像データに画像形式変換させる制御手段と、
を有することを特徴とする撮像装置。 - 前記画像変換条件設定手段は、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合で設定される、
ことを特徴とする請求項1乃至4の何れか一つに記載の撮像装置。 - 前記画像変換条件設定手段は、前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数に対する前記画像形式変換手段で前記単位時間当りに生成されるスルー画表示用画像データの画像枚数の割合で設定される、
ことを特徴とする請求項1乃至4の何れか一つに記載の撮像装置。 - 前記画像変換条件設定手段は、前記記録用画像データの画像品質で設定され、
さらに該画像品質には、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合が関連付けられている、
ことを特徴とする請求項1乃至4の何れか一つに記載の撮像装置。 - 前記画像変換条件設定手段は、前記画像形式変換手段で単位時間当りに生成されるスルー画表示用画像データの画像枚数と前記画像形式変換手段で前記単位時間当りに生成される記録用画像データの画像枚数との比率で設定される、
ことを特徴とする請求項1乃至4の何れか一つに記載の撮像装置。 - 前記画像変換条件設定手段は、前記画像形式変換手段で生成されるスルー画表示用画像データのフレームレートと前記画像形式変換手段で生成される記録用画像データのフレームレートとの組み合わせで設定される、
ことを特徴とする請求項1乃至4の何れか一つに記載の撮像装置。 - 前記画像変換条件設定手段は、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合で設定されるモード、前記画像形式変換手段で単位時間当りに生成される記録用画像データの画像枚数に対する前記画像形式変換手段で該単位時間当りに生成されるスルー画表示用画像データの画像枚数の割合で設定されるモード、前記記録用画像データの画像品質で設定され、さらに該画像品質には、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合が関連付けられているモード、前記画像形式変換手段で単位時間当りに生成されるスルー画表示用画像データの画像枚数と前記画像形式変換手段で該単位時間当りに生成される記録用画像データの画像枚数との比率で設定されるモード、前記画像形式変換手段で生成されるスルー画表示用画像データのフレームレートと前記画像形式変換手段で生成される記録用画像データのフレームレートとの組み合わせで設定されるモード、の内、何れか一つのモードが設定される、
ことを特徴とする請求項1乃至4の何れか一つに記載の撮像装置。 - 前記画像変換条件設定手段は、前記記録用画像データの画像品質が設定可能で、さらに、該設定された画像品質に対して、前記一時記憶手段に記憶される画像信号で単位時間当りに構成される画像枚数に対する該画像から前記記録用画像データに画像形式変換する画像の枚数の割合を設定できる、
ことを特徴とする請求項1乃至4の何れか一つに記載の撮像装置。 - 前記画像変換条件設定手段の設定内容を表示する警告表示手段と、
前記撮像装置に着脱可能な記録媒体に記録可能な記録手段とを、
更に有し、
前記画像変換条件設定手段の設定内容の表示は、該画像変換条件設定手段の設定内容に基づいて画像形式変換された前記記録用画像データを前記記録手段に記録する際に行なわれる、
ことを特徴とする請求項1乃至11の何れか一つに記載の撮像装置。 - 前記記録手段に記録された記録用画像データを再生する際は、前記記録用画像データに画像形式変換される際の前記画像変換条件設定手段における設定内容を前記記録用画像データとともに前記警告表示手段に表示可能とする、
ことを特徴とする請求項12に記載の撮像装置。 - 順次撮像される画像信号の記憶と該記憶の更新を順次行ない、前記記憶時の画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する撮像装置の画像形式変換方法であって、
単位時間当りに生成される前記記録用画像データの画像枚数が該単位時間当りに生成される前記スルー画表示用画像データの画像枚数よりも上回るように画像形式変換させる、
ことを特徴とする撮像装置の画像形式変換方法。 - 順次撮像される画像信号の記憶と該記憶の更新を順次行ない、前記記憶時の画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する撮像装置の画像形式変換方法であって、
単位時間当りに生成される前記スルー画表示用画像データの画像枚数を減らすことにより前記単位時間当りに生成される前記記録用画像データの画像枚数が増えるように画像形式変換させる、
ことを特徴とする撮像装置の画像形式変換方法。 - 順次撮像される画像信号の記憶と該記憶の更新を順次行ない、前記記憶時の画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する撮像装置の画像形式変換方法であって、
単位時間当りに生成される前記記録用画像データの画像枚数と該単位時間当りに生成される前記スルー画表示用画像データの画像枚数とを相対的に変化させて画像形式変換する、
ことを特徴とする撮像装置の画像形式変換方法。 - 順次撮像される画像信号の記憶と該記憶の更新を順次行ない、前記記憶時の画像信号を画像形式変換してスルー画表示用画像データまたは記録用画像データを生成する撮像装置の画像形式変換方法であって、
前記記憶されている画像信号を順次画像形式変換する際に、前記スルー画表示用画像データ及び前記記録用画像データの双方に順次画像形式変換する第一の画像形式変換と前記記憶されている画像信号を前記記録用画像データにのみ画像形式変換する第二の画像形式変換とを時系列的に行なう、
ことを特徴とする撮像装置の画像形式変換方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002238401A JP2004080427A (ja) | 2002-08-19 | 2002-08-19 | 撮像装置、及び画像形式変換方法 |
US10/408,958 US20040017481A1 (en) | 2002-04-11 | 2003-04-08 | Digital camera, image pickup method, and image format conversion method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002238401A JP2004080427A (ja) | 2002-08-19 | 2002-08-19 | 撮像装置、及び画像形式変換方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004080427A true JP2004080427A (ja) | 2004-03-11 |
Family
ID=32021826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002238401A Withdrawn JP2004080427A (ja) | 2002-04-11 | 2002-08-19 | 撮像装置、及び画像形式変換方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004080427A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006157149A (ja) * | 2004-11-25 | 2006-06-15 | Sony Corp | 撮像装置と撮像方法 |
JP2006254366A (ja) * | 2005-03-14 | 2006-09-21 | Sony Corp | 画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法 |
JP2006324941A (ja) * | 2005-05-19 | 2006-11-30 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US7573510B2 (en) | 2004-11-24 | 2009-08-11 | Casio Computer Co., Ltd. | Electronic camera apparatus with moving-image picking-up function and moving-image recording method for recording a movable image on a removable recording medium |
US7817193B2 (en) | 2004-11-25 | 2010-10-19 | Sony Corporation | Image pickup apparatus and image pickup method to display or record images picked up at high rate in real time |
JP2010258694A (ja) * | 2009-04-23 | 2010-11-11 | Nec Corp | 撮影装置 |
WO2019026318A1 (ja) * | 2017-08-01 | 2019-02-07 | パナソニックIpマネジメント株式会社 | 撮像装置 |
-
2002
- 2002-08-19 JP JP2002238401A patent/JP2004080427A/ja not_active Withdrawn
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7573510B2 (en) | 2004-11-24 | 2009-08-11 | Casio Computer Co., Ltd. | Electronic camera apparatus with moving-image picking-up function and moving-image recording method for recording a movable image on a removable recording medium |
JP2006157149A (ja) * | 2004-11-25 | 2006-06-15 | Sony Corp | 撮像装置と撮像方法 |
US7817193B2 (en) | 2004-11-25 | 2010-10-19 | Sony Corporation | Image pickup apparatus and image pickup method to display or record images picked up at high rate in real time |
JP4569275B2 (ja) * | 2004-11-25 | 2010-10-27 | ソニー株式会社 | 撮像装置と撮像方法 |
JP2006254366A (ja) * | 2005-03-14 | 2006-09-21 | Sony Corp | 画像処理装置、カメラシステム、ビデオシステム、ネットワークデータシステム、並びに、画像処理方法 |
JP2006324941A (ja) * | 2005-05-19 | 2006-11-30 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP4609711B2 (ja) * | 2005-05-19 | 2011-01-12 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2010258694A (ja) * | 2009-04-23 | 2010-11-11 | Nec Corp | 撮影装置 |
WO2019026318A1 (ja) * | 2017-08-01 | 2019-02-07 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JPWO2019026318A1 (ja) * | 2017-08-01 | 2020-06-11 | パナソニックIpマネジメント株式会社 | 撮像装置 |
US10880485B2 (en) | 2017-08-01 | 2020-12-29 | Panasonic intellectual property Management co., Ltd | Imaging apparatus for controlling display of a microphone level meter and mute function during moving image capture |
JP7153839B2 (ja) | 2017-08-01 | 2022-10-17 | パナソニックIpマネジメント株式会社 | 撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7394496B2 (en) | Digital camera capable of image processing | |
JP4831017B2 (ja) | 画像処理装置、現像装置、画像処理方法、現像方法、画像処理プログラム、および現像プログラム | |
JPH06178261A (ja) | デジタルスチルカメラ | |
JP4593820B2 (ja) | 撮像装置、画像処理装置及び画像処理方法 | |
JP2006352529A (ja) | 撮像装置 | |
JP4515559B2 (ja) | 画像データ記録装置および方法ならびにズーム画像再生装置および方法 | |
JP3348917B2 (ja) | 画像信号処理装置 | |
US7023455B2 (en) | Apparatus and method for processing video signal | |
KR100564186B1 (ko) | 전자 카메라 | |
JP2004080427A (ja) | 撮像装置、及び画像形式変換方法 | |
JP3931942B2 (ja) | 画像ファイル装置 | |
JP4010057B2 (ja) | カメラ装置 | |
JP4518582B2 (ja) | 画像撮像装置及び方法 | |
JPH0927943A (ja) | デジタル画像記録再生装置 | |
JP2002354299A (ja) | デジタルスチルカメラ | |
JP3861641B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP2004364039A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2005117182A (ja) | 画像表示装置、画像表示方法、プログラム及び記録媒体 | |
JP2018195892A (ja) | 撮像装置 | |
JP4177081B2 (ja) | 画像再生装置および方法 | |
JP5682590B2 (ja) | 撮像装置及び画像表示装置 | |
JP7171337B2 (ja) | 撮像装置、画像記録方法及びプログラム | |
JP4075319B2 (ja) | デジタルカメラ、動画再生方法及び動画記録方法 | |
JP4407074B2 (ja) | 画像再生装置及び画像再生方法 | |
JP3853519B2 (ja) | 画像記録装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20051101 |