JP2006254067A - 撮像装置及びプログラム - Google Patents

Abstract

【課題】撮影された映像をサイレント映画風な映像としてエンコードして記録する撮影装置を提供する。
【解決手段】撮影装置１は、入力部１４によりサイレント映画モードが選択された場合に、マイク１６ｄからの音声入力を停止し、撮像部１７からの映像をモノクロフィルタ部１６ｃによりモノクロ処理を施した後にフレーム信号又はフィールド信号を間引いてエンコーダ部１６ｂに供給する。
【選択図】図２

Description

本発明は、撮像装置及びプログラムに関する。

従来、ＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて１画面分の画像情報（フレーム）を撮像する撮像装置においては、１秒間当たり所定のフレーム数（フレームレート）で撮像した一連のフレーム画像群による動画像情報や、その一連のフレーム画像群をＭＰＥＧ（Motion Picture Experts Group）形式などに符号化（エンコード）した動画像情報をＣＤやＤＶＤなどの記録（記憶）媒体に記録する、一般にデジタルビデオカメラと呼ばれるものがある。

一連のフレーム画像群による動画像情報の再生には、フレーム画像によるノンインタレース方式(順次走査方式）とフリッカの除去と動画像の滑らかな再生を実現するためのインタレース方式（飛び越し走査方式）とがある。このため、一連のフレーム画像群による動画像情報には、ノンインタレース方式における１画面分の全ての走査線に関する信号を含むフレームの他に、ノンインタレース方式の奇数番目における走査線に関する信号を含むＯフィールド（Odd）と偶数番目における走査線に関する信号を含むＥフィールド（Even）とがある。

ＭＰＥＧ形式などにおけるエンコードは、図１（ａ）に示すように、上述したフレームやＯフィールドとＥフィールドとを合わせた１フレーム分の画像情報の基づいて、ＤＣＴ（離散コサイン変換）などを利用してフレーム内を圧縮（空間的な圧縮）したＩフレーム（Intra Frame）や再生方向におけるフレーム間の差異を圧縮（時間的な圧縮）したＰフレーム（Predictive Frame）により、ＧＯＰ（Group Of Picture）という固まり単位で行なわれる。ＧＯＰは、一般的に３０フレーム／秒の動画像の場合は１５フレームの単位であり、上述したＩフレーム、Ｐフレームの他に、前後フレームとの差異を利用したＢフレーム（Bi-directional predicted Frame）をＰフレームとＩフレームの間に３フレームづつ用いて、さらに圧縮率を高める構成でもよい。

利用者は、上述した撮像装置を用いて動画像をＭＰＥＧ形式などで記録媒体に記録し、ＰＣ（Personal Computer）などで再生することで、手軽に撮影した動画を鑑賞することができる。また、撮像装置には、利用者が撮像する際に映画風のアレンジを加えて撮像するなど、手軽に表現力の豊かな画像を撮像する装置も開発されている。例えば、特許文献１には、撮影時に活動写真のように断続的に動く懐古調の動画像ファイルを作成して記録する撮像装置に関する技術が開示されている。
特開２００４−２４８１１７号公報

映画風の動画としては、断続的に動く懐古調の他に、モノクロ調で再生速度が通常よりも若干早めに映写されるサイレント映画（トーキー）風の動画がある。このサイレント映画風動画は、単に断続的に動く動画でなく、ある程度滑らかに通常よりも早めに動く動画である。このため、上述した特許文献１では、十分にサイレント映画風である映像を記録することができなかった。

また、ＭＰＥＧ形式でエンコードされた動画像情報の再生は、図１（ｂ）に示すように、Ｉ、Ｐ、Ｂフレームの情報を元に順次演算して行なわれる。しかし、早送り再生や早戻し再生などの場合は、ＧＯＰ単位で演算処理を高速に行なう必要があり、全てのフレームを再現して再生することが困難となる。また、早送りでは時間的に独立したＩフレームや演算しやすいＰフレームを元にした再生や、早戻しではＩフレームを元にした再生など、動画像の再生速度を変更する場合は制限が生じる。
このため、撮影装置でエンコードして記録された撮影映像を元にサイレント映画風にアレンジして再生することは、困難であり、更なる開発が望まれていた。

そこで、本発明の課題は、撮影された映像をサイレント映画風な映像としてエンコードして記録する撮影装置を提供することである。

上記課題を解決するために、請求項１に記載の発明は、撮影映像信号と音声信号とを記録する撮影装置において、サイレント映画モード、又は通常映像モードを選択する選択手段と、前記サイレント映画モードが選択された場合に前記撮影映像情報にモノクロフィルタ処理を施すモノクロ処理手段と、前記サイレント映画モードが選択された場合に前記マイクからの音声の記録を停止する制御を行なう音声制御手段と、前記サイレント映画モードが選択された場合に前記前記モノクロフィルタ処理された撮影映像情報のフレーム信号又はフィールド信号を間引いてエンコーダに供給する間引き手段と、を備えたことを特徴とする。

請求項２に記載の発明は、請求項１に記載の発明において、ＢＧＭを記憶するＢＧＭ記憶手段を更に備え、前記音声制御手段は、前記サイレント映画モードの選択時に前記記憶されたＢＧＭを合成することを特徴とする。

請求項３に記載の発明は、請求項１又は２に記載の発明において、前記サイレント映画モードが選択された場合に、前記撮影映像情報にノイズを付加するノイズ合成手段を更に備えることを特徴とする。

更に、撮影映像信号と音声信号とを記録する撮影装置のコンピュータに対して、上述した請求項１〜３に記載の発明に示した主要な機能を実現させるためのプログラムを提供する（請求項４〜６に記載の発明）。

請求項１に記載の発明によれば、撮影された映像に対してモノクロ処理を施し、フレーム信号又はフィールド信号を間引いた映像信号をエンコーダに供給することで、撮影された映像をサイレント映画風な映像としてエンコードして記録することができる。このため、再生側で特殊な編集を行なうことなくサイレント映画風な映像を鑑賞することができる。

請求項２に記載の発明によれば、サイレント映画風なＢＧＭを合成することができ、より懐古的な映像を記録することが可能となる。

請求項３に記載の発明によれば、映像にゴミ、埃、フィルムの傷などのようなノイズを付加することができ、よりサイレント映画風な映像を記録することができる。

［第１の実施の形態］
以下、この発明の実施の形態について説明するが、この発明は、この実施の形態に限定されない。また、この発明の実施の形態は発明の最も好ましい形態を示すものであり、発明の用語はこれに限定されない。

先ず、本発明である撮影装置１の機能的構成について、図２を参照して説明する。撮影装置１は、具体的には、デジタルカメラ、カメラ付き携帯電話、カメラ付き携帯端末、カメラ付きＰＤＡ（Personal Ditital Assistant）、カメラ付きＰＣ等である。撮影装置１は、その内部において、ＣＰＵ１１、表示部１２、ＲＡＭ１３、入力部１４、記憶装置１５、映像処理部１６、及び撮像部１７を備え、各部はバス１８により互いに電気的に接続されて構成される。

ＣＰＵ１１（Central Processing Unit）は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などのＲＡＭ１３の所定領域を作業領域として、後述する記憶装置１５に記憶されている各種制御プログラムに従い、上述した各部に制御信号を送って撮影装置１の動作全般を統括制御する。また、ＣＰＵ１１は、常時一定周波数を発信する水晶発振器（特に図示しない）によるクロック信号を基準に動作する。

表示部１２は、ＬＣＤ（Liquid Crystal Display）などのディスプレイから構成され、ＣＰＵ１１から入力される映像出力信号に基づいて画面上に映像を表示する。

入力部１４は、撮影装置１に対する操作指示を入力するための選択キー、決定キーなどの各種操作キーや、小型のスティック状のポインティングデバイス等を含んで構成される。利用者は、表示部１２に表示される画面を参照しながら入力部１４を操作することにより、撮影装置１に対する各種操作指示、又は設定を行なう。

また、入力部１４は、上記表示部１２における表示画面上に覆われ、透明電極を格子状に配置して構成された感圧式（抵抗膜圧式）のタッチパネルであり、手指やタッチペン等で押下された力点の座標値を電圧値で検出し、検出された位置信号を操作信号としてＣＰＵ１１に出力する構成であって良い。

記憶装置１５は、電源投入時などに行なわれる基本処理や撮影時に行なわれる撮影処理など、ＣＰＵ１１で実行される関する各種プログラムを格納する特に図示しないＲＯＭ（Read Only Memory）や、ＣＰＵ１１の指示により電気的にデータの消去及び書き換えが可能な記録媒体や不揮発メモリである映像記憶部１５ａ及びＢＧＭ記憶部１５ｂを備える。

記憶装置１５における記録媒体、不揮発メモリの一例としては、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、ＤＶＤ−Ｒ、ＤＶＤ−Ｒ／Ｗ、ＤＶＤ＋Ｒ／Ｗ、ＤＶＤ−ＲＡＭ、ブルーレイディスク、ＭＯディスク、ＰＣカード、ＳＤカード、メモリースティック（登録商標）、スマートメディア、コンパクトフラッシュ（登録商標）、xD−Ｐｉｃｔｕｒｅカード、ＨＤＤ、及びＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）などの不揮発性メモリがある。

映像記憶部１５ａは、撮像部１７で撮影され、映像処理部１６で処理された動画像情報を格納する領域であり、好適には前述の記録媒体により他の情報機器で当該動画像情報を再生可能に格納する構成である。ＢＧＭ記憶部１５ｂは、映像処理部１６で処理される動画像情報に音楽などを合成するための音声情報を予め格納する領域である。なお、ＢＧＭ記憶部１５ｂに予め格納される音声情報としては、タンゴ、ラグタイムなどのジャンルの曲や、バンドネオン、アコーディオン、バイオリン独奏などの哀愁・郷愁・懐古的な音声である。

映像処理部１６は、ＣＰＵ１１の指示により入力される映像情報に色変換、輪郭強調、映像や音声の合成などの様々な映像処理を施す映像処理用ＤＳＰ（Digital Signal Processor）等であり、入力される映像に対して乱数により法則性なく塵、埃、又はフィルムの傷状であるノイズの映し込み（合成）や明暗を変化させるノイズ発生部１６ａ、入力される映像をＭＰＥＧ形式などの所定の形式で符号化するエンコーダ部１６ｂ、入力される映像をモノクロ画像に変換するモノクロフィルタ部１６ｃ、及び外界の音声を音声信号として取得するマイク１６ｄを備える構成である。なお、エンコーダ部１６ｂは、符号化された映像を複合化するデコーダとしての機能を含む構成であっても良い。

撮像部１７は、ＣＰＵ１１の指示により、ガラスやプラスチックなどのレンズ１７ａから入光する外界の光をＣＣＤ１７ｂ（Charge Coupled Device）上に光学像として結像し、その像によるアナログの映像信号をＡＦＥ１７ｃでデジタルの映像信号に変換してＣＰＵ１１に出力する。なお、ＣＰＵ１１に出力する映像信号は、１画面分の全ての画素に関するフレーム信号、又は奇数／偶数番目の行又は列の画素に関するフィールド信号である。このため、撮像部１７は、ＣＰＵ１１からの指示に応じて、例えば１秒間当たり３０フレーム（６０フィールド）分の映像信号を出力する。

なお、撮像部１７については、特に上記構成に限定しない。例えば、レンズ１７ａは、固定焦点であってもよいが、ＣＰＵ１１からの制御命令により、レンズ位置をアクチュエータなどで調節してピント制御、絞り制御、画角制御などを行なう構成であっても良い。また、ＣＣＤ１７ｂは、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの他の撮像素子であっても良い。また、ＡＦＥ１７ｃは、アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路以外に、ＣＣＤ１７ｂから出力される信号のノイズを軽減させるＣＤＳ（Correlated Double Sampling：相関二重サンプリング）回路や信号の増幅を行うＡＧＣ（Automatic Gain Control：自動利得制御）回路を備えても良い。

次に、利用者の指示により、ＣＰＵ１１が制御して行なう撮影処理について、図３〜図５を参照して説明する。図３は、撮影処理を示すフローチャートである。図４（ａ）は、撮影処理により得られるサイレント映像Ｇ３の概略を説明する概略図であり、図４（ｂ）は、インタレース映像Ｇ２からサイレント映像Ｇ３ａへのエンコードを説明する概略図である。図５（ａ）は、表示部１２の画面に表示されるサイレント映画モードの設定画面を説明する図であり、図５（ｂ）は、サイレント映画モードで撮影された映像を例示する図である。

先ず、ＣＰＵ１１は、サイレント映画モードに設定されているか否かを判定する（ステップＳ１１）。サイレント映画モードに設定されていない場合は（ステップＳ１１：ＮＯ）、通常撮影などの他の撮影モードで撮影処理が行なわれて（ステップＳ１２）、終了する。サイレント映画モードに設定されている場合は（ステップＳ１１：ＹＥＳ）、ステップＳ１３〜Ｓ２１に示すサイレント映画撮影に関する各処理が行なわれて、終了する。

なお、ステップＳ１１における判定は、表示部１２の選択キーなどにより、図５（ａ）に示す画面が選択された状態で、画面上の操作ボタンＢ１１、Ｂ１２の条件がタッチパネルの操作により選択された後、操作ボタンＢ１３が選択されることを検知して行なう。

サイレント映画撮影に関する処理が選択されると（ステップＳ１１：ＹＥＳ）、マイク１６ｄからの音声入力が停止された状態で撮像部１７からＯフィールド信号（奇数番目の行又は列の画素信号）及びＥフィールド信号（偶数番目の行又は列の画素信号）のインタレース映像が交互にＲＡＭ１３の作業領域に取り込まれ（ステップＳ１３）、そのインタレース映像に対してモノクロフィルタ処理が行なわれてモノクロ映像に変換された後（ステップＳ１４）、所定の間隔で対のフィールド信号（１フレーム分の信号）が間引かれるフィールド信号間引き処理が行なわれる（ステップＳ１５）。

ステップＳ１３において取り込まれる映像は、図４（ａ）に示すように、例えば毎秒６０フィールド（３０フレーム）のインタレース映像Ｇ１である。このインタレース映像Ｇ１は、ステップＳ１５におけるフィールド間引き処理により、インタレース映像Ｇ１の３つの対のフィールド信号（３つのフレーム信号）の後の１つの対のフィールド信号（１つのフレーム信号）が間引かれ、録画時における１秒間が４６フィールド分であるインタレース映像Ｇ２に変換される。このため、インタレース映像Ｇ２を１秒間当たりに６０フィールドで通常どおりに再生した場合は、録画時の映像を早回しで再生した効果が得られる。

ステップＳ１５の処理の後、得られたインタレース映像Ｇ２に対して、ノイズ付加の処理、ＢＧＭ（BackGround Music）付加の処理を行なうか否かが上述の操作ボタンＢ１１、Ｂ１２による選択指示の有無によって順次判定される（ステップＳ１６、Ｓ１８）。ノイズを付加する場合は（ステップＳ１６：ＹＥＳ）、インタレース映像Ｇ２に対してノイズ発生部１６ａによりランダムに塵や埃形状の映し込みや明暗を変化させるノイズ合成処理が行なわれる（ステップＳ１７）。また、ＢＧＭを付加する場合は（ステップＳ１８：ＹＥＳ）、ステップＳ１３で停止された音声入力の代わりにＢＧＭ記憶部１５ｂに予め格納された音声情報を映像情報に合成するＢＧＭ合成処理が行なわれる（ステップＳ１９）。

ステップＳ１６、Ｓ１８の判定による処理の後、ＲＡＭ１３の作業領域に格納されたインタレース映像Ｇ２がエンコーダ部１６ｂでＭＰＥＧ形式にエンコードされてサイレント映像Ｇ３として映像記憶部１５ａに格納される画像記録処理が行なわれ（ステップＳ２０）、撮影終了の指示の有無が判定されて（ステップＳ２１）、撮影を終了しない場合はサイレント映画モードでの撮影を継続し（ステップＳ１３に戻る）、撮影終了の指示が入力された場合は撮影処理を終了する。

ステップＳ２０において映像記憶部１５ａに格納されるサイレント映像Ｇ３は、図４（ａ）に示すように、インタレース映像Ｇ２を元に毎秒３０フレームの映像として１５フレームのＧＯＰ単位でＩフレーム、Ｐフレームにより圧縮した映像情報である。サイレント映像Ｇ３のヘッダ情報には、毎秒３０フレームの映像であり、１ＧＯＰ単位は０．５秒であるなどの再生時に関する情報が格納される。このため、ヘッダ情報を元にサイレント映像Ｇ３を通常再生した場合は、録画時の映像を早回しで再生した効果が得られる。

なお、サイレント映像Ｇ３としては、Ｉ、Ｐフレームのみの構成を示したが、Ｂフレームを含む構成であっても良い。
また、サイレント映像Ｇ３は、１秒間あたりのフレーム数がインタレース映像Ｇ２と同一であり、インタレース映像Ｇ２の１対のフィールド信号を１フレーム分としてＩ、Ｐ、Ｂフレームに変換する構成であっても良いが、毎秒のフレーム数を可変させる構成であってもよく、特に上記構成に限定しない。

例えば、インタレース映像Ｇ２をサイレント映像Ｇ３に変換する際に、インタレース映像Ｇ２とサイレント映像Ｇ３との１秒間あたりのフレーム数が同一でない場合には、１秒間当たりのフレーム数が一致しない場合におけるサイレント映像Ｇ３の各フレームとインタレース映像Ｇ２のフィールドとの重なりに関する情報をサイレント映像Ｇ３における毎秒のフレーム数と各フレーム番号などに応じたルックアップテーブルとして記憶装置１５に予め保持することで、インタレース映像Ｇ２のフィールドとサイレント映像Ｇ３のフレームとの重なりに応じた重み付けなどの補間処理を行なう構成であってよい。

具体的には、図４（ｂ）に示すように、インタレース映像Ｇ２を元に１秒間あたりのフレーム数が同一でないサイレント映像Ｇ３ａに変換する際は、インタレース映像Ｇ２の各フィールドにサイレント映像Ｇ３ａとの重なり度合を係数とした値で補正を行なってからサイレント映像Ｇ３ａの１フレーム分が合成される。なお、この係数が上述のルックアップテーブルを参照して得られる値である。

例えば、サイレント映像Ｇ３ａの先頭フレームｉ１においては、インタレース映像Ｇ２において重複するフィールドＯ１に０．６、フィールドＥ１に０．４のそれぞれ重複度合いに応じた係数が掛け合わされて補正された後に合成される。また、次のフレームｐ２においては、重複するフィールドＥ１に０．１、Ｏ２に０．５、Ｅ２に０．４の重複度合いに応じた係数が掛け合わされた後に合成される。以下のフレームについても同様である。

上述したように、撮影装置１は、再生時にサイレント映像として表示されるエンコードされた映像を得ることができる。例えば、図５（ａ）において操作ボタンＢ１１が選択されて撮影が行なわれた場合は、図５（ｂ）に示すように、ゴミ、埃、又はフィルム形状のノイズＮ１、Ｎ２が規則性なく合成され、エンコードされたサイレント映像を得ることができる。

さらに、撮影装置１は、重なりに応じた重み付けなどの補間処理を行なうことで、より信号劣化の少ないエンコードされたサイレント映像Ｇ３ａを得ることができる。

上述の補間処理により得られるサイレント映像Ｇ３ａに対しては、映像処理部１６における映像処理により、輪郭強調（エッジ強調）処理を行なう構成が好適である。これにより、上述した補間処理により生じる輪郭のボケを抑えることができ、より鮮明なサイレント映像を得ることができる。

なお、本発明は、発明の趣旨を逸脱しない範囲で自由に変更、改良が可能である。例えば、本発明の形態では３つの対のフィールド信号の後の１つの対のフィールド信号が間引かれる構成を示したが、Ｏフィールド信号又はＥフィールド信号のいずれかを間引いて上述した補間処理を行なう構成であっても良い。この場合は、１フレーム毎の間引きに限定されることなく、より細かな速度調整を行なうことができる。

また、映像処理部１６は、専用の映像処理用ＤＳＰの代わりに、記憶装置１５に格納された映像処理プログラムに基づいてＣＰＵ１１が行なう映像処理により同等の機能を実現する構成であっても良い。

（ａ）は、エンコード後の映像情報の概念図であり、（ｂ）は、エンコード後の映像情報の通常再生・早送り再生・逆送り再生を説明する概念図である。 本発明である撮影装置１の機能的構成を模式的に示す図である。 撮影装置１の撮影処理を示すフローチャートである。 （ａ）は、撮影処理に得られるインタレース映像Ｇ１、Ｇ２、及びサイレント映像Ｇ３の概略を説明する概略図であり、（ｂ）は、インタレース映像Ｇ２からサイレント映像Ｇ３ａへのエンコードを説明する概略図である。 （ａ）は、サイレント映画モードの設定画面を例示する図であり、（ｂ）は、サイレント映画モードで撮影された映像を例示する図である。

符号の説明

１ 撮影装置
１１ ＣＰＵ（音声制御手段、間引き手段）
１２ 表示部
１３ ＲＡＭ
１４ 入力部（選択手段）
１５ 記憶装置
１５ａ 映像記憶部
１５ｂ ＢＧＭ記憶部（ＢＧＭ記憶手段）
１６ 映像処理部
１６ａ ノイズ発生部（ノイズ合成手段）
１６ｂ エンコーダ部
１６ｃ モノクロフィルタ部（モノクロ処理手段）
１６ｄ マイク
１７ 撮像部
１７ａ レンズ
１７ｂ ＣＣＤ
１７ｃ ＡＦＥ
１８ バス
Ｂ１１、Ｂ１２、Ｂ１３ 操作ボタン
Ｇ１、Ｇ２ インタレース映像
Ｇ３、Ｇ３ａ サイレント映像

Claims (6)

1. 撮影映像信号と音声信号とを記録する撮影装置において、
   サイレント映画モード、又は通常映像モードを選択する選択手段と、
   前記サイレント映画モードが選択された場合に前記撮影映像情報にモノクロフィルタ処理を施すモノクロ処理手段と、
   前記サイレント映画モードが選択された場合に前記マイクからの音声の記録を停止する制御を行なう音声制御手段と、
   前記サイレント映画モードが選択された場合に前記前記モノクロフィルタ処理された撮影映像情報のフレーム信号又はフィールド信号を間引いてエンコーダに供給する間引き手段と、
   を備えたことを特徴とする撮影装置。
2. ＢＧＭを記憶するＢＧＭ記憶手段を更に備え、
   前記音声制御手段は、前記サイレント映画モードの選択時に前記記憶されたＢＧＭを合成することを特徴とする請求項１に記載の撮影装置。
3. 前記サイレント映画モードが選択された場合に、前記撮影映像情報にノイズを付加するノイズ合成手段を更に備えることを特徴とする請求項１又は２に記載の撮影装置。
4. 撮影映像信号と音声信号とを記録する撮影装置のコンピュータに、
   サイレント映画モード、又は通常映像モードを選択する選択手段と、
   前記サイレント映画モードが選択された場合に前記撮影映像情報にモノクロフィルタ処理を施すモノクロ処理手段と、
   前記サイレント映画モードが選択された場合に前記マイクからの音声の記録を停止する制御を行なう音声制御手段と、
   前記サイレント映画モードが選択された場合に前記前記モノクロフィルタ処理された撮影映像情報のフレーム信号又はフィールド信号を間引いてエンコーダに供給する間引き手段として機能させるためのプログラム。
5. ＢＧＭを記憶するＢＧＭ記憶手段を更に備え、
   前記音声制御手段は、前記サイレント映画モードの選択時に前記記憶されたＢＧＭを合成することを特徴とする請求項４に記載のプログラム。
6. 前記サイレント映画モードが選択された場合に、前記撮影映像情報にノイズを付加するノイズ合成手段を更に備えることを特徴とする請求項４又は５に記載のプログラム。

Images