JP2011014954A - 記録装置および再生装置 - Google Patents

Abstract

【課題】
従来技術では、光学ズームの最大倍率を超えるズーム映像を記録、再生する場合、記録機器内部のズーム機能を用いてデジタルズーム処理しているため、記録機器内部のズーム品質を越えるズーム画像の再生は出来ない。
【解決手段】
光学ズームの最大倍率を超えるズーム映像の記録再生を行なう場合、カメラで記録されたズーム情報を基に光学ズームの最大倍率で得られた画像データを、再生機器側に搭載されたスケーラを用いてズーム処理することで、より高画質なデジタルズーム画像の表示を可能とする。
【選択図】 図１

Description

本発明は、記録装置および再生装置に関する。例えば、撮影機器側で指示された撮影情報を記録映像データと共に記録し、再生機器側で、撮影情報を元に再生画像に対して画像処理を行なうことで、更なる高画質化を実現することの出来るシステム、方法及び機器に関する。

本技術分野の背景技術として、例えば、特開２０００−３５００７９号公報（特許文献１）がある。該公報には、課題として「電子ズーム機能を有するテレビジョンカメラにおいて、メモリに記憶された映像信号に対し、その記憶時に平行してテレビジョンカメラから出力される映像信号に施されていたのと同じ電子ズーム処理を、そのメモリからの映像信号に対してより簡便に実施する」と記載され、解決手段として「映像信号を記録し、映像信号を電子ズーム拡大するための補間処理をその映像信号に施し、その補間処理に関わる電子ズーム倍率または電子ズーム対象範囲あるいはその両方を示す電子ズーム情報を、記録された映像信号と関連付けて記録する」と記載されている（要約参照）。

また、本技術分野の別の背景技術として、例えば、特開平０１―１４６４７６号公報（特許文献２）がある。該公報には、課題として「高感度にするためにはテレビカメラが重く大きくなるという欠点があった。また、前記特殊カメラの方式によればＮＴＳＣなど標準のテレビジョン信号を簡便には撮り出せない欠点があった。また、長時間露光機能付テレビカメラを実現するためには特殊な装置を必要とし、一般的には実施困難であった」と記載され、解決手段として「露光時間を制御可能な撮像素子と、該撮像素子の出力を受けて１フィールド又は１フレーム分の映像信号を記憶する記憶装置とを有し、前記撮像素子により複数フィールド期間連続した露光動作が行われている間は前記記憶装置よりの同一の映像信号を出力するように構成されたテレビカメラ装置。」と記載されている。

特開２０００−３５００７９号公報（第１頁、図１） 特開平０１−１４６４７６号公報（第１頁、図１）

上記特許文献１に記載の技術では、ズーム処理はテレビジョン内部の同一スケーラを用いてズーム処理しており、より高画質なズーム処理を行なう事は出来ない。また、記録部と再生部が一体となった構成であるため、再生部の機能に応じて記録データを切り替えることは出来ない。

上記特許文献２に記載の技術では、スローシャッターによる高感度記録中は同一の映像信号を出力するようになっており、滑らかなフレーム間の動きを表現することが出来ない。

上記課題の全部または一部は特許請求の範囲に記載の発明により解決または改善する。

例えば、ビデオカメラを再生機器に接続して動画像を視聴する場合、ビデオカメラでの撮影時に、撮影に付随する情報を映像符号化データと共に記録し、再生機器側で撮影に付随する情報を用いて動画像の画像処理を行うことで、より高画質再生可能とする。

例えば、撮影に付随する情報の一例としてズーム倍率情報を考えた場合、ズーム倍率情報を基に、再生機器に搭載された高品位なスケーラ機能を用いて、ズーム処理することで、より高品位なズーム画像の再生及び表示を可能とする。

例えば、撮影に付随する情報の一例としてシャッタースピード情報を考えた場合、シャッタースピード情報を基に、同一フレーム画を検出し、再生機器に搭載された高品位なフレーム補間機能を用いて、同一フレーム画像をフレーム補間画像で置き換えることで、スローシャッターを用いた高感度撮影時においても滑らかな動画像の再生及び表示を可能とする。

本発明によれば、動画像記録再生装置の高画質化を実現できる。例えば、撮影機器側で指示された撮影情報を記録映像データと共に記録し、再生機器側で、撮影情報を元に再生画像に対して画像処理を行なうことで、更なる高画質化を実現することが出来る。

本実施例を具体化するシステムの一例である 図１における、撮影情報と画像処理の一例 本実施例を具体化するシステムの別の一例である 本実施例を具体化するシステムの別の一例である 図１における再生制御情報格納方式の一例である 図５における再生制御情報の一例である 図５における再生制御情報の一例である 図６（Ｂ）を用いたズームの一例である 図１における、動作フローの一例である 図１における再生機器側の動作フローの一例である 図１における画像処理部の詳細な一例である 図１において、ズーム処理された動画像の一例である 図１において、ズーム処理された動画像の別の一例である 本実施例を具体化するシステムの別の一例である 図１２において、記録画像をモニタに表示する方法の一例である 本実施例を具体化するシステムの別の一例である 本実施例を具体化するシステムの別の一例である 再生機器の種類に応じたデータ出力、及び再生機器での再生動作時の、本実施例を具体化する動作フローの一例である 図１におけるカメラ入力部１０の詳細な一例である 図１における映像符号化部１１ａの詳細な一例である 図３における映像符号化部１１ｂの詳細な一例である 図１における画像処理部２１ａの詳細な一例である 図１において、フレーム補間処理された動画像の一例である 図１における画像処理部２１ａの詳細な別の一例である 図１における画像処理に応じたモニタへのアイコン表示フローの一例である 図１における画像処理に応じたモニタへのアイコン表示フローの別の一例である 図１における画像処理部での画像処理とそれに伴うモニタへのアイコン表示フローの一例である 本実施例を具体化するシステムの別の一例である

以下、本発明の実施の形態を、図面を用いて説明する。

図１は、本実施例による動画像記録再生システム１の典型的な一例である。以下、図１を説明する。

記録装置２は、動画像を記録する装置であり、撮像光１００を取り込み、符号化した後に、動画撮影時に取得可能な撮影情報と共に蓄積部１３に記録するブロックである。

撮影情報１０３の一例として、動画撮影時におけるズーム倍率情報、シャッタースピード情報、その他画像の特徴を示す情報などがある。ズーム倍率情報の一例として、ユーザによるズーム操作に伴うズーム倍率、ズーム時間間隔、ズーム時間間隔中のズーム倍率変化率を示すズーム速度などがある。シャッタースピード情報の一例として、動画撮影時の照度によって変化させるシャッタースピード値とシャッタースピード更新時刻がある。また、シャッタースピード情報の別の一例として、所定の期間中に、所定の変化率でシャッタースピードを変化させる場合の期間情報、変化率情報がある。その他画像の特徴を示す情報の一例として、所定時刻におけるコントラスト値や、所定時刻期間におけるコントラスト値変化率や、コントラストの変化を示す情報などがある。

また、記録した映像符号化データを映像復号化処理により動画像を生成し、撮影情報を元に生成する再生制御情報と共に動画像１０８を出力するブロックである。

再生制御情報は、撮影情報を含む情報であっても良いし、撮影情報を元に生成される情報であっても良い。再生制御情報は、記録装置２の出力形式にあわせてコマンド化しても良いし、動画像に付加してもよい。出力形式の一例としてＨＤＭＩがある。この場合、コマンドの一例としてＨＤＭＩ−ＣＥＣに基くコマンドがある。

再生装置３は、記録装置２が出力する動画像及び再生制御情報１０８を入力し、再生制御情報を用いて動画像に対して画像処理を行なった後、モニタ表示するブロックである。

記録装置２から再生装置３への動画像及び再生制御情報１０８の伝送手段の一例として、ＨＤＭＩ、ＵＳＢ、ＬＡＮなどを用いた接続や、Ｂｌｕ−ｒａｙディスク、ＤＶＤディスク、ハードディスクなどの光メディア、ホログラム記録媒体、内蔵ＳＲＡＭ、ＳＤＲＡＭ、フラッシュメモリ、ＳＤカードなどの半導体メモリを介した接続などがある。

動画像の表示は、再生装置３内部のモニタ２３に表示しても良いし、外部接続されたモニタに表示してもよい。

記録装置２は、カメラ入力部１０、映像符号化部１１ａ、記録部１２ａ、蓄積部１３、映像復号化部１４ａ、出力部１５ａ、ユーザインタフェース部１６で構成される。

ユーザインタフェース部１６は、撮影時に、ユーザから記録装置２に対して撮影方法を指示するユーザ指示１１４を入力とし、ユーザ指示１１４に従い、カメラ入力部１０にユーザ指示情報１１５を供給するブロックである。ユーザ指示１１４の一例として、ズーム倍率指示、シャッタースピード指示、デジタル入力画像に対する画質補正指示、撮影モード（例えば、スポーツモード、夜景モード、オート撮影モード）指示などがある。画質補正の一例として、コントラスト補正、ガンマ補正などがある。

カメラ入力部１０は、撮像光１００を取り込み、ユーザインタフェース部１６からのユーザ指示情報１１５に従い、デジタル入力画像１０１及び撮影情報１０３を生成するブロックである。

カメラ入力部１０内部に照度センサ、傾きセンサ、加速度センサなどの各種センサを持っていてもよく、これら各種センサから得られる情報を用いてデジタル入力画像に対する画像処理を行なってもよい。また、各種センサから得られる情報や、デジタル入力画像に対する画像処理情報を元に撮影情報１０３を生成しても良い。

映像符号化部１１ａは、デジタル入力画像１０１の符号化処理を行い、映像符号化データ１０２を生成するブロックである。符号化処理の方式の一例として、ＭＰＥＧ２、Ｈ．２６４、Ｍｏｔｉｏｎ ＪＰＥＧ、ＪＰＥＧなどがある。また、映像符号化データは非圧縮のままであっても良い。また、符号化処理で抽出可能な情報を含む撮影情報１０３を生成するブロックである。撮影情報１０３の一例として、動きベクトル、イントラ／インター、符号化レート、ピクチャタイプ、同一画像のフレーム、シーンチェンジが発生したフレーム、フレームレート、解像度、その他画像の特徴を示す情報などがある。

記録部１２ａは、映像符号化データ１０２と撮影情報１０３を入力し、記録データ１０４として蓄積部１３に記録するブロックである。撮影情報１０３は、ユーザインタフェース部１６から指示される撮影情報、カメラ入力部１０で生成される撮影情報、映像符号化部１１ａで抽出される撮影情報からなる情報である。また、記録部１２ａは蓄積部１３から記録済みの記録データ１０４を読み出し、映像符号化データ１０５と撮影情報１０７を出力するブロックである。

映像復号化部１４ａは、蓄積部１３から記録データ１０４を読み出し、その中の映像符号化データ１０５に対する復号化処理を行ない、動画像１０６を生成するブロックである。

出力部１５ａは撮影情報１０７を元に再生制御情報を生成し、動画像１０６と共に、外部接続方式に応じてプロトコル変換し、動画像及び再生制御情報１０８として出力するブロックである。出力部１５ａは動画像に対してデジタル画像処理を施しでもよい。デジタル画像処理の一例として、解像度変換、ＩＰ変換、ＹＵＶ／ＲＧＢフォーマット変換、色精度向上などがある。

外部接続方式の一例として、ＨＤＭＩ、ＵＳＢ、ＬＡＮなどを用いた接続や、Ｂｌｕ−ｒａｙディスク、ＤＶＤディスク、ハードディスクなどの光メディア、ホログラム記録媒体、内蔵ＳＲＡＭ、ＳＤＲＡＭ、フラッシュメモリ、ＳＤカードなどの半導体メモリを介した接続などがある。再生制御情報を記録装置２から再生装置３に伝送する方法の一例として、ＨＤＭＩ−ＣＥＣがある。

再生装置３は、入力部２０ａ、画像処理部２１ａ、再生画像表示部２２、モニタ２３、ユーザインタフェース２４で構成される。

ユーザインタフェース部２４は、画像処理部２１ａに対して、デジタル画像処理に対するユーザ指示情報１１７を供給するブロックである。ユーザ指示情報１１７の一例として、動画像１１０に対するズーム処理や、画像補正処理に対する指示などがある。また、再生モード（スポーツモード、シネマモード、室内モード、オート再生モードなど）指示や、再生制御情報とユーザ指示が同種の画像処理を示す場合に対するユーザ指示または再生制御情報を優先するモード指示などでもよい。本ブロックは、外部からのユーザ指示１１６を受けて動作しても良いし、ユーザ指示１１６を元にユーザ指示情報１１７を生成してもよい。

入力部２０ａは、記録装置２が出力する動画像及び再生制御情報１０８を入力し、外部接続方式に応じてプロトコル変換処理を施した動画像及び再生制御情報１１０を生成するブロックである。

画像処理部２１ａは、再生制御情報に基づき動画像のデジタル画像処理を施すブロックである。デジタル画像処理の一例として、ズーム処理、補間フレーム生成及びフレームデータ差換え処理、コントラスト補正やガンマ補正などの画質補正処理、画面の一部切出し処理、フレームレート変換処理などがある。更に、画像処理を施した動画像１１２を出力するブロックである。

また、ユーザインタフェース部２４からのユーザ指示情報１１７に従い、動画像に対するデジタル画像処理を行なうブロックである。再生制御情報１０８とユーザ指示情報１１７で画像処理内容が同種の場合、再生制御情報１０８とユーザ指示情報１１７に従い、画像処理部２１ａにて画像処理内容の判断を行なってもよい。

再生画像表示部２２は、動画像１１２を、モニタ２３の解像度に合わせて解像度変換処理を施した後に、モニタ２３に表示させるブロックである。解像度変換の対象領域は、動画像１１２に対するものであっても良いし、動画像１１２の一部領域に対するものであってもよい。また、解像度変換処理は、画像処理部２１ａの回路を利用してもよい。

図２は、図１における撮影情報１０３の具体的な一例と、撮影情報１０３を用いた具体的な画像処理の一例である。以下、図２を説明する。

撮影情報１０３の一例として、ズーム倍率がある。再生装置３における画像処理部２１ａでは、ズーム倍率情報に従い、動画像１１０に対してズーム処理を行なうことで、再生装置側３にあるより高品位なズーム処理回路を用いて高品位なズーム画像を生成することが出来る。本実施例と図1に記載の実施例を組み合わせてもよい。

撮影情報１０３の別の一例として、シャッタースピードがある。一部のデジタルカメラやカムコーダでは、低照度環境下で動画像を撮影する場合、シャッタースピードを落として、撮影時の感度を向上させる処理を行なっている。例えば、通常シャッタースピードを１／６０秒、低照度環境下におけるシャッタースピードを１／３０秒とした場合を考える。この場合、通常時には１／６０秒毎にフレーム画像が更新されるが、低照度環境下ではフレーム画像の更新が１／３０秒となる。一方、フレーム画像の符号化は１／６０秒毎に行なわれるため、低照度環境下では連続する２枚の同一フレーム画像が符号化されることになり、視覚的にフレームレート１／２の動画像となる。そこで、シャッタースピード情報を元に、１／６０秒単位で、連続する２枚の同一フレーム画像ＡとＢを検出し、片方のフレーム画像Ｂに対して、前後のフレーム画像から予測したフレーム補間画像Ｂ’を生成し、元のフレーム画像Ｂと差し替えることで、１／６０秒の異なる連続した動画像を生成し、視覚的に２倍のフレームレートを実現することが出来る。

図２１にフレーム補間処理の一例を示す。番号２におけるフレーム画像１０００及び１００１は同一フレーム画像である。番号３におけるフレーム画像１０１１は、フレーム画像１００１の前後のフレーム画像１０００及び１００２の各画素の内挿用いて生成した補間フレーム画像１０１１である。番号４では、元のフレーム画像１００１を補間フレーム画像１０１１に置き換えることによって、視覚的に滑らかな動画像を実現する。

フレーム補間処理は、前後のフレームを用いても良いし、前または後のみのフレームを用いても良い。また、補間に用いる前または後のフレームは何枚使用してもよいし、直前または直後のフレーム画像でなくてもかまわない。

撮影情報１０３の別の一例として、画質補正情報がある。通常、デジタルカメラやカムコーダ側で、周囲の環境や撮影モードに応じて、ガンマ補正やコントラスト補正などのデジタル画質補正処理を行なった後に符号化処理を行なう。一方、再生装置３側では、通常、デジタルカメラやカムコーダなどのモバイル機器に搭載されている画像処理回路に比べて、より高品位な画像処理回路を有している。

そこで、動画像に対する画質補正処理をデジタルカメラやカムコーダ側で行なわず、画質補正処理前の動画像に対して符号化処理すると共に、画質補正処理に係る情報を再生制御情報として、動画像と共に再生装置３側に供給する場合を考える。この場合、再生装置３側で、再生制御情報に基づく画質補正処理を行うことが出来るため、デジタルカメラやカムコーダなどのモバイル機器側で画質補正する場合に比べて、より高品位な画質補正処理を実現することが出来る。
また、デジタルカメラやカムコーダなどのモバイル機器側で画質補正処理する場合、再生装置側でも動画像に対する画質補正が行なわれ、結果モバイル機器側で調整した画質が実現できない場合がある。そこで、モバイル機器側で行なった画質補正情報を再生制御情報として再生装置３側に供給することで、再生装置３側でモバイル機器側で補正した内容を加味した画質補正処理を実現できる。

図３は、本実施例による動画像記録再生システム１の典型的な別の一例である。以下、図３を説明する。

記録装置２は、撮影情報を含む再生制御情報と映像符号化データで構成されるストリーム３０８を生成する。再生装置３はストリーム３０８を入力し、映像符号化データに対する復号化処理、再生制御情報に基づくデジタル画像処理を施し、モニタ２３に動画像を表示する。

記録装置２は、カメラ入力部１０、映像符号化部１１ｂ、記録部１２ｂ、蓄積部１３、出力部１５ｂ、ユーザインタフェース部１６で構成される。カメラ入力部１０、蓄積部１３及び、ユーザインタフェース部１６は図１に示すブロックと同様の構成である。

映像符号化部１１ｂは、デジタル入力画像１０１の符号化処理を行い、映像符号化データを含むストリーム３０２を生成するブロックである。符号化処理の方式の一例として、ＭＰＥＧ２、Ｈ．２６４、Ｍｏｔｉｏｎ ＪＰＥＧ、ＪＰＥＧなどがある。また、映像符号化データは非圧縮のままであっても良い。また、ユーザインタフェース１６またはカメラ入力部１０から供給される撮影情報１０３及び、符号化処理で抽出可能な情報を含む撮影情報を、再生制御情報としてストリーム３０２に含めることが出来る。各種撮影情報の一例は、図１における説明と同様である。

再生制御情報をストリームに含める手段の一例として、ストリーム中のユーザデータ内に再生制御情報を格納する手段や、ストリーム中のＰＳＩ情報に格納する手段や、映像符号化データに付随する管理情報に格納する手段などがある。

図５に再生制御情報を格納したＰＳＩ情報の一例を示す。本例では、ＰＳＩとしてＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）を用いており、この中のＰｒｉｖａｔｅ＿ｄａｔｅ＿ｉｎｄｉｃａｔｏｒ領域に再生制御情報を格納する。図６はＰｒｉｖａｔｅ＿ｄａｔｅ＿ｉｎｄｉｃａｔｏｒの詳細を示す一例である。例えば図６（Ａ）に示すように、ズーム倍率情報（Ｆｒａｍｅ＿Ｚｏｏｍ＿Ｉｎｆｏ）とズーム処理対象となるフレームの時刻情報（Ｔｉｍｅ＿Ｓｔａｍｐ＿Ｉｎｆｏ）を対の情報として格納することが出来る。また、図６（Ｂ）に示すように、ズーム開始フレームの時刻情報（Ｔｉｍｅ＿Ｓｔａｍｐ＿Ｓｔａｒｔ＿Ｉｎｆｏ）と、ズーム終了フレームの時刻情報（Ｔｉｍｅ＿Ｓｔａｍｐ＿Ｅｎｄ＿Ｉｎｆｏ）と、ズーム開始フレームからズーム終了フレームまでの期間で行なうズーム倍率情報（Ｆｒａｍｅ＿Ｚｏｏｍ＿Ｉｎｆｏ）を対の情報として格納してもよい。この場合、ズーム開始フレームからズーム終了フレームまでの期間で行なうズーム処理は、線形的にズーム倍率が変化するようにズーム処理しても良いし、所定の関数に従い、ズーム倍率を変更してもよい。図６（Ｂ）の手段を用いた場合の動画像に対するズームの一例を図６（Ｃ）に示す。本例では、フレーム番号＃０１をズーム開始フレーム６００、フレーム番号＃０４をズーム終了番号６０１とし、ズーム倍率情報を３倍とする。ズーム処理は線形的に変化するものとする。この場合、ズーム途中のフレーム番号＃０２はフレーム画像６１１を１．６７倍ズーム処理したフレーム６２１となる。ズーム途中のフレーム番号＃０３はフレーム画像６１２を２．３３倍ズーム処理したフレーム６２２となる。ズーム最終フレームとなるフレーム番号＃０４はフレーム画像６１３を３倍ズーム処理したフレーム６２３となる。フレーム番号＃０５以降のフレームに対しては、新しくズーム指示がない限り、フレーム番号＃０４と同様、同一フレーム番号のズーム前フレーム画像を３倍ズーム処理したフレームとなる。

記録部１２ｂは、ストリーム３０２を入力とし、蓄積部１３に記録データ３０４として記録するブロックである。また、蓄積部１３に記録された記録データ３０４を読出し、出力部１５ｂにストリーム３０６を供給するブロックである。

出力部１５ｂはストリーム３０６を入力し、外部接続方式に応じてプロトコル変換し、ストリーム３０８を出力するブロックである。出力部１５ｂは動画像に対してデジタル画像処理を施しでもよい。

外部接続方式の一例として、ＨＤＭＩ、ＵＳＢ、ＬＡＮなどを用いた接続や、Ｂｌｕ−ｒａｙディスク、ＤＶＤディスク、ハードディスクなどの光メディア、ホログラム記録媒体、内蔵ＳＲＡＭ、ＳＤＲＡＭ、フラッシュメモリ、ＳＤカードなどの半導体メモリを介した接続などがある。

再生装置３は、入力部２０ｂ、映像復号化部２５、画像処理部２１ｂ、再生画像表示部２２、モニタ２３、ユーザインタフェース２４で構成される。再生画像表示部２２、モニタ２３、ユーザインタフェース２４は図１に示すブロックと同様の構成である。

入力部２０ｂは、ストリーム３０８を入力とし、外部接続方式に応じてプロトコル変換処理を施したストリーム３１０を生成するブロックである。

映像復号化部２５は、ストリーム３１０の復号化処理を行なうと共に、ストリームから再生制御情報を抽出するブロックである。

画像処理部２１ｂは、動画像及び再生制御情報３１１を入力とし、再生制御情報に基づき動画像のデジタル画像処理を施すブロックである。デジタル画像処理の一例として、図１で示した処理がある。更に、デジタル画像処理を施した動画像１１２を出力するブロックである。また、ユーザインタフェース部２４からのユーザ指示情報１１７に従い、動画像３１１に対するデジタル画像処理を行なうブロックである。再生制御情報３１１とユーザ指示情報１１７で画像処理内容が同種の場合、再生制御情報３１１とユーザ指示情報１１７に従い、画像処理部２１ｂにて画像処理内容の判断を行なってもよい。

図４は、本実施例による動画像記録再生システム１の典型的な別の一例である。以下、図４を説明する。

記録装置２は、撮影情報を含む再生制御情報と映像符号化データで構成されるストリームを生成し、ＳＤカード４０８に記録する。再生装置３はＳＤカード４０８に記録されたストリームを読み出し、映像符号化データに対する復号化処理、再生制御情報に基づくデジタル画像処理を施し、モニタ２３に動画像を表示する。

記録装置２は、カメラ入力部１０、映像符号化部１１ｂ、メモリＩ／Ｏ部２６、ユーザインタフェース部１６で構成される。カメラ入力部１０、映像符号化部１１ｂ、ユーザインタフェース部１６は図３に示すブロックと同様の構成である。

メモリＩ／Ｏ部２６は、ストリーム３０２を入力とし、ＳＤカードに書き込むブロックである。

再生装置３は、メモリＩ／Ｏ部２７、映像復号化部２５、画像処理部２１ｂ、再生画像表示部２２、モニタ２３、ユーザインタフェース２４で構成される。映像復号化部２５、画像処理部２１ｂ、再生画像表示部２２、モニタ２３、ユーザインタフェース２４は図３に示すブロックと同様の構成である。

メモリＩ／Ｏ部２７は、ＳＤカード４０８からストリーム３１０を読み出すモジュールである。

図７は、図１で示した実施例において、撮影情報としてズーム倍率を用いた場合の記録機器２側における動作フローを示す図の一例である。

Ｓ７０１において、ユーザからユーザインタフェース部１６へのユーザ指示１１４として、ズーム指示されているか否かを確認する。ズーム指示がある場合には、Ｓ７０２においてズーム指示によって指定されるズーム倍率が、最大光学ズーム倍率を超えるか否かの確認を行う。最大光学ズーム倍率を超える場合には、Ｓ７０３において、カメラ入力部１０に対して最大光学ズーム倍率での光学ズーム処理を指示する。Ｓ７０４において、カメラ入力部で生成される最大光学ズーム倍率でズームしたデジタル入力画像に対して、映像符号化部１１ａで符号化処理を行ない、映像符号化データを生成し、記録部１２ａに供給する。またＳ７０５において、ズーム倍率情報や対応フレーム情報などの撮影情報１０３を記録部１２ａに供給する。次にＳ７０６で映像符号化データ１０２と撮影情報１０３を含む記録データ１０４を生成し、Ｓ７０７で蓄積部１３に記録データ１０４を書き込む。

一方、Ｓ７０２において、ズーム指示によって指定されるズーム倍率が、最大光学ズーム倍率を超えない場合には、Ｓ７０８でカメラ入力部１０にズーム指示で指定される光学ズーム倍率での光学ズーム処理を指示する。次にＳ７０９において、カメラ入力部１０で生成されるズーム後のデジタル入力画像に対する符号化処理を映像符号化部１１で行ない、映像符号化データ１０２を生成する。次にＳ７１０において、映像符号化データ１０２を含む記録データを生成し、Ｓ７０７で蓄積部１３に記録データ１０４を書き込む。

また、Ｓ７０１において、ズーム指示がない場合には、Ｓ７１１でカメラ入力部１０に入力される撮像光１００を元にデジタル入力画像１０１を生成し、Ｓ７０９において、映像符号化部１１ａで映像符号化処理を行ない映像符号化データ１０２を生成する。

図７は、図１で示した実施例において、ズーム倍率を含む再生制御情報を用いた場合の、再生機器３側における動作フローを示す図の一例である。

Ｓ８０１において、再生制御情報１１０からズーム倍率情報を抽出し、Ｓ８０２において、動画像１１０に対してズーム処理が必要か否かを判断する。ズーム処理が必要な場合、Ｓ８０３において画像処理部２１ａでズーム倍率情報に基づきズーム処理を実施し、ズーム処理後の動画像１１２を生成する。次にＳ８０３で再生画像表示部22を介して、モニタ２３にズーム後の動画像を表示させる。Ｓ８０２においてズーム処理が不要と判断した場合、Ｓ８０４の処理を実施する。

図９は、画像処理部２１ａまたは２１ｂの具体的な一例を示す。ズーム倍率情報抽出部２８は、入力される動画像及び再生制御情報１１０からズーム倍率情報９００を抽出するブロックである。ズーム処理部２９は、動画像及び再生制御情報１１０から動画像を抽出し、ズーム倍率情報９００を用いてズーム処理を施し、ズーム処理後の動画像１１２を生成するブロックである。ズーム倍率情報９００の一例として、ズーム倍率情報、光学ズーム最大倍率情報、ズーム開始及び終了フレーム情報、ズーム開始及び終了時刻情報、目標ズーム倍率、ズーム速度情報、ズーム遷移関数などがある。ズーム処理の一例として、ズーム倍率に従い、動画像のズームイン処理またはズームアウト処理を行なう例がある。また、別の一例として、光学ズーム倍率を超えるズームに対してのみズーム処理を施す例がある。また、別の一例として、ズーム開始タイミングに対応するフレームからズーム目標に到達するまで、ズーム速度に従い各フレームに対してズーム処理を施す例もある。

図１０は、図１、図3及び図４で示す実施例において、撮影情報をズーム倍率情報とし、Ｎ倍ズーム記録し、記録したデータを再生表示するシステムにおける画像イメージの一例である。

画像イメージ欄及びズーム前の画像イメージに対するズーム倍率欄は、処理部欄で示す各ブロックの入出力位置における画像イメージ及び、ズーム前の画像イメージに対する画像イメージのズーム倍率を示したものである。本実施例では、ズーム指示１１５された場合、記録装置２側でズーム処理を行なわず、ズーム前のデジタル入力画像１０１に対する符号化処理を行い、生成される映像符号化データ１０２をズーム倍率情報と共に記録データ１０４として記録するか、ズーム倍率情報を含むストリームを生成してＳＤカードに書き込む。

従って、ズーム前、カメラ入力部１０の出力における画像イメージ１０００ｂは、ズーム前の画像イメージ１０００ａとなる。記録装置２を再生装置３と接続して、再生装置３側のモニタ２３に表示させる場合、画像処理部２１aまたは２１ｂにおいて、ズーム前の動画像１１０または３１１を入力し、ズーム倍率情報に従い、ズーム処理部２９でＮ倍ズーム処理を行い、ズーム後の動画像１１２を生成する。動画像１１２は再生画像表示部２２を介してモニタ２３にＮ倍ズーム後の再生画像１１３を表示させる。

本方式を使用することで、記録装置２側のズーム処理回路ではなく、再生装置３側のズーム処理回路を用いることが出来る。記録装置２としてビデオカメラ、再生装置３として据え置き型の大型ＴＶを考え、再生装置３側に、より高性能のズーム処理回路が搭載されている場合、本実施例を用いることで、より高品位なズーム画像の表示が可能となる。

図１１は、図１、図3及び図４で示す実施例において、撮影情報をズーム倍率情報とし、ズーム前の画像イメージに対してＭ倍より大きいＮ倍のズーム記録し、記録したデータを再生表示するシステムにおける画像イメージの一例である。

画像イメージ欄及びズーム前の画像イメージに対するズーム倍率欄は、処理部欄で示す各ブロックの入出力位置における画像イメージ及び、ズーム前の画像イメージに対する画像イメージのズーム倍率を示したものである。本実施例では、ズーム指示１１５された場合、記録装置２側でズーム処理を行なわず、ズーム前のデジタル入力画像１０１に対する符号化処理を行い、生成される映像符号化データ１０２をズーム倍率情報と共に記録データ１０４として記録するか、ズーム倍率情報を含むストリームを生成してＳＤカードに書き込む。

本実施例では、ズーム指示１１４された場合、記録装置２側のカメラ入力部１０において、最大光学倍率までのズーム処理を行なったデジタル入力画像１０１を生成し、映像符号化部１１ａまたはｂにおいてデジタル入力画像１０１に対する符号化処理を行い、生成された映像符号化データ１０２を光学ズーム最大倍率を超えるズーム倍率情報と共に記録データ１０４として蓄積部１３に記録するか、ズーム倍率情報を含むストリームを生成してＳＤカードに書き込む。

従って、カメラ入力部１０の出力における画像イメージ１１００ｂは最大光学ズーム倍率であるＭ倍までズームした画像となる。画像処理部２１aまたは２１ｂの入力における画像イメージ１１００ｃは、Ｍ倍ズームした画像イメージであり、ズーム処理部２９でＮ倍までズーム処理し、ズーム後の動画像１１２を生成する。動画像１１２は画像イメージ１１００ｄとなる。動画像１１２は再生画像表示部２２を介して、モニタ２３にＮ倍ズーム後の動画像１１３を表示させる。動画像１１３は画像イメージ１１００ｅとなる。

本方式を使用することで、高品位なズーム処理可能な光学ズーム領域のズーム処理はカメラ入力部１０で実施し、デジタル的にズーム処理することで画質劣化が発生するデジタルズーム領域のズーム処理は、記録装置２側のズーム処理回路ではなく、再生装置３側のズーム処理回路を用いることが出来る。記録装置２としてビデオカメラ、再生機器３として据え置き型の大型ＴＶを考え、再生装置３側に、より高性能のズーム処理回路が搭載されている場合、本実施例を用いることで、より高品位なズーム画像の表示が可能となる。

図１２は、図１で示した実施例において、記録中のデジタル入力画像を、記録装置３側のモニタ３１に表示させるシステムの一例である。

記録装置２は、カメラ入力部１０、映像符号化部１１ａ、記録部１２ａ、蓄積部１３、映像復号化部１４ａ、出力部１５ａ、ユーザインタフェース部１６、画像処理部３０ａ、モニタ３１で構成される。カメラ入力部１０、映像符号化部１１ａ、記録部１２ａ、蓄積部１３、映像復号化部１４ａ、出力部１５ａ、ユーザインタフェース部１６は図１に示すブロックと同様の構成である。

画像処理部３０ａは、撮影情報１０３に基づき、デジタル入力画像１０１に対する画像処理を行い、動画像を生成するブロックである。また、モニタ３１の解像度に合わせて動画像のスケーリング処理を行い、処理後の動画像１２００をモニタ３１に供給するブロックである。画像処理の一例として、撮影情報１０３がズーム倍率情報である場合、ズーム倍率に従いデジタル入力画像１０１にズーム処理を施し、動画像を生成する。モニタにはズーム倍率情報に合わせてズーム処理した後の動画像が表示される。

図１３はこのシステムにおける動作フローを示す図の一例である。

Ｓ１３００において、撮影情報１０３からズーム倍率情報を抽出し、Ｓ１３０１において、動画像に対するズーム処理が必要か否かを判断する。ズーム処理が必要な場合には、Ｓ１３０２において、画像処理部３０ａでデジタル入力画像１０１に対して、ズーム倍率情報に基づきズーム処理及び、モニタ３１の解像度にあわせたスケーリング処理を実施し、ズーム後の動画像をモニタ３１に表示させる。Ｓ１３００またはＳ１３０１において、動画像に対するズーム処理が不要であると判断した場合、Ｓ１３０３を実施する。

図１４は、図１で示した実施例において、再生制御情報を用いたデジタル画像処理を行なうことが出来ない再生装置３を接続した場合、記録装置２が、更に再生制御情報を用いたデジタル画像処理を行なうことが出来るシステムの一例である。

記録装置２は、カメラ入力部１０、映像符号化部１１ａ、記録部１２ａ、蓄積部１３、映像復号化部１４ａ、出力部１５ｃ、ユーザインタフェース部１６、画像処理部３０ｂで構成される。カメラ入力部１０、映像符号化部１１ａ、記録部１２ａ、蓄積部１３、映像復号化部１４ａ、ユーザインタフェース部１６は図１に示すブロックと同様の構成である。

画像処理部３０ｂは、撮影情報１０７に基づき、動画像１０６に対する画像処理を行い、動画像１４００を生成するブロックである。画像処理の一例として、撮影情報１０７がズーム倍率情報である場合、ズーム倍率情報に従い動画像１０１にズーム処理を施し、動画像１４００を生成する。

出力部１５ｃは、記録装置２と接続する再生装置３が、再生制御情報を用いた画像処理に対応する場合には、撮影情報１０７を元に再生制御情報を生成し、動画像１０６と共に、プロトコル変換した後、動画像及び再生制御情報１４０８として出力する。一方、記録装置２と接続する再生装置３が、再生制御情報を用いた画像処理に非対応の場合には、動画像１４００をプロトコル変換した後、動画像１４０８として出力する。

再生装置３が再生制御情報を用いた画像処理に対応しているか否かの判断は、記録装置２と再生装置３の接続プロトコルに従い、コマンド等を用いた通信で実現しても良いし、接続している再生機器３の種類を、ユーザ側からユーザ指示１１４を用いて記録装置２側に設定し、その設定状況をユーザ指示情報１１５として画像処理部３０ｂや出力部１５ｃに知らせてもよい。コマンド等を用いた通信の一例として、ＨＤＭＩ−ＣＥＣやＤｉｓｐｌａｙ Ｐｏｒｔがある。

本実施例では、再生機器３が、記録機器２で付加した撮影情報を用いた画像処理に対応していない場合、撮影情報に基づく画像処理を含むトランスコード処理を行い、撮影情報に基づく画像処理された映像符号化データを生成し、出力部を介して再生機器３に出力する。

図１５は、図３で示した実施例において、再生制御情報を用いたデジタル画像処理に対応していない再生装置３を接続した場合、記録装置２が、更に再生制御情報を用いたデジタル画像処理及び映像の再符号化処理またはトランスコード処理を行ない、再生制御情報に基づくデジタル画像処理された映像符号化データを生成し、出力部１５ｂを介して再生機器３に出力することが出来るシステムの一例である。

記録装置２は、カメラ入力部１０、映像符号化部１１ｂ、記録部１２ｂ、蓄積部１３、映像復号化部１４ａ、出力部１５ｂ、ユーザインタフェース部１６、画像処理部３０ｃで構成される。カメラ入力部１０、記録部１２ｂ、蓄積部１３、及び、ユーザインタフェース部１６は図３に示すブロックと同様の構成である。また、記録部１４ａは図１に示すブロックと同様の構成である。

画像処理部３０ｂは、ユーザ指示情報１１５または撮影情報１０３または動画像に関連付けられた再生制御情報１５００に基づき、動画像１５００に対する画像処理を行い、動画像１５０１を生成するブロックである。画像処理の一例として、撮影情報１０３または再生制御情報１５００がズーム倍率情報である場合、ズーム倍率情報に従い動画像１５００にズーム処理を施し、動画像１５０１を生成する。

映像符号化部１１ｂは、デジタル入力画像１０１に加えて、動画像１５０１に対しても、図１または図３に示す映像符号化部１１ａと同様の符号化処理を行い、映像符号化データを含むストリーム３０２を生成するブロックである。
出力部１５ｂは、記録装置２と接続する再生装置３が、再生制御情報を用いた画像処理に対応する場合には、再生制御情報を含むストリーム３０６をプロトコル変換した後、ストリーム３０８として出力する。一方、記録装置２と接続する再生装置３が、再生制御情報を用いた画像処理に非対応の場合には、画像処理部３０ｃで画像処理を行った後に、映像符号化部１１ｂにて再符号化処理を行うことで生成するストリーム３０６をプロトコル変換した後、ストリーム３０８として出力する。

再生装置３が再生制御情報を用いた画像処理に対応しているか否かの判断は、記録装置２と再生装置３の接続プロトコルに従い、コマンド等を用いた通信で実現しても良いし、接続している再生機器３の種類を、ユーザ側からユーザ指示１１４を用いて記録装置２側に設定し、その設定状況をユーザ指示情報１１５として画像処理部３０ｃや出力部１５ｂに知らせてもよい。コマンド等を用いた通信の一例として、ＨＤＭＩ−ＣＥＣやＤｉｓｐｌａｙ Ｐｏｒｔがある。

記録装置２は、図１、図３、図１４及び図１５で示す記録装置の機能のいずれかを有しても良いし、全て有しても良い。

再生装置３は、図１、図３、図１４及び図１５で示す再生装置の機能のいずれかを有しても良いし、全て有しても良い。

図１６は、図１、図３、図１４及び図１５で示した実施例において、接続する再生機器３の種類に応じた記録機器２の動作フローおよび、再生機器３での再生および表示させる場合の動作フローを示す図の一例である。

Ｓ１６０１において、記録機器２と接続されている再生機器３が図１または図３に示す再生機器であるか否かの確認をする。対応している場合、次にＳ１６０２において、再生機器３がストリーム入力対応か確認する。対応している場合、Ｓ１６１０において、出力部１５で再生制御情報を含むストリーム３０８を出力する。再生装置３ではＳ１６１１で再生制御情報を含むストリーム３０８を入力し、Ｓ１６１２において、映像復号化部６０にて復号化処理を行ない、動画像を生成する。次にＳ１６０５において、再生制御情報を元に動画像に対するデジタル処理が必要か否かの判断をする。デジタル画像処理画必要な場合、Ｓ１６５０でデジタル画像処理を行い、デジタル画像処理が必要でない場合、Ｓ１６５１でデジタル画像処理を行わない。最後にＳ１６５２において、再生画像表示部２２を介してモニタ２３にデジタル画像処理後の動画像を表示させる。

Ｓ１６０２でストリーム入力に対応していない場合、Ｓ１６２０において、映像復号化部１３で復号化処理を行ない、動画像を生成し、Ｓ１６２１において再生制御情報及び動画像を再生機器３に出力する。Ｓ１６２２において入力部１３で再生制御情報及び動画像を入力し、Ｓ１６０５以降の処理を行なう。

Ｓ１６０１で、再生機器３が、再生制御情報を用いた画像処理に対応していない場合、Ｓ１６０３において再生機器３がストリーム入力対応可否かの確認を行なう。対応している場合は、Ｓ１６３０において、記録機器２側でデジタル画像処理を含むトランスコード処理を行い、デジタル画像処理されたストリームを生成し、Ｓ１６３１にて出力部からストリームを出力する。

Ｓ１６０３において再生機器３がストリーム入力に対応していない場合、Ｓ１６４０において、記録機器２側で一旦映像復号化処理を行ない、動画像を生成する。次にＳ１６０４において、再生制御情報を元に動画像がデジタル画像処理すべきか否かの判断をする。デジタル画像処理の要否に応じて、Ｓ１５４１でのデジタル画像処理またはＳ１６４２でのデジタル画像処理せず、Ｓ１６４３において、デジタル画像処理後の動画像を出力部１３を介して、再生機器３側に供給する。

図１７は、図１または図３におけるカメラ入力部１０の詳細な一例を示した図である。以下、図１７を説明する。
カメラ入力部１０は、フレーム同期生成部と、同一フレーム検出部とレンズ部と、Ａ／Ｄ変換部とで構成される。

レンズ部は、撮像光１００を入力するブロックである。

フレーム同期生成部は、撮像光から１フレームの画像として取り込む、フレーム取込みタイミング１７００を生成するブロックである。

同一フレーム検出部は、ズーム倍率情報やシャッタースピード情報などの撮像情報の元となるユーザ指示情報１１５やフレーム取込みタイミング１７００を元に、同一フレームを検出するブロックである。例えば、記録装置２において、１／３０秒毎にフレーム画像（フレーム１、フレーム２、フレーム３、フレーム４、フレーム５・・・）に対して符号化を行う場合を考える。ここで、ある期間、ユーザ指示情報１１５によってシャッタースピードが１／１５秒と指定される場合、同一フレーム検出部において、その期間は２枚の同一フレームが存在すると判断できる。すなわち、フレーム１とフレーム２は同一フレーム画像であり、フレーム３とフレーム４は同一フレーム画像であると判断できる。検出した同一フレーム情報は、撮影情報１０３として出力する。

撮像センサ及びＡ／Ｄ変換部は、レンズ部によって取り込まれた撮像光１７０１を、シャッタースピード情報やフレーム取込みタイミング１７００に従いアナログ画像データとして取り込み、さらにデジタルデータに変換し、デジタル入力画像１０１を生成するブロックである。

図１８は、図１における映像符号化部１１ａの詳細な一例を示した図である。以下、図１８を説明する。
符号化処理部は、デジタル入力画像１０１の映像符号化処理を行い、映像符号化データ１０２を生成するブロックである。また、符号化処理部で得られる符号化情報を同一フレーム検出部に供給するブロックである。

同一フレーム検出部は、符号化処理部から供給される符号化情報を元に、連続するフレームが同一フレーム画像であるか否かを判断し、撮像情報１０３として出力するブロックである。

符号化情報の一例として、動きベクトル情報や、画像データ情報、画像データの差分情報などがある。

図１９は、図３における映像符号化部１１ｂの詳細な一例を示した図である。以下、図１９を説明する。
符号化処理部は、デジタル入力画像１０１の映像符号化処理を行い、映像符号化データ１０２を生成し、同一フレーム検出部から供給される同一フレーム情報を含むストリーム３０２を生成するブロックである。また、符号化処理部で得られる符号化情報を同一フレーム検出部に供給するブロックである。

同一フレーム検出部は、符号化処理部から供給される符号化情報を元に、連続するフレームが同一フレーム画像であるか否かを判断し、同一フレーム情報１９０１を符号化処理部に供給するブロックである。

図２０は、図１に示す画像処理部２１ａの詳細な一例を示す。

再生制御情報抽出部４０は、再生制御情報及び動画像１１０のうち、再生制御情報２０００からシャッタースピード情報２００２を抽出するブロックである。

同一フレーム判定部は、シャッタースピード情報２００２からフレームレートを算出し、前後の画像（フレーム画像）が同一画像か否かの確認を行ない、同一フレーム画像であることを示す同一フレーム情報２００３を生成するブロックである。

補間フレーム生成部４２は、再生制御情報及び動画像１１０のうち、動画像２００１を入力し、同一フレーム情報２００３を用いて補間フレーム２００４を生成するブロックである。また、補間フレーム２００４の関連情報である補間フレーム有無情報２００４を生成するブロックである。補間フレーム有無情報の一例として、補間フレーム番号や、各フレーム対応付けられた補間フレーム有無フラグなどがある。

補間フレーム生成部４２は、Ｎ枚の同一画像が連続する場合、Ｎ枚のうち、Ｍ枚の補間フレーム２００４を生成する。ＭはＮと同一かそれよりも小さな値であり、０であってもかまわない。

補間フレーム差替部４３では、動画像２００１において、Ｎ枚の同一画像が連続する場合、そのうちＬ枚の画像を補間フレーム２００４に差し替え処理を行い、フレーム補完後の動画像１１２を生成するブロックである。ＬはＭよりも小さな値であり、０であってもかまわない。差換えフレームの決定は、同一フレーム情報２００３や、補間フレーム２００４に付随する補間フレーム有無情報などを用いて実施する。

図２１は、図１及び図３で示す実施例において、撮影情報をシャッタースピード情報とし、シャッタースピードが遅く、カメラ入力部１０が生成するデジタル入力画像１０１が複数枚連続である場合、同一画像の一部に対して補間フレーム画像を生成して表示させるシステムの一例である。

画像イメージは、画像イメージの抽出位置欄で示す各ブロックの入出力位置における画像イメージを示したものである。本実施例ではシャッター速度１／２倍のスローシャッター撮影の場合である。画像イメージは、連続する５枚の再生画像の一例を示しており、画像１０００と画像１００１が同一画像、画像１００２と画像１００３が同一画像としている。

再生機器３の画像処理部２１で、画像１０００及び画像１００２を用いて、画像１００１に対する補間画像１０１１を生成する。同様に、画像１００２及び画像１００４を用いて、画像１００３に対する補間画像１０１３を生成する
補間画像１０１１及び１０１３を再生画像１００１及び１００３と差換えて、画像処理部の出力画像とする。補間画像で差換えた再生画像を再生側モニタ２３に表示させる。

暗所において、ビデオカメラを用いた撮影を行なうと、光量が少ないため、撮影感度が低下する。このような場合、シャッタースピードを落とすことで高感度撮影を実現している。この場合、複数枚の同一画像が発生し、再生画像に対するフレームレート感が減衰し、コマ落ちと同じ効果となる。

本方式を使用することで、暗所において撮影した映像符号化データを、より高フレームレートで再生及び表示が可能となる。

図２２は、画像処理部２１ａの詳細な一例を示す。

再生制御情報抽出部５０は、入力される再生制御情報及び動画像１１０の中の再生制御情報２２００から、記録機器２側で実施したコントラスト補正やガンマ補正などの画像補正情報２２０２及び２２０３を抽出するブロックである。

コントラスト補正部５１は、画像補正情報２２０２を元に、再生制御情報及び動画像１１０の中の動画像２２０１に対するコントラスト補正を行ない、コントラスト補正後の動画像２２０４を生成するブロックである。

ガンマ補正部５２は、画像補正情報２２０３を元に、動画像２２０４に対するガンマ補正を行ない、ガンマ補正後の動画像１１２を生成するブロックである。

本実施例を用いることで、例えば記録装置２の一例であるビデオカメラ側で調整した画質（絵作り）を、そのまま再生装置３の一例であるテレビなどで再現することが可能となる。また、ビデオカメラ側とテレビ側で同一画質補正項目に対して、重複して補正をかけることによる画質の劣化を回避することが出来る。

図２３は、図１または図３において、再生制御情報に基づき、記録時に動画像のズーム指示されている場合に、再生装置３のモニタ２３にズーム中であることを示すアイコンを表示する際の動作フローの一例である。

Ｓ２３０１において、再生制御情報から、動画像１１０及び３１１がズーム領域か否かの判断をする。ズーム領域の一例としては、画像処理部２１ａ、２１ｂにおいて、再生制御情報に基づき動画像に対するデジタルズーム処理を行うデジタルズーム領域や、記録装置２側のカメラ入力部１０で行う光学ズーム領域がある。

動画像１１０及び３１１がズーム領域である場合、Ｓ２３０２において、再生画像表示部２２を介してモニタ２３にズーム処理中であることを示すアイコンを表示する。

動画像１１０及び３１１がズーム領域でない場合、再生画像表示部２２を介してモニタ２３にズーム処理中であることを示すアイコンを表示しない。

本実施例を用いることで、視聴者に視聴中の動画像がデジタルズーム中であることを認識させることができる。アイコンにはズーム倍率を含めても良い。

図２４は、図１または図３において、再生制御情報に基づきフレーム補間処理されている場合に、再生装置３のモニタ２３にフレーム補完処理中であることを示すアイコンを表示する際の動作フローの一例である。

Ｓ２４０１において、再生制御情報から、動画像１１０及び３１１が補完処理中か否かの判断をする。動画像１１０及び３１１が補完処理中である場合、Ｓ２４０２において、再生画像表示部２２を介してモニタ２３に補完処理中であることを示すアイコンを表示する。

動画像１１０及び３１１が補完処理中でない場合、再生画像表示部２２を介してモニタ２３に補完処理中であることを示すアイコンを表示しない。

本実施例を用いることで、視聴者に視聴中の動画像が補完処理中であることを認識させることができる。アイコンには補完処理に関連する情報を含めても良い。補完処理に関連する情報の一例として、シャッタースピードがある。

図２５は、再生装置３側で、ユーザ指示１１６により、再生する動画像のデジタルズーム処理を行なう実施例の一つである。

図２３に示す実施例において、再生装置３がズーム倍率情報に基づき、自動的にデジタルズーム処理を行なう場合、視聴者はデジタルズーム中のアイコンを見て再生装置３にズームアウト指示を出すことで、ズームアウト画像を視聴することが出来る。ズームアウトは記録されている光学ズーム最大倍率まで高品位の画質で視聴することが出来る。

Ｓ２５０１でズーム倍率情報を含む再生制御情報に基づき、動画像に対するデジタルズーム処理の要否を確認する。ズーム倍率情報により、デジタルズーム処理が必要である場合、Ｓ２５０２において、ユーザ指示１１６によるデジタルズーム指示の有無を確認する。ユーザからのズーム指示がある場合、再生制御情報ではなくユーザ指示１１６に従い、画像処理部２１ａまたは２１ｂでデジタルズーム処理を行なう。またユーザからのズーム指示がない場合には、再生制御情報に従い、画像処理部２１ａまたは２１ｂでデジタルズーム処理を行なう。次にＳ２５０４において、再生画像表示部２２を介して、モニタ２３に動画像を表示する。

Ｓ２５０１において、再生制御情報に基づくデジタルズーム処理が必要ない場合、Ｓ２５０６において、ユーザからのズーム指示の有無を確認する。ユーザからのズーム指示がある場合、Ｓ２５０３以降の処理を行う。またユーザからのズーム指示がない場合には、Ｓ２５０４以降の処理を行う。

また、再生装置３は再生制御情報に基づくデジタルズーム処理を行なわなず、デジタルズーム可能であることを示すアイコンをモニタ２３に表示しても良い。この場合、視聴者はデジタルズーム可能であることを示すアイコンを見て再生機器３にズーム指示を出すことで、ズーム画像を視聴することが出来る。

図２６は、図１で示した実施例において、さらに出力部６０において、再生装置３側のユーザ指示情報１１７を元に再生指示情報２６００を生成し、記録装置２に供給することができるシステムの一例である。

また、記録装置２側が、入力部６１を介して再生指示情報２６００を入力し、再生指示情報２６０１を追加情報として映像符号化データに対応付けして蓄積部１３に記録することができるシステムの一例である。

出力部６０及び入力部６１では、記録装置２と再生装置３とを接続する伝送路プロトコルに従い、プロトコル変換しても良いし、再生指示情報の中から蓄積部１３に記録するために必要な情報のみ抽出しても良い。

再生装置３内部に蓄積部を持っていても良く、動画像、再生制御情報及び、再生指示情報を再生装置２内の蓄積部に記録しても良い。蓄積部はデータを記録する領域を有しており、一例としてＢｌｕ−ｒａｙディスク、ＤＶＤディスク、ハードディスクなどの光メディア、ホログラム記録媒体、内蔵ＳＲＡＭ、ＳＤＲＡＭ、フラッシュメモリ、ＳＤカードなどの半導体メモリがある。

本実施例を用いることで、再生時にユーザが指示した動画像に対する画像処理内容を、対応する映像符号化データと共に記録装置２側に追記し、後に蓄積部１３に記録された映像符号化データを再生する際に、以前再生時にユーザが指示した動画像に対する画像処理を再現することができる。画像処理の一例として、ズーム処理やＯＳＤ表示がある。ＯＳＤ表示の一例として、あらかじめ用意されている装飾用ＯＳＤ郡の中からユーザが選んだＯＳＤを動画像と共に表示させることがある。

本実施例では動画像の撮影を例にとり説明したが、静止画の撮影であっても良い。

１ 動画像記録再生システム
２ 記録装置
３ 再生装置
１０ カメラ入力部
１１ａ 映像符号化部
１２ａ 記録部
１３ 蓄積部
１４ａ 映像復号化部
１５ａ 出力部
１６ ユーザインタフェース部
２０ａ 入力部
２１ａ 画像処理部
２２ 再生画像表示部
２３ モニタ
２４ ユーザインタフェース部

Claims (34)

1. 撮像光を取り込み、デジタル入力画像を生成するカメラ入力部と、
   前記デジタル入力画像を圧縮符号化処理して、撮影情報を含む再生制御情報を含むストリームデータを生成する映像符号化部と、
   前記ストリームデータを蓄積領域に記録する記録部と、
   前記ストリームデータを元に動画像データを生成し、出力する出力部と
   を有して構成されることを特徴とする記録装置。
2. 前記出力部が、映像復号化部を有し、
   前記映像復号化部が、前記ストリームデータの復号化処理を行い、非圧縮動画像を生成し、
   前記動画像データが、前記再生制御情報と前記非圧縮動画像で構成されることを特徴とする
   請求項１に記載の記録装置。
3. 前記動画像データが、前記ストリームデータであることを特徴とする
   請求項１に記載の記録装置。
4. 動画像と再生制御情報を含む動画像データを入力する入力部と、
   前記再生制御情報を用いて、前記動画像の画像処理を行なう画像処理部と、
   画像処理後の動画像をモニタに表示する再生画像表示部と、
   を有して構成されることを特徴とする再生装置。
5. 前記動画像データが、再生制御情報と非圧縮動画像で構成されることを特徴とする
   請求項４に記載の再生装置。
6. 前記動画像データが、再生制御情報を含むストリームデータであり、
   更にストリームデータの復号化処理を行う復号化部を有することを特徴とする
   請求項４に記載の再生装置。
7. メモリI/O部を更に有し、
   前記記録部が、前記蓄積部から読み出した記録データを読出して前記メモリI/Oに出力し、
   前記メモリI/Oが、着脱可能なメモリに記録データを記録することを特徴とする
   請求項１、２または３に記載の記録装置。
8. メモリI/O部を更に有し、
   前記メモリI/Oが、着脱可能なメモリに記録された記録データを読み出して前記入力部に供給することを特徴とする
   請求項４、５または６に記載の再生装置。
9. 請求項７に記載の記録装置と、請求項８に記載の再生装置とを有して構成され、
   着脱可能なメモリを介して、前記記録装置の蓄積部に格納された記録データを、前記再生装置に入力する
   ことを特徴とする動画像記録再生装置。
10. 前記再生制御情報が、ストリームデータ中のユーザデータ領域に格納されることを特徴とする、請求項１、２、３に記載の記録装置。
11. 前記再生制御情報が、ストリームデータ中のユーザデータ領域に格納されることを特徴とする、請求項４、５、６に記載の再生装置。
12. 前記再生制御情報が、ストリームに対応する管理ファイル領域に格納されることを特徴とする、請求項１、２、３に記載の記録装置。
13. 前記再生制御情報が、ストリームに対応する管理ファイル領域に格納されることを特徴とする、請求項４、５、６に記載の再生装置。
14. 請求項２に記載の動画像データの出力と、請求項３に記載の動画像データの出力切り替えが可能であることを特徴とする記録装置。
15. 請求項５に記載の動画像データの入力と、請求項６に記載の動画像データの入力切り替えが可能であることを特徴とする再生装置。
16. 前記撮影情報が、動画像に対するズーム倍率情報であり、
    前記映像符号化部がズーム処理前のデジタル入力画像に対してストリームデータを生成する
    ことを特徴とする請求項１、２または３に記載の記録装置。
17. 前記撮影情報が、画像に対するズーム倍率情報であり、
    カメラ入力部が光学ズーム機能を有し、
    ズーム倍率が光学ズーム最大倍率以内の場合、光学ズームでデジタル入力画像を生成し、
    ズーム倍率が光学ズーム最大倍率を超える場合、光学ズーム最大倍率でデジタル入力画像を生成し、
    映像符号化部が前記デジタル入力画像に対してストリームデータを生成する
    ことを特徴とする請求項１、２または３に記載の記録装置。
18. 前記再生制御情報が、入力される動画像に対するズーム倍率情報を含み、
    前記画像処理部が、前記ズーム倍率情報に従い、前記動画像に対してズーム処理する
    ことを特徴とする請求項４、５または６に記載の再生装置。
19. 動画像記録中に、動画像をモニタに表示する記録画像表示部を更に有し、
    前記記録画像表示部が、前記ズーム倍率情報に従いデジタル入力画像に対してズーム処理し、ズーム後のデジタル入力画像をモニタに表示する
    ことを特徴とする請求項１、２または３に記載の記録装置。
20. 前記出力部が、動画像に対するズーム処理を施す機能を更に有し、
    前記出力部がズーム倍率に従い動画像に対してズーム処理を施し、ズーム処理後の動画像を出力する機能を更に有することを特徴とする請求項１または２に記載の記録装置。
21. 前記出力部がズーム倍率に従い動画像に対してズーム処理を施し、ズーム処理後の動画像に対して映像符号化処理を行ない、ズーム処理後のストリームデータを生成して出力する機能を更に有することを特徴とする請求項１または３に記載の記録装置。
22. 前記映像符号化部が、ズーム処理の対象となるフレームを含む、一部のフレームに対してのみ圧縮再符号化処理を施すことを特徴とする請求項２１に記載の記録システム。
23. 前記撮影情報が、撮影時のシャッタースピード情報であることを特徴とする請求項１、２または３に記載の記録装置。
24. 前記映像符号化部または前記カメラ入力部が、同一のフレーム画像を抽出し、撮影情報として記録することを特徴とする請求項１、２または３に記載の記録装置。
25. 前記再生制御情報が、入力される動画像に対するシャッタースピード情報であり、
    前記画像処理部が、シャッタースピード情報を元に、直前の画像と同一のフレーム画像を抽出し、
    抽出したフレーム画像に対して、前または後のフレーム画像からフレーム補間画像を生成し、
    抽出したフレーム画像をフレーム補間画像と差換えることを特徴とする
    請求項４、５または６に記載の再生装置。
26. 前記再生制御情報が、入力される動画像に対する同一フレーム情報であり、
    前記画像処理部が、直前のフレームと同一であるフレーム画像に対して、前または後のフレーム画像からフレーム補間画像を生成し、
    抽出したフレーム画像をフレーム補間画像と差換えることを特徴とする
    請求項４、５または６に記載の再生装置。
27. 前記撮影情報が、前記デジタル入力画像に対するデジタル画質補正情報であることを特徴とする請求項１、２または３に記載の記録装置。
28. 前記再生制御情報が、入力される動画像に対するデジタル画質補正情報であり、
    前記画像処理部が、前記デジタル画質補正情報で通知された画質補正項目に対しては画質補正処理を行なわないことを特徴とする請求項４、５または６に記載の再生装置。
29. 前記再生制御情報が、デジタル画質補正情報であり、
    前記画像処理部が、画質補正処理に再生情報を利用することを特徴とする請求項４、５または６に記載の再生装置。
30. 前記再生画像表示部が、前記画像処理部においてズーム処理している期間、モニタにアイコンを表示させることを特徴とする請求項１、２または３に記載の記録装置。
31. 前記再生画像表示部が、前記画像処理部でフレーム補間処理している期間、モニタにアイコンを表示させることを特徴とする請求項４、５、６、２５または２６に記載の再生装置。
32. 前記画像処理部が、ユーザの指示によりズーム処理を行なうことを特徴とする請求項４、５または６に記載の再生装置。
33. 前記再生制御情報を入力する入力部を更に有し、
    前記記録部または前記映像符号化部が、前記再生制御情報に追記し、前記蓄積部に再記録すること
    を特徴とする請求項１、２または３に記載の記録装置。
34. 動画像データを入力する入力部と、
    外部から再生指示を受ける再生側ユーザインタフェース部と、
    再生指示を含む再生制御情報を出力する出力部と、
    前記再生指示に応じて、前記動画像の画像処理を行なう画像処理部と、
    画像処理後の動画像を再生機器側のモニタに表示する再生画像表示部と、
    で構成されることを特徴とする請求項４、５または６に記載の再生装置。

Images