JP2010074323A - 記録装置および方法、並びに記録再生装置および方法 - Google Patents

Abstract

【課題】ダイジェスト検出の精度を保ちつつ、圧縮率と録画フレームレートを変えることで、メディア容量を有効に使いながら記録し、再生時に自動でダイジェスト再生が行われるようにする。
【解決手段】ステップＳ３の重要度指定ループは、ユーザが指定する重要度に応じたフレームレートおよび圧縮率でもって、撮像画像が録画される処理である。重要度レベル指定イベントが生じたと判定されると、ステップＳ３３において、重要度レベルに応じたフレームレートおよび圧縮率が設定される。重要度レベルが高くなるほど、フレームレートが高くされる。重要度レベルが高くなるほど、圧縮率が低くされる。設定されたフレームレートおよび圧縮率で信号が記録メディア５に記録される。記録メディア５を標準フレームレートで再生すると、重要度の低い区間が早送り再生され、重要度が高い区間がスローモーション再生される。
【選択図】図３

Description

この発明は、例えばビデオカメラにより取得された動画像信号を記録メディアに記録する記録装置および方法、並びに記録された動画像信号を再生する記録再生装置および方法に関する。

記録媒体に記録されたテレビジョン番組のような動画像に関して、ダイジェストを作成して、作成されたダイジェストを再生するダイジェスト再生が知られている。ダイジェストは、動画像の中で、盛り上がりのシーン、見どころのシーン、重要なシーン等の動画像の把握に役立つ重要度の高いシーンを意味する。

映像のダイジェストを作成するためには、重要度の程度を示すメタデータを映像に付加する必要がある。その方法として、特許文献１に記載されているように、録画後に映像を見ながら手動または半手動でダイジェストを割り当てる方法が知られている。

特開平０３−０９０９６８号公報

他の方法として、特許文献２に記載されているように、ズーム操作のようなカメラ操作の動きの解析を行い、それらの変化から自動でダイジェストの割り当てを行う方法が提案されている。さらに、ブルーレイディスクレコーダでは、画像および音声の解析を行い、画像および音声の変化から自動的にダイジェストを抽出するようになされている。

特開平０６−１６５００９号公報

特許文献１に記載の方法は、録画後の映像を実際に見ながら手動でダイジェストを抽出するので、ダイジェストを高い精度で反映した正確なダイジェストを作成できる。しかしながら、録画後編集作業として、最低１回は、全映像を再生しなければならないため多くの時間と労力がかかってしまう。さらに、このように時間のかかる編集作業を行う前には、映像に何が映っているかを簡単に把握したい時などに利用することができない。

一方、特許文献２に記載の方法のように、自動的にダイジェストを抽出する方法は、上述した問題がない。しかしながら、撮影者や被撮影者が重要だと感じる部分と、カメラ操作の動き（または映像信号および音声信号）とが直接的には対応していない部分も存在する。その結果、重要度を正確に反映した精度の高いダイジェストを作成することは難しい。さらに、三脚などにカメラを設置して撮影を行う場合は、映像の変化やカメラ操作の動きが少ないので、ダイジェストの抽出が難しい。すなわち、シーンの違いによってダイジェストの抽出の精度の違いが大きいという問題がある。

この発明は、かかる従来の問題点を除去するもので、動画の撮影中に重要と思われるポイントに到達したら、リアルタイムにリモートコントローラ等を用いることでダイジェスト検出の精度を保ちつつ、録画フレームレートを変えることで、再生時に自動でダイジェスト再生が行われるようにする記録装置および方法、並びに記録再生装置および方法を提供することにある。さらに、映像の記録圧縮率も重要度に応じて変化させることでメディア容量を有効に使用できる。

上述した課題を解決するために、この発明は、標準フレームレートに比してより高いフレームレートｎの動画像信号を出力する撮像部と、
撮像部から出力される動画像信号のフレームレートを制御信号によってｎと等しいかまたはより小のフレームレートに変換する画像信号処理部と、
画像信号処理部の出力信号が記録される記録媒体と、
制御信号を生成する制御信号生成部とを備え、
動画像信号の重要度が高いほどフレームレートが高くなるように制御信号生成部が制御信号を生成する記録装置である。

好ましくは、動画像信号を表示し、
表示画像を見ながら手動による操作例えばリモートコントローラのキー操作によって制御信号が生成される。

好ましくは、複数の要因によって自動的に重要度に応じた制御信号が生成される。
複数の要因は、手振れ、画像のボケ、顔検出結果、撮像中になされたユーザのキー操作の受付、オーディオ信号の盛り上がりの有無の内の複数である。

好ましくは、記録媒体に対して動画像信号を圧縮して記録し、制御信号によってフレームレートおよび圧縮率が制御される。

好ましくは、記録媒体に対して動画像信号と、制御信号により指定される重要度の情報とが記録される。

この発明は、撮像部によって標準フレームレートに比してより高いフレームレートｎの動画像信号を生成するステップと、
画像信号処理部によって撮像部から出力される動画像信号のフレームレートを制御信号によってｎと等しいかまたはより小のフレームレートに変換するステップと、
記録媒体に画像信号処理部の出力信号を記録するステップと、
制御信号生成部によって制御信号を生成するステップとを備え、
動画像信号の重要度が高いほどフレームレートが高くなるように制御信号生成部が制御信号を生成する記録方法である。

この発明は、標準フレームレートに比してより高いフレームレートｎの動画像信号を出力する撮像部と、
撮像部から出力される動画像信号のフレームレートを制御信号によってｎと等しいかまたはより小のフレームレートに変換する画像信号処理部と、
動画像信号の重要度が高いほどフレームレートが高くなるように画像信号処理部を制御する制御信号を生成する制御信号生成部と、
動画像信号と、制御信号により指定される重要度の情報とが記録される記録媒体と、
記録媒体上の動画像信号と重要度の情報を再生する再生部と、
再生された重要度の情報を参照して再生時のフレームを制御する画像信号処理部と
を有する記録再生装置である。

好ましくは、重要度の情報を参照して全区間が標準フレームレートでもって再生される。

好ましくは、重要度の情報を参照して設定された重要度以上の重要度の区間が１倍速でもって再生される。

この発明は、撮像部によって標準フレームレートに比してより高いフレームレートｎの動画像信号を生成するステップと、
画像信号処理部によって撮像部から出力される動画像信号のフレームレートを制御信号によってｎと等しいかまたはより小のフレームレートに変換するステップと、
制御信号生成部によって動画像信号の重要度が高いほどフレームレートが高くなるように画像信号処理部を制御する制御信号を生成するステップと、
記録媒体に動画像信号と、制御信号により指定される重要度の情報とを記録するステップと、
再生部によって記録媒体上の動画像信号と重要度の情報とを再生するステップと、
画像信号処理部によって再生された重要度の情報を参照して再生時のフレームを制御するステップと
を有する記録再生方法である。

この発明は、動画像信号のダイジェスト作成のための重要度抽出方法について、撮像部からの動画像信号を記録する時に、リアルタイムに重要度を指示するので、録画後に編集作業を必要とせずにダイジェストを作成することができる。さらに、この発明は、録画中に人の意志を反映した信号をリアルタイムに発生するので、全自動による方法では結果が不正確という問題を避けることができる。さらに、この発明によれば、重要度に応じて記録フレームレートを動的に変化させるので、フレームレート一定の再生を行うのみで、簡単にダイジェスト再生ができる。さらに、重要度に応じて圧縮率も動的に変えるので、重要度の高い部分はきれいな映像で、重要度が低い部分は粗い画像で記録することによりメディアの容量を有効に使用できる。

以下、この発明の実施の形態について図面を参照しながら説明する。なお、以下に説明する実施の形態は、この発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、この発明の範囲は、以下の説明において、特にこの発明を限定する旨の記載がない限り、実施の形態に限定されないものとする。

〔カメラレコーダ〕
この発明の一実施の形態について説明する。図１を参照してこの発明を適用できるビデオカメラレコーダ（ビデオカメラとレコーダとが一体構成とされた装置）の一例を説明する。光学ブロック１を介された被写体光がＣＣＤ（Charge Coupled Device）、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等の撮像素子２に入射される。撮像素子２から電気信号（撮像信号）が出力される。光学ブロック１１は、レンズ、フォーカス機構、シャッター機構、絞り（アイリス）機構などを備えている。撮像素子２には、撮像素子のドライバ、前処理回路とが含まれている。

撮像素子２は、テレビジョン信号の規格に基づくフレームレート（標準フレームレートと称する）例えば３０fps(frame per second)より高いフレームレート例えばｎ＝２４０fpsの動画像信号を出力する。このような撮像素子は、例えば特開２００６−３１９５１３号公報に記載されているように、撮像素子の隣接している同色の画素の信号を加算して同時に出力する構成とされている。

前処理回路は、例えばＣＣＤからの撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理を行って、Ｓ／Ｎ比を良好にし、ＡＧＣ（Automatic Gain Control）処理を行って、利得を制御し、そして、Ａ／Ｄ（Analog/Digital）変換によって、デジタル信号とされた撮像信号を形成する。

撮像素子２からのデジタル撮像データがカメラ信号処理部３に供給される。カメラ信号処理部２は、撮像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure ）、ＡＷＢ（Auto White Balance）などのカメラ信号処理を施す。カメラ信号処理回路３と関連してＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の大容量メモリが設けられている。

さらに、カメラ信号処理部２は、後述する制御部７からの制御信号によって、フレームレートｎ（＝２４０fps）と等しいか、それより小のフレームレートに変換するフレーム
レート変換処理を行う。フレームレートを下げる処理の一例は、間引き処理である。制御部７は、重要度が高い区間ほど、フレームレートが高くなるようにフレームレート変換処理を制御する。以下の説明では、重要度の高低を示すパラメータを重要度レベルと称する。重要度レベルの数値が大きいほど重要度が高いことを意味する。制御信号は、表示される動画像信号を見ながら（すなわち、リアルタイムで）、ユーザがリモートコントローラのキーを操作することによって手動で生成される。他の方法として、複数の要因を検出し、検出された複数の要因によって自動的に重要度レベルに応じた制御信号が生成される。

カメラ信号処理回路３からの映像信号が記録再生部４および重畳部１０に供給される。重畳部１０の出力信号がＬＣＤパネル１１に対して供給される。ＬＣＤパネル１１に対して、タッチパネルが設けられる。記録再生部４の出力信号が図示しないインターフェースを介して記録メディア５に供給され、記録メディア５上に記録される。記録メディア５は、半導体メモリ（例えばメモリカード）、ハードディスク、記録可能な光ディスク等である。

記録再生部４は、記録時に映像信号を所定の圧縮方式で圧縮し、再生時に圧縮映像信号を伸張する。一例として、ＭＰＥＧ(Moving Picture Experts Group Phase)−４Ｈ．２６４／ＡＶＣ(Advanced Video Coding)を用いた高精細（ＨＤ）映像記録と、ＭＰＥＧ−２
を用いた標準（ＳＤ）映像記録とが可能とされている。さらに、圧縮以外に記録／再生に必要な信号処理を行う。後述するように、制御部７からの制御信号によって、圧縮率が制御される。

カメラレコーダの各部を制御するために制御部７が設けられる。制御部７は、ＣＰＵ（Central Processing Unit ）、ＲＡＭ（Random Access Memory）、フラッシュＲＯＭ（Read Only Memory）等から構成されたマイクロコンピュータである。フラッシュＲＯＭは、ＣＰＵが実行する種々のプログラムや、処理に必要になるデータ等が記憶されたものである。制御部７に設けられたメモリをメモリ８と表記する。

光学ブロック１、カメラ信号処理回路３および記録再生部４が制御部７からのコントロール信号によって制御される。光学ブロック１のフォーカス機構、シャッター機構、絞り機構、ズーム機構が制御部７によって制御される。制御部７に対してキー入力部６からのキー信号が入力される。さらに、ＬＣＤパネル１１のタッチパネルからの操作信号が制御部７に供給される。

制御部７は、加速度センサー（図示せず）等からの手振れ検出信号を受け取り、光学ブロック１内の補正光学部を制御して手振れを補正する。手振れ補正は、光学的なものに限らず、電子的補正、撮像素子シフトによる補正等を使用しても良い。さらに、カメラ信号処理部３においては、被写体映像中に人の顔が存在することを検出し、顔に対してピントおよび露出が適性となるように制御する顔検出処理がなされている。さらに、笑顔の検出を行う笑顔検出を行うようにしても良い。

さらに、赤外線受信部１２が設けられ、後述するリモートコントローラからの赤外線信号が赤外線受信部１２によって受信される。赤外線受信部１２からの受信信号が制御部７に供給される。

制御部７は、赤外線信号を受け取り、オンスクリーンディスプレイ部９を制御する。オンスクリーンディスプレイ部９は、制御部７の制御に応じて表示信号を生成し、生成した表示信号を重畳部１０に供給する。重畳部１０において、カメラ信号処理回路３からの映像信号に対して表示信号が重畳される。重畳部１０からの表示信号が重畳された映像信号がＬＣＤパネル１１に供給される。ＬＣＤパネル１１は、映像信号と共に、表示信号に対応する表示（テキスト、グラフィックス）を行う。

電源部１４が設けられ、電源部１４からの電源が制御部７に供給される。バッテリ１３またはＡＣ（商用）電源１６を整流した電源が電源部１４により制御部７に供給される。さらに、電源部１４からの電源が電源制御スイッチ１５を介して制御部７以外の回路に対して供給される。電源制御スイッチ１５は、制御部７によってそのオン／オフが制御される。

さらに、記録メディア５から再生された再生信号が記録再生部４に供給される。記録再生部４において、読み出した信号が伸張され、伸張された再生映像信号がＬＣＤパネル１１に供給され、ＬＣＤパネル１１上に再生画像が表示される。

〔リモートコントローラ〕
最初に、重要度レベルに応じた制御信号をリモートコントローラのキー操作によって生成する例について説明する。 図２は、リモートコントローラの一例である。リモートコントローラは、ＣＰＵを含む制御部２１を有する。バッテリ２２から電源部２３が生成した電源が制御部２１および赤外線ＬＥＤ(Light Emitting Diode)駆動部２５に供給される。

制御部２１に対しては、例えばキーマトリクスの構成の操作部２４からの操作信号が供給される。操作部２４には、操作ボタンとして重要度指定ボタン（重要度レベルに対応した数のボタン）が含まれている。

重要度レベルは、例えば５個のレベルとされ、各レベルが数字の（３，２，１，０，−１）でもって表されている。最も高い重要度レベルは、（３）であり、標準的な重要度レベルが（０）であり、最も低い重要度レベルが（−１）である。したがって、この例では、５個の重要度指定ボタンが操作部２４に配置されている。

操作部２４において操作されたボタンに対応する操作信号が制御部２１に供給されると、制御部２１が操作信号に対応する信号を発生する。すなわち、重要度指定ボタンが押されると、重要度指定信号が発生する。

ボタン操作によって発生した信号がＬＥＤ駆動部２５に対して供給され、赤外線ＬＥＤ２６がＬＥＤ駆動信号に応じて発光（オン）／非発光（オフ）する。ＬＥＤ駆動信号は、所定の周波数（数十ｋHz）のキャリア信号を変調した信号である。上述した赤外線受信部１２が赤外線ＬＥＤからの赤外線信号を受光し、赤外線信号に応じた受信信号を発生する。

なお、赤外線信号による通信を新たに規定しても良いし、赤外線リモートコントローラの既存の規格を利用しても良い。さらに、赤外線に代えて電波による無線リモートコントローラ（Bluetooth 、無線ＬＡＮ(Local Area Network)等の各種の規格）を使用しても良い。さらに、有線のリモートコントローラを使用しても良い。

〔録画時の処理〕
図３のフローチャートを参照して録画時に重要度を登録する処理について説明する。図３のフローチャートに示される処理は、制御部７の制御によって実行される。図３のフローチャートに示される処理は、重要度タグ付け処理である。ステップＳ１において、重要度テーブルの読み出しがなされる。例えば重要度テーブルは、制御部７のメモリ８（不揮発性メモリ部分）に貯えられている。録画開始時における重要度レベルは、予め設定されている。例えば標準の値（０）が設定されている。

ステップＳ２において、キー入力部６におけるキー操作またはＬＣＤパネル１１に設けられたタッチパネルの操作によって、撮像画像の録画が開始される。録画が開始されると、ステップＳ３（重要度指定ループ）に処理が移る。重要度指定ループは、ユーザが指定する重要度に応じたフレームレートおよび圧縮率（ビットレート）でもって、撮像画像が録画される処理である。

重要度指定ループの最初のステップＳ３１において、重要度レベル指定イベントが生じたか否かが判定される。重要度レベル指定イベントが生じないと判定されると、ステップＳ３２において、記録終了イベントが発生したか否かが判定される。記録終了イベントは、キー入力部６におけるキー操作またはＬＣＤパネル１１に設けられたタッチパネルの操作によって、記録終了が指示されることである。記録終了でないと判定されると、ステップＳ３１の重要度レベル指定イベントの発生の有無の判定に処理が戻る。

ユーザが図２に示すリモートコントローラの操作部２４において、所望の重要度に対応する重要度指定ボタンを押すと、重要度指定信号が赤外線信号として送信される。この赤外線信号が赤外線受信部１２によって受信され、受信された重要度指定信号が制御部７に対して供給される。重要度指定信号が供給された制御部７は、ステップＳ３１において、重要度レベル指定イベントが発生したと判定する。

制御部７は、ステップＳ３３において、受信された重要度指定信号が指定する重要度レベルに対応する記録処理を行うように、記録再生部４を制御する。すなわち、重要度レベルに合った録画フレームレートおよび圧縮率の記録動作を行うように制御する。一例として、重要度レベルが５段階とされている。録画開始時に設定される標準の重要度レベル（数字の「０」）では、録画フレームレートが標準のフレームレート例えば毎秒３０フレームとされている。

重要度レベルが高くなるほど、録画フレームレートが高いものとされる。例えば重要度レベルに応じて下記のように録画フレームレートが設定される。

重要度レベル「３」の録画フレームレート：２４０fps
重要度レベル「２」の録画フレームレート：１２０fps
重要度レベル「１」の録画フレームレート：６０fps
重要度レベル「０」の録画フレームレート：３０fps
重要度レベル「−１」の録画フレームレート：１５fps

重要度レベルが高くなるほど、圧縮率が低いものとされる。例えば重要度レベルに応じて下記のように圧縮率が設定される。圧縮率が高いと、伸張後の画像の画質が圧縮率が低い場合に比して劣化する。一方、記録メディア５の容量を節約できる。したがって、重要度が低い場合には、圧縮率が高くされ、画質が劣化しても記録メディア５の容量を節約するようになされる。なお、フレームレートのみを制御して圧縮率の制御を行わないでも良い。

重要度レベル「３」の圧縮率：１／２
重要度レベル「２」の圧縮率：１／４
重要度レベル「１」の圧縮率：１／８
重要度レベル「０」の圧縮率：１／１６
重要度レベル「−１」の圧縮率：１／３２

上述した重要度レベルと圧縮率は、一例であって、他の数値例も可能である。さらに、ユーザがこれらの値を所望のものに設定することができるようにしても良い。すなわち、重要度レベルが高いと、重要度レベルが低いレベルに比して必ずフレームレートが上がるという設定以外の設定も可能である。さらに、重要度レベルが高いと低いレベルに比して必ず圧縮率が必ず下がるという設定以外の設定も可能である。

ステップＳ３３において、重要度レベルに応じて録画フレームレートおよび圧縮率が設定されると、記録再生部４が設定された録画フレームレートおよび圧縮率でもって撮像データを処理する。ステップＳ３４において、オンスクリーンディスプレイ（ＯＳＤ）表示がなされる。

図４に示すように、ＬＣＤパネル１１の表示画面３１には、録画中の画像（図示を省略）に対して、重要度レベル表示用タイムライン３２と重要度レベル指定中アイコン３４とが表示される。これらのタイムライン３２およびアイコン３４とは、オンスクリーンディスプレイ部９において生成された表示信号によって表示される。タイムライン３２は、時間軸に沿って水平に延びる帯状表示であり、標準の重要度レベル（「０」）以外の重要度レベルが指定された区間は、斜線区間として表示される。実際には、色、明るさ等で標準の重要度レベルの区間と区別される。アイコン３４は、重要度レベル指定中に表示され、指定された重要度レベルが表示される。区間は、例えば録画開始時刻（００分００秒）を基準として規定される。

図４に示す例のタイムライン３２は、重要度レベルが「１」の区間３３ａ、重要度レベルが「３」の区間３３ｂ、重要度レベルが「２」の区間３３ｃ、重要度レベルが「−１」の区間３３ｄ、重要度レベルが「１」の区間３３ｅが順番に設定された例である。最後の区間３３ｅが継続中であるので、重要度レベル指定中アイコン３４には、「１」が表示されている。重要度レベルをタイムライン３２として表示することによって、重要部分が視覚的に把握できる。

リモートコントローラの操作部２４に設けられた重要度レベル指定ボタンを操作することによって、このように、重要度レベルを設定できる。さらに、上述したように、設定された重要度レベルに応じて録画フレームレートおよび圧縮率が設定されて信号が記録メディア５に記録される。

キー入力部６におけるキー操作またはＬＣＤパネル１１に設けられたタッチパネルの操作によって、録画の終了が指示されると、ステップＳ３２において、記録終了のイベントが発生したものと判定され、ステップＳ４において、記録が終了する。

ステップＳ５において、制御部９から記録再生部４に対して設定された重要度レベルの情報が供給され、重要度レベルの情報がメタデータとして記録メディア５に記録される。メタデータには、一連の記録データの区間を示す位置情報（例えば開始位置と終了位置）と、その区間の重要度レベルの情報とが含まれている。かかるメタデータは、記録メディア５上の予め決められた領域に対して記録される。

なお、リモートコントローラの操作として、重要度レベル指定キーを操作して標準の重要度レベルに戻る場合に、標準の重要度レベルを指定するキーを押すようになされる。他の方法として、重要度レベルを指定してから一定時間が経過すると、標準の重要度レベルを指定するキーを押した場合に発生する信号と同一の信号が制御部７の内部で発生し、発生した信号によって自動的に標準の重要度レベルに戻る方法を使用しても良い。

上述したように重要度レベルに応じてフレームレートおよび圧縮率が制御されて動画像信号が記録メディア５に記録される。上述した説明では、記録時に設定した重要度の情報を記録メディア５に記録するものと説明したが、必ずしも重要度の情報を記録する必要はない。すなわち、記録メディア５を標準フレームレート（３０fps）で再生する場合には
、重要度の情報を記録する必要はない。

〔ダイジェスト再生〕
再生時には、キー入力部６のキー操作またはＬＣＤパネル（タッチパネル）１１の操作によって記録メディア５から信号が再生され、記録再生部４に供給される。記録再生部４において、伸張等の再生処理を受けて再生動画像信号がＬＣＤパネル１１に対して供給される。ＬＣＤパネル１１に再生動画像が表示される。再生時には、標準フレームレート例えば３０fpsでもって再生がなされる。

標準フレームレートによる再生がなされると、重要度が低く、標準より低いフレームレートで記録された区間は、早送り再生がなされる。例えば１５fpsで記録された区間は、
２倍の速度（１／２の時間）でもって再生される。一方、重要度が高く、標準より高いフレームレートで記録された区間は、長い時間をかけて再生がなされる。例えば１２０fps
で記録された区間は、１／４倍の速度（４倍の時間）をかけて再生される。

したがって、この発明によれば、再生時に特別な処理を行わずに、標準のフレームレートでもって再生するだけで、ダイジェスト再生を行うことができる。したがって、ビデオカメラレコーダ以外の他の動画像信号再生装置（パーソナルコンピュータを含む）によってダイジェスト再生を行うことができる利点がある。

この発明によるダイジェスト再生動作についてより詳細に説明する。上述した一実施の形態の説明から分かるように、ダイジェスト再生動作は、１倍速再生動作に対して、変速再生動作（早送り再生動作またはスロー再生動作）とを組み合わせることがなされる。１倍速再生動作は、記録画像の動きの速さと同一の速さの動きの画像を再現することである。図５を参照して１倍速再生動作について説明する。

図５では、記録時に一例として、６０fpsの区間ＣＬ１、３０fpsの区間ＣＬ２、１２０fpsの区間ＣＬ３、６０fpsの区間ＣＬ４とが順に形成される。なお、図５、図６および図７において、縦線が１フレームを模式的に表している。１倍速再生動作の第１の再生方法は、再生フレームレートを一定例えば６０fpsとする方法である。したがって、区間ＣＬ
１およびＣＬ４は、記録時のフレームレートと同一のフレームレートで再生される。区間ＣＬ２（３０fps）では、太線で示すフレームを補間して６０fpsの再生を行う。区間ＣＬ３（１２０fps）では、破線で示すフレームの間引きを行い、６０fpsの再生を行う。第１の再生方法では、間引きによって速い動きが表現できなくなる。

１倍速再生動作の第２の再生方法は、再生フレームを記録フレームと一致させる方法である。したがって、区間ＣＬ１〜ＣＬ４のそれぞれを再生する場合のフレームレートが記録時と一致した値とされる。第２の再生方法は、フレームレートが１２０fpsの区間ＣＬ
３を再生する時に、速い動きも忠実に再現することができる。

第３の再生方法は、第１の再生方法と第２の再生方法とを組合せたものである。例えば区間ＣＬ１およびＣＬ２を第１の再生方法によって再生し、区間ＣＬ３およびＣＬ４を第２の再生方法によって再生する。図５の例では、区間ＣＬ３（１２０fps）を再生する場
合にフレーム間引きがなされている。但し、フレーム間引きを行うことは、必要ではない。

図６は、変速再生動作を説明するものである。図６Ａに示すように、早送り再生動作は、再生フレームレートを記録フレームレートに比して高い値とする再生動作である。但し、補間動作は行わない。図６Ａは、３０fpsで記録された映像信号を６０fpsで再生する例である。この例では、２倍速再生動作がなされる。再生時間は、記録時間の１／２となる。再生フレームレートを１２０fpsとすれば、４倍速再生動作がなされる。このように、
記録時よりも再生時のフレームレートを高くして再生するのみで、自動的に早送り再生動作を行うことができる。

図６Ｂに示すように、スロー再生動作は、再生フレームレートを記録フレームレートに比して低い値とする再生動作である。但し、間引き動作は行わない。図６Ｂは、１２０fpsで記録された映像信号を６０fpsで再生する例である。この例では、１／２倍速再生動作がなされる。再生時間は、記録時間の２倍となる。再生フレームレートを３０fpsとすれ
ば、１／４倍速再生動作がなされる。このように、記録時よりも再生時のフレームレートを低くして再生するのみで、自動的にスロー再生動作を行うことができる。

上述した再生方法（再生動作）を組み合わせることによって、図７に示すように、ダイジェスト再生を行うことができる。図５の例と同様に、図７では、記録時に、６０fpsの
区間ＣＬ１、３０fpsの区間ＣＬ２、１２０fpsの区間ＣＬ３、６０fpsの区間ＣＬ４とが
順に形成される。ダイジェスト再生の第１の例は、予め設定した基準値（しきい値）に対する記録フレームレートの高低によって再生方法を切り替える。

例えば記録フレームレートが６０fps以下の区間ＣＬ１、ＣＬ２およびＣＬ４は、再生
フレームレートを６０fps一定とする再生動作を行い、記録フレームレートが６０fpsより高い区間ＣＬ３は、１倍速再生動作を行う。このダイジェスト再生方法では、６０fpsよ
り低いフレームレートの区間が自動的に早送り再生される。例えば区間ＣＬ２（記録時のフレームレートが３０fps）が２倍速再生される。記録時のフレームレートが１５fpsの区間は、４倍速再生される。

図７の下側に示すダイジェスト再生の第２の例は、再生フレームレートが一定例えば６０fpsとされる。この方法では、区間ＣＬ１およびＣＬ４が１倍速再生される。区間ＣＬ
２（３０fps）が２倍速再生される。区間ＣＬ３（１２０fps）が１／２スロー再生される。このように、再生フレームレートを一定とするのみで、自動的にダイジェスト再生を行うことができる。上述したこの発明の一実施の形態は、図７に示すダイジェスト再生方法である。

〔要因による重要度の自動設定〕
上述した説明では、記録時に重要度レベルを手動で設定するようにしている。他の方法として、要因に応じて自動的に重要度レベルを設定するようにしても良い。すなわち、表１は、要因と設定される重要度レベルの対応関係を示す。表１に示すテーブルは、制御部７のメモリ８に記憶されている。

表１に示されるように、要因として手振れ、要因無し、ズーム操作（ズームインおよびズームアウト）、音声信号の盛り上がり、顔検出（顔あり）が規定されている。さらに、要因の一つとして、キー操作が設定されている。キー操作は、例えば上述したリモコンキー等のキーによる重要度を設定する手動操作であり、自動設定の例外として設定されている。さらに、重要度レベルが５段階（−１，０，１，２，３）用意されている。

例えば加速度センサ等によって手振れが検出されると、重要度レベルが（−１）とされる。この場合のフレームレートが１５fpsとされ、圧縮率が高いものとされる。手振れが
検出される場合、重要な被写体を撮影していないことが推定され、さらに、手振れ補正がなされるとしても、撮像画像がボケたものとなるので、重要度レベルが低い画像として扱われる。

表１のテーブルに示す要因が何ら存在しない場合、重要度レベルが（０）（標準の重要度レベル）に設定される。すなわち、フレームレートが３０fpsとされ、圧縮率が標準と
される。

制御部７には、ズーム操作のための指示入力が供給され、制御部７が光学ブロック１を制御するコントロール信号を発生するので、ズーム操作（ズームイン、ズームアウト）に関する情報を制御部７が取得できる。ズーム操作がなされる場合、比較的重要なシーンを撮影することが多い。したがって、この場合は、重要度レベルが（１）とされ、フレームレートが６０fpsとされ、圧縮率が低いものとされる。

カメラ信号処理部３において音声信号のレベルの変動を監視することによって、音声の盛り上がりを検出することができる。音声の盛り上がりの検出結果が制御部７に供給される。音声の盛り上がりは、印象的なシーンで発生することが多い。したがって、この場合は、重要度レベルが（１）とされ、フレームレートが６０fpsとされ、圧縮率が低いもの
とされる。

カメラ信号処理部３において、撮像信号に対して顔検出処理がなされる。顔検出処理の結果が制御部７に供給される。顔検出の結果、顔が検出される場合は、重要度レベルが（２）に設定される。顔の画像を良好な画質でもって再生したい場合が多い。したがって、この場合は、重要度レベルが（２）とされ、フレームレートが６０fpsとされ、圧縮率が
大変低いものとされる。

さらに、キー入力部６のキー操作、またはリモートコントローラのキー操作によって、最高の重要度レベル（３）を設定することが可能とされている。この場合は、フレームレートが１２０fpsとされ、圧縮率が大変低いものとされる。

なお、表１は、重要度レベルの管理テーブルの一例であって、カメラレコーダ毎に自由に設定することが可能である。例えば上述した要因以外にＧＰＳ(Global Positioning System)の情報を要因の一つとしても良い。

図３のフローチャートを参照して上述したのと同様の録画動作がなされる。図３におけるステップＳ３１（重要度レベル指定イベントの発生）は、表１に示す要因の何れかが発生することを意味する。そして、ステップＳ３３において、表１に示す重要度テーブルに合った録画フレームレートと圧縮率とが設定される。上述したように、設定された重要度レベルがＬＣＤパネル１１の画面上に表示される。

ステップＳ４において、記録が終了したと検出されると、ステップＳ５において、動画像信号（設定された圧縮率でもって圧縮されている）と重要度情報（重要度レベルおよび重要度指定時間）が記録メディア５に対して記録される。一例として、表２に示すように、要因の存在する時間（開始時刻、終了時刻）と要因とのテーブル（要因テーブルと称する）が記録メディア５に記録される。

録画（撮像）開始時刻（００分００秒）から２０秒間は、要因無しであり、表１に示すテーブルにしたがって重要度レベルが「０」（標準）と設定される。次の（００分２０秒）から（００分４５秒）の区間は、ズーム操作が要因として検出され、重要度レベルが「１」に設定される。４５秒後には顔が検出される。１分３０秒後にズーム操作が解除され、２分２０秒後には、顔撮影が終了して２分５０秒まで手振れが検出される。（００：４５）−（０１：３０）の区間では、ズーム操作と顔検出の二つの要因が重なっている。この場合では、重要度レベルが高い方の要因、すなわち、顔検出が採用される。したがって、この区間の重要度レベルが「２」に設定される。（０２：２０）−（０２：５０）の区間では、要因が手振れであり、重要度レベルが「−１」に設定される。

〔要因テーブルを利用するダイジェスト再生〕
重要度情報としての要因テーブルおよび動画像信号が記録された記録メディア５を再生する再生動作について図８のフローチャートを参照して説明する。このフローチャートは、制御部７の制御によって実行される処理の流れを示す。ステップＳ１１において、キー入力部６におけるキー操作またはＬＣＤパネル１１に設けられたタッチパネルの操作によって、再生する動画像および再生方法が指定される。

記録メディア５上に複数の動画像が記録されている場合には、ＬＣＤパネル１１上に動画像のリストが表示され、所望のものを選択する操作によって再生する動画像が指定される。

ダイジェスト再生方法としては、第１のダイジェスト再生方法と第２のダイジェスト再生方法との一方が選択可能とされる。第１のダイジェスト再生方法は、図７において、第２の例として説明したように、全区間を一定のフレームレート例えば３０fps（ユーザが
指定した重要度レベルに対応したフレームレート）で再生することによりそれより重要度が高い部分は、スロー再生、それより重要度が低い部分は，早送り再生を行う再生方法である。第２のダイジェスト再生方法は、ユーザが指定した重要度レベルより高い部分は、図５の方法を用いて全て１倍速で再生し、より低い部分は、指定した重要度レベルに対応したフレームレートで再生することにより早送りをする再生方法である。

第１のダイジェスト再生方法では、設定フレームレート（ユーザが指定した重要度レベルに対応したフレームレート）と等しいフレームレートの区間が１倍速再生される。設定フレームレートに比して高いフレームレートの区間の動画像信号が自動的にスロー再生される。例えば重要度レベルが「２」であって６０fpsで記録されている区間は、１／２の
スロー再生がなされる。重要度レベルが「−１」であって低く、低いフレームレート例えば１５fpsで記録されている区間は、自動的に２倍速再生される。

第２のダイジェスト再生方法では、しきい値の重要度レベルが例えば「１」（フレームレート６０fps）に設定される。設定された重要度レベル以下の区間が一定のフレームレ
ート６０fpsでダイジェスト再生される。したがって、３０fpsの区間は、２倍速再生され、６０fpsの区間は、１倍速再生される。早送り再生を行う代わりに、重要度レベルが設
定値より小の区間の情報を要因テーブルから予め取得し、当該区間の再生をスキップするようにしても良い。さらに、早送りとスキップとに関して、別々に重要度レベルを設定しても良い。一方、設定された重要度レベルより高い重要度レベルの区間は、図５の１倍速再生の方法を用いて１倍速再生になる。

第１のダイジェスト再生方法でも第２のダイジェスト再生方法でも、早送り再生を行う代わりに、重要度レベルが設定値より小の区間の情報を要因テーブルから予め取得し、当該区間の再生をスキップするようにしても良い。さらに、早送りとスキップとに関して別々に重要度レベルを設定しても良い。

図８に戻ると、ステップＳ１２において、重要度テーブルおよび要因テーブルが読み出される。重要度テーブルは、例えば表１に示すテーブルであり、メモリ８から読み出される。要因テーブルは、例えば表２に示すテーブルであり、記録メディア５の所定の記録位置から読み出された要因テーブルがメモリに記憶される。

ステップＳ１３において動画像再生が開始される。破線が囲んだステップＳ１４は、再生中の再生方法変更ループの処理を示す。ステップＳ１４１において、再生位置が重要度変化時刻に到達したか否かが判定される。再生位置が重要度変化時刻に到達していないと判定されると、処理がステップＳ１４２に移る。ステップＳ１４２において、再生位置が動画像信号の終端に到達したか否かが判定される。再生位置が終端に到達していないと判定されると、処理がステップＳ１４１に戻る。

ステップＳ１４１において、再生位置が重要度変化位置に到達したと判定されると、ステップＳ１４３において、再生方法が重要度レベルに応じた再生方法に変更される。そして、ステップＳ１４１に処理が戻る。ステップＳ１４３では、重要度レベルに応じて再生方法が変更される。

ステップＳ１４３の処理は、ダイジェスト再生方法が第１および第２のダイジェスト再生方法の何れが採用されているかに応じて異なる。第１のダイジェスト再生方法の場合では、再生フレームレートを変更する必要がなく、設定されたフレームレートが保持される。第２のダイジェスト再生方法が設定されていると、設定された重要度レベル以下の重要度の区間は、再生フレームレートを一定とする再生がなされ、設定された重要度レベルより高い重要度の区間が１倍速で再生される。１倍速再生動作としては、図６に示した第１、第２および第３の再生方法の何れかが採用される。

ステップＳ１４２において、終端まで動画像信号を再生すると、動画像再生動作が終了する（ステップＳ１５）。

この発明は、上述の実施の形態に限定されるものではなく、この発明の技術的思想に基づく各種の変形が可能である。例えばフレームレート変換処理および動画像信号の圧縮／伸張処理をカメラ信号処理部３において行うようにしても良い。この場合、ＬＣＤパネルによって表示される動画像は、フレームレート変換前のものとされる。さらに、要因としては表１に示すもの以外を使用しても良い。例えばズーム操作以外の本体のキー操作として、動画の記録中に静止画を撮影するための切り替えスイッチが操作されたことを要因としても良い。静止画撮像への切り替えを行うことは、重要な場面を撮影することを意味するものと推定される。さらに、この発明は、標準フレームレートが２５fpsの場合に対し
ても適用できる。

この発明の一実施の形態における撮像装置の構成を示すブロック図である。 この発明の一実施の形態におけるリモートコントローラの一例の接続図である。 この発明の一実施の形態の記録処理の流れを示すフローチャートである。 この発明の一実施の形態の記録処理時の画面表示の一例を示す略線図である。 この発明における１倍速再生動作の説明に使用するタイミングチャートである。 この発明における変速再生動作の説明に使用するタイミングチャートである。 この発明におけるダイジェスト再生動作の一例および他の例の説明に使用するタイミングチャートである。 この発明の他の実施の形態の再生処理の流れを示すフローチャートである。

符号の説明

１・・・光学ブロック
２・・・撮像素子
３・・・カメラ信号処理部
４・・・記録再生部
５・・・記録メディア
７・・・制御部
１１・・ＬＣＤパネル
１２・・・赤外線受信部

Claims (12)

1. 標準フレームレートに比してより高いフレームレートｎの動画像信号を出力する撮像部と、
   上記撮像部から出力される動画像信号のフレームレートを制御信号によってｎと等しいかまたはより小のフレームレートに変換する画像信号処理部と、
   上記画像信号処理部の出力信号が記録される記録媒体と、
   上記制御信号を生成する制御信号生成部とを備え、
   上記動画像信号の重要度が高いほどフレームレートが高くなるように上記制御信号生成部が上記制御信号を生成する記録装置。
2. 上記動画像信号を表示し、
   表示画像を見ながら手動による操作で上記重要度に応じた上記制御信号を生成する請求項１記載の記録装置。
3. リモートコントローラのキー操作によって制御信号を生成する請求項２記載の記録装置。
4. 複数の要因によって自動的に上記重要度に応じた制御信号を生成する請求項１記載の記録装置。
5. 上記複数の要因は、手振れ、画像のボケ、顔検出結果、撮像中になされたユーザのキー操作の受付、オーディオ信号の盛り上がりの有無の内の複数である請求項４記載の記録装置。
6. 上記記録媒体に対して上記動画像信号を圧縮して記録し、上記制御信号によって上記フレームレートおよび圧縮率を制御する請求項１記載の記録装置。
7. 上記記録媒体に対して上記動画像信号と、上記制御信号により指定される重要度の情報とを記録する請求項１記載の記録装置。
8. 撮像部によって標準フレームレートに比してより高いフレームレートｎの動画像信号を生成するステップと、
   画像信号処理部によって上記撮像部から出力される動画像信号のフレームレートを制御信号によってｎと等しいかまたはより小のフレームレートに変換するステップと、
   記録媒体に上記画像信号処理部の出力信号を記録するステップと、
   制御信号生成部によって上記制御信号を生成するステップとを備え、
   上記動画像信号の重要度が高いほどフレームレートが高くなるように上記制御信号生成部が上記制御信号を生成する記録方法。
9. 標準フレームレートに比してより高いフレームレートｎの動画像信号を出力する撮像部と、
   上記撮像部から出力される動画像信号のフレームレートを制御信号によってｎと等しいかまたはより小のフレームレートに変換する画像信号処理部と、
   上記動画像信号の重要度が高いほどフレームレートが高くなるように上記画像信号処理部を制御する制御信号を生成する制御信号生成部と、
   上記動画像信号と、上記制御信号により指定される重要度の情報とが記録される記録媒体と、
   上記記録媒体上の上記動画像信号と上記重要度の情報を再生する再生部と、
   再生された上記重要度の情報を参照して再生時のフレームを制御する画像信号処理部と
   を有する記録再生装置。
10. 上記重要度の情報を参照して全区間を標準フレームレートでもって再生する請求項９記載の記録再生装置。
11. 上記重要度の情報を参照して設定された重要度以上の重要度の区間を１倍速でもって再生する請求項９記載の記録再生装置。
12. 撮像部によって標準フレームレートに比してより高いフレームレートｎの動画像信号を生成するステップと、
    画像信号処理部によって上記撮像部から出力される動画像信号のフレームレートを制御信号によってｎと等しいかまたはより小のフレームレートに変換するステップと、
    制御信号生成部によって上記動画像信号の重要度が高いほどフレームレートが高くなるように上記画像信号処理部を制御する制御信号を生成するステップと、
    記録媒体に上記動画像信号と、上記制御信号により指定される重要度の情報とを記録するステップと、
    再生部によって上記記録媒体上の上記動画像信号と上記重要度の情報とを再生するステップと、
    画像信号処理部によって再生された上記重要度の情報を参照して再生時のフレームを制御するステップと
    を有する記録再生方法。

Images