JP2010263374A

JP2010263374A - 記録再生装置及び記録再生方法

Info

Publication number: JP2010263374A
Application number: JP2009112114A
Authority: JP
Inventors: Yasuhiro Shiraishi; 泰裕白石
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-05-01
Filing date: 2009-05-01
Publication date: 2010-11-18

Abstract

【課題】タイムライン上に表示するコマ間隔を荒くしても、好みのシーンはタイムラインにコマ表示できるようにすることを目的とする。
【解決手段】記録媒体に記録された動画像内からフレーム画像を抽出して表示装置に表示するとともに、前記フレーム画像に重み付けを行い、前記重み付けに応じてユーザの好みの動画像のシーンのプレイリストを作成し、タイムラインにコマ表示するようにして、タイムライン上での所望のシーンが表示漏れとなってしまうのを防止できるようにする。
【選択図】図７

Description

本発明は記録再生装置及び記録再生方法に関し、特に、ビデオカメラなどの画像記録再生装置において長時間記録したショットであっても、効率よく好みのシーンの検索を可能にする技術に関する。

ＨＤＤやメモリカード等のランダムアクセス可能な記録媒体を持つビデオカメラにおいて、撮影した映像の検索性をあげるため、図３の３００に示すようなタイムライン検索機能を備えている。この機能は、撮影したショット内の映像において、時間設定ボックス３０１で設定した時間間隔（例えば２分）でフレーム画像を抽出し、３０２に示すように各フレーム画像を表示する。ユーザが所望のフレーム画像を選択すると、そのフレーム画像から再生が開始する。

近年、記録媒体の大容量化により、ユーザは残り記録時間を気にせずに長時間記録可能である。例えば、ハードディスク４０ＧＢで7時間記録可能なビデオカメラもある。このような環境において、例えば、ライブハウスで全てのバンドの演奏を記録しておく。そして、鑑賞する時は好きなバンドの演奏だけを繰り返し見るといった、長時間記録しておくが、必要なシーンは一部であり、そのシーンのみを繰り返し視聴するといった使い方が想定される。

そのような使い方をしたショット（例えば、２時間記録したショットで、所望のシーンはショットの真中あたりにある）を前述したタイムライン検索機能で所望のシーンを検索する場合、コマ間隔を短くすると所望のシーンまでになかなかたどり着けない。このため、ユーザにとって使い勝手が良くない。

逆に、コマ間隔を荒く（例えば２０分）設定してショット全体をタイムライン上に表示しようとすると、図２に示すように、所望のシーン２０１がコマ表示に反映されず、タイムライン検索を有効に使えない問題がある。こうした問題に対して、特許文献１では、ユーザの操作内容を操作履歴として記録して、履歴内容から、ユーザの好みのシーンのプレイリストを作成する技術が開示されている。

特開２００７ー１８４７１号公報

しかしながら、従来技術はユーザの好みのシーンのプレイリストを作成するのみで、タイムライン上での所望のシーンの表示漏れを防ぐ方法については解消されていない。
本発明は前述の問題点に鑑みてなされたものであり、タイムライン上に表示するコマ間隔を荒くしても、好みのシーンをタイムラインにコマ表示できるようにすることを目的とする。

本発明の記録再生装置は、記録媒体に記録された動画像内からフレーム画像を抽出して表示装置に表示するとともに、前記フレーム画像に重み付けを行い、前記重み付けに応じてユーザの好みの動画像のシーンのプレイリストを作成し、タイムラインにコマ表示するようにしたことを特徴とする。

本発明によれば、タイムライン検索機能において、表示コマ間隔を荒くした場合でも、好みのシーンは優先的にタイムライン検索機能上のコマに表示することができる。それにより、ユーザは長時間記録したショット内でも好みのシーンを効率よく検索することができ、ユーザの使い勝手を向上させることができる。

ビデオカメラのブロック図である。ユーザの記録例を示す図である。タイムライン機能を示す図である。フォーマットの一例を説明する図である。管理ファイルの構造の一例を示す図である。重み付けのパラメタを示したテーブルの一例を説明する図である。重み付けの方法を示す図である。再生時間における重み付けの結果を示す図である。ストリーム０における好みのシーン一覧を示す図である。タイムライン表示の例１を示す図である。タイムライン表示の例２を示す図である。タイムライン表示の例３を示す図である。

図１は、本発明の実施形態を示し、映像消去装置の一実施形態を組み込んだ記録再生装置であるビデオカメラの概略構成ブロック図を示す。本実施形態のビデオカメラ１０の動画像記録動作を説明する。
本実施形態のビデオカメラ１０は、被写体を取り込むレンズ１２、レンズ１２で取り込んだ光学像を電気画像信号に変換する撮像素子１４と、撮像素子１４から出力される画像信号を所定の映像信号変換するカメラ信号処理部１６を具備する。

ユーザが操作部３４により映像記録の開始をＣＰＵ３２に指示すると、ＣＰＵ３２の制御プログラムは、カメラ信号処理部１６の出力映像データをエンコーダ１８に取り込ませる。エンコーダ１８は、カメラ信号処理部１６からの映像データを例えばＭＰＥＧ（Moving Picture Experts Group）方式で圧縮符号化する。そして、圧縮映像データを、記録フォーマットに従うフォーマットでバッファメモリ２０に格納する。

ＣＰＵ３２は、ディスクアクセス制御部２２を制御して、バッファメモリ２０の圧縮映像データを逐次、読み出させ、ハードディスク（ＨＤＤ）２４に書き込ませる。このようにして、ビデオカメラ１０は、被写体を示す動画像を圧縮符号化して、記録媒体であるＨＤＤ２４に記録する。

ＨＤＤ２４に記録された動画像の圧縮映像データのストリームは、再生時、ディスクアクセス制御部２２により読み出され、バッファメモリ２０を介してデコーダ２６に供給される。デコーダ２６は、バッファメモリ２０からの圧縮映像データを復号化し、映像データを復元する。ＬＣＤコントローラ２８は、デコーダ２６からの再生映像データに従い液晶表示パネル（ＬＣＤ）３０を駆動する。これにより、再生映像がＬＣＤ３０の画面上に表示される。

ＣＰＵ３２は、ビデオカメラ１０の全体を制御する。ＲＯＭ３８はＣＰＵ３２の動作プログラム及び固定定数を記憶する。ＲＡＭ３６は、ＣＰＵ３２のプログラム領域及びワーク領域として使用される。ＣＰＵ３２は、ＣＰＵバス６０を介して以上の各部を制御する。ＣＰＵバス６０には操作部３４が接続される。操作部３４は、ユーザにより操作される各種の操作キーやつまみなどからなり、ユーザの指示を制御信号としてＣＰＵ３２に入力するのに使用される。ＣＰＵ３２は、ユーザからの指示に応じて各種処理を実行する。

また、操作履歴記録部４０は、ユーザが操作部３４を介して操作した操作履歴をＨＤＤ２４に記録する。履歴演算部４２は、操作履歴記録部４０から操作履歴を抽出し、抽出した操作履歴情報に対し、予め設定されている重み付けを行う。シーン検出部４４は、履歴演算部４２の結果に対して、予め設定されている閾値を超えたシーンの検出を行う。表示制御部４６は、ＨＤＤ２４に記録された動画像内（ストリーム内）から所定の時間間隔ごとに画像を抽出する画像抽出、表示制御を行う。本実施形態においては、動画像の先頭画像を表示する。

外部出力部４８は、ＨＤＭＩ、コンポーネント等により不図示の外部機器と通信して、映像信号を外部機器に出力するために使用される。リモコン受信部５０は、操作用のリモコン信号を受信するために使用される。なお、本実施形態では、図１に示したように、記録媒体はＨＤＤとして説明を行うが、これは実施形態の説明のためであり、記録媒体を限定するものではない。

＜記録フォーマットの説明＞
図４は、本実施形態でのビデオカメラ１０で撮影した記録フォーマットについて説明するものである。
本実施形態のビデオカメラ１０の記録フォーマットでは、１つの動画像の単位をクリップと呼ぶ。クリップは動画像データであるストリームとその動画像の付加情報である管理情報の２種類のデータで構成される。

ストリームと管理情報は、ファイルシステム上でそれぞれ独立したファイルとして存在し、ストリームファイルと管理ファイルの２つのファイルで１つのクリップが構成される。ストリームファイルと管理ファイルは、ファイルシステム上のファイル名としてそれぞれ同じクリップ番号が付けられ、対応がわかるようになっている。

ファイルシステムは、一般的に光ディスクや磁気ディスクで用いられるＵＤＦ（Universal Disk Format）やＦＡＴ（File Allocation Table）などを用いる。一般的に、クリップは１回の撮影で１つのクリップ（１つのストリームファイルと１つの管理ファイル）が作成される。

ストリームファイルと管理ファイルは１対１の対応であり、図４に示すように、ストリームファイル０（４０２）と管理ファイル0（４０３）、ストリームファイル１（４０５）と管理情報１（４０６）がそれぞれ対応付けられている。クリップ０（４０１）はストリーム情報０（４０２）と管理情報０（４０３）で、クリップ１（４０４）はストリーム情報１（４０５）と管理情報１（４０６）で構成されている。

＜管理ファイルの説明＞
管理ファイルには動画像の再生時間と記録媒体上のアドレスを関連付ける情報、動画の再生時間と操作履歴を関連付ける情報（視聴操作履歴情報）が入っており、例えば、動画像のＩピクチャ毎に再生時間と記録媒体上のアドレス、操作履歴をテーブルとして入れる。

図５に、管理ファイル内の構造を示す。
管理ファイルには、動画像のＩピクチャ毎に再生時間を示すＰＴＳ（５０１）、ＰＴＳに対応するＩピクチャの記録媒体での記録位置を示すＡＤＤＲＥＳＳ（５０２）がある。また、再生、早送り、巻き戻し、スロー等の再生操作の履歴を示す操作履歴情報（５０３）が入っている。

操作履歴情報５０３には、Iピクチャ毎の再生（ＰＬＡＹ）、早送り（ＦＦ）、巻き戻し（ＲＷ）、スロー再生（ＳＬＯＷ）の回数、ＨＤＭＩ等により外部機器と接続した回数（外部出力）、リモコン使用の回数の情報（リモコン）が保持されている。操作履歴情報５０３の場合、ＰＴＳ０の操作履歴は、ＰＬＡＹが３回、ＦＦが０回、ＲＷが０回、ＳＬＯＷが０回、外部出力が０回、リモコンの使用が０回であったことを示す。

これらの情報は、再生する毎に操作履歴記録部４０によって更新され、ＨＤＤ２４に書き戻される。本実施形態では、各操作のカウント数は、シーンの削除やカウント数の変更指示が無い限りクリアされないものとする。

＜操作履歴の重み付け方法の説明＞
次に、操作履歴の重み付け方法について説明する。
図６は、操作に応じた重み付けのパラメタを記したテーブルである。ＰＬＡＹはそのシーンを再生しているため、必要なシーンと判断し、＋１（係数：ＰＰ）とする。ＦＦは目的のシーンまで早送りしている、すなわち、不要なシーンであると判断し、重み付けは行わず0（係数：ＦＰ）とする。

ＲＷは、必要なシーンまで戻り、再度そのシーンを見る、即ち、必要なシーンと判断し、＋１（係数：ＲＰ）とする。Ｓｌｏｗは、そのシーンをじっくり見たい、即ち、重要なシーンであると判断し、＋２（係数：ＳＰ）とする。外部出力からＴＶ等のモニタに接続して再生中の場合は、大人数でみるために、液晶よりも大きなモニタで再生している、即ち、より多くの人たちと共有して見たい重要なシーンと判断し、＋１（係数：ＥＰ）とする。

リモコンは、操作時はビデオから離れて別モニタで見ている状況、つまり、じっくりと閲覧する価値があるシーンと判断し、＋２（係数：ＲＯＰ）とする。各シーンの操作回数が、Ｐｌａｙ：a、ＦＦ：b、ＲＷ：c、ＳＬＯＷ：d、外部出力：e、リモコン；f、である場合、重み付けは以下のような（１）式が成立するものとする。
重み付け＝ a×ＰＰ＋b×ＦＰ＋c×ＲＰ＋d×ＳＰ＋e×ＥＰ＋f×ＲＯＰ（１）
なお、本実施形態では、前記の理由に基づいて重み付けのパラメタを決定しているが、パラメタを限定するものではなく、人間の嗜好のメカニズムを考慮した前記以外のパラメタの値で、重み付けに区別を付けるようにしてもよい。

次に履歴演算部４２の動作について説明する。
図７は、操作履歴記録部４０によって更新されたストリーム０（４０２）の管理情報を示す。図７において、７０１はＰＴＳ０〜１０間のシーン情報である。同様に、７０２はＰＴＳ１１〜１００、７０３はＰＴＳ１０１〜ＰＴＳ５００間のシーン情報である。

履歴演算部４２は、前記に示した（１）式を用いて各シーンの重み付けを行う。７０１において、Ｐｌａｙは１回、ＦＦは０回、Ｓｌｏｗは０回、外部出力は０回、リモコン操作は０回である。ここで７０１のシーンにおける重み付け結果は、
シーン７０１＝１（Ｐｌａｙ）×１（ＰＰ）＋０（ＦＦ）×０（ＦＰ）＋０（ＲＷ）×２（ＲＰ）＋０（Ｓｌｏｗ）×２（ＳＰ）＋０（外部出力）×２（ＥＰ）＋０（リモコン）×２（ＲＯＰ）＝１となる。
同様にして、
シーン７０２＝２、シーン７０３＝４となる。

７０１、７０２、７０３に示される各シーンの重み付けの演算結果から、図８に示されるような結果が得られる。横軸はＰＴＳ、縦軸は重み付けの演算結果である。シーン検出部４４は、ユーザ、もしくはシステムが指定した閾値と履歴演算部４２で演算された重み付けの結果を比較し、閾値以上のシーンはユーザが好むシーンと判断する。なお、本実施形態での閾値は「４」とする。また、履歴演算部４２の出力値が高い順に画像は表示される。

図９のプレイリスト９００は、図４で説明したストリーム０（４０２）を前述した履歴演算部４２によって重み付け演算を行い、シーン検出部４４によって、ユーザが好むシーンと判断されたシーン結果の一覧である。９０１、９０２、９０３、９０４は検出されたシーンの閾値、ＰＴＳのスタート、エンドを示す。図９の４０２のストリーム０上に示された９０１、９０２，９０３，９０４はプレイリスト９００の９０１、９０２，９０３，９０４を示したものである。

＜タイムライン表示＞
次にタイムライン表示について説明する。
図１０はシーン検出部４４によって検出されたシーンのタイムライン表示方法を示す。
４０２は図９で説明したストリーム０と同様のものである。本実施形態ではコマ表示１００３には選択されたストリームの先頭フレームが表示される。コマ表示１００３以降のコマ表示方法は、操作履歴記録部４０の結果に従って以下のように変更する。

＜操作履歴がない場合＞
操作履歴記録部４０の結果により、操作履歴がないと判定した場合、ユーザに設定された所定のコマ間隔ごとに画像を表示する。例えば、ユーザに設定されたコマ間隔がＰＴＳ換算で６００の場合、表示制御部４６は１００４に図１０で示すＰＴＳ６００の画像を表示する。１００５にはＰＴＳ１２００の画像、１００６にはＰＴＳ１８００の画像、１００７にはＰＴＳ２４００の画像を表示する。

＜操作履歴がある場合＞
表示制御部４６はシーン検出部４４に検出されたシーンの画像をコマ表示する。よって、表示制御部４６は９０１の先頭フレームを１００４にコマ表示する。１００４以降のコマ表示は、プレイリスト９００内のフレームを細かく表示してもよいし、設定されたＰＴＳ間隔、すなわちＰＴＳ１２００の位置のフレームをコマ表示してもよい。

また、表示制御部４６は、図１１に示すように、シーン検出部４４に検出されたシーン、例えばシーン１１０１のＰＴＳが、ユーザが指定したコマ間隔のＰＴＳ６００よりはるかに大きい場合、途中のコマ表示（ＰＴＳ６００、ＰＴＳ１２００）は表示しない。そして、１１００に示すように、シーン１１０１の先頭フレームからコマ表示してもよい。

また、表示制御部４６は、図１２に示すように閾値の高いシーンから順にコマ表示をしてもよい。図９のプレイリスト９００では、シーン９０１は閾値４、シーン９０２は閾値５、シーン９０３は閾値６、シーン９０４は閾値４である。よって、表示制御部４６は、１１０４にはシーン９０３の先頭フレーム画像、１１０５にはシーン９０２の先頭のフレーム、１１０６にはシーン９０１の先頭のフレーム画像、１１０７にはシーン９０４の先頭のフレーム画像と閾値が高いシーンから順にコマ表示する。ここで、１１０４以降のコマ表示はシーン９０２、シーン９０１、シーン９０４の先頭フレームを表示としたが、シーン９０３内のフレームを細かく表示してもよく、表示の仕方を限定するものではない。

また、表示制御部４６は履歴演算部４２の結果により閾値を越えたシーンのフレームに対し、コマ表示のフレームやフレーム枠の色を変えるなどして、ユーザに好みのシーンであることを明示してもよい。なお、本実施形態では管理ファイル情報は、再生する毎に操作履歴記録部４０によってＨＤＤ２４に書き戻されるとしたが、新規に操作履歴用のファイルを作成してＨＤＤ２４に追記する等、別の手段で操作履歴を残しても構わない。

以上説明したように、タイムライン検索機能において、表示コマ間隔を荒くした場合でも、好みのシーンは優先的にタイムライン検索機能上のコマに表示される。それにより、ユーザは長時間記録したショット内でも好みのシーンを効率よく検索することができ、ユーザの使い勝手が向上する。

なお、前述した本発明の実施の形態では、撮像装置としてビデオカメラを一例として説明した。しかしながら、これに限定されず、撮影機能を有するものであれば、デジタルカメラ、携帯電話やＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータであっても本発明を適用することができる。

また、本発明の目的は、以下の処理を実行することによって達成される。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたコンピュータプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。

また、コンピュータが読み出したプログラムコードを実行することにより、前記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

更に、前述した実施形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、コンピュータ読み取り可能な記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。

１０ビデオカメラ本体、１２レンズ、１４撮像素子、１６カメラ信号処理部、１８エンコーダ、２０バッファ、２２ディスクアクセス部、２４ハードディスク、２６デコーダ、２８ＬＣＤコントローラ、３０ＬＣＤ、３２ＣＰＵ、３４操作部、３６ＲＡＭ、３８ＲＯＭ、４０操作履歴記録部、４２履歴演算部、４４シーン検出部、４６表示制御部、４８外部出力部、５０リモコン受信部、６０ＣＰＵバス

Claims

記録媒体に記録された動画像内からフレーム画像を抽出して表示装置に表示するとともに、前記フレーム画像に重み付けを行い、前記重み付けに応じてユーザの好みの動画像のシーンのプレイリストを作成し、タイムラインにコマ表示するようにしたことを特徴とする記録再生装置。
記録媒体に記録された動画像内からフレーム画像を抽出して表示装置に表示する表示制御手段と、
前記記録媒体に記録された動画像の視聴操作履歴を管理ファイルに記録する操作履歴記録手段と、
前記管理ファイルに記録された操作履歴情報を抽出し、抽出した操作履歴情報に対して重み付けを行う履歴演算手段と、
前記履歴演算手段の結果に基づいて前記動画像のシーンを検出する検出手段とを有し、
前記表示制御手段は、前記検出手段によって検出されたシーンに関わるフレーム画像を動画像のシーンのプレイリストに表示するよう制御することを特徴とする記録再生装置。
前記検出手段は、設定された閾値を超えたシーンを検出する手段であって、
前記表示制御手段は、検出した操作履歴の多いシーンの画像を優先的に表示することを特徴とする請求項２に記載の記録再生装置。
前記表示制御手段は、動画像の先頭画像を表示することを特徴とする請求項２に記載の記録再生装置。
所定の時間間隔ごとに画像を抽出する画像抽出手段を有し、
前記表示制御手段は、前記履歴演算手段の出力が検出されない場合には、前記画像抽出手段で抽出された所定の時間間隔ごとの画像を表示することを特徴とする請求項２に記載の記録再生装置。
前記表示制御手段は、前記検出手段で検出したシーンの中から、履歴演算手段の出力値が高い順に画像を表示することを特徴とする請求項２〜５の何れか１項に記載の記録再生装置。
前記表示制御手段は、前記検出手段で検出したシーンの画像に対し、フレームの色、フレーム枠の色を変更して表示することを特徴とする請求項２〜６の何れか１項に記載の記録再生装置。
前記履歴演算手段は、再生操作の種類に応じて前記重み付けを行うことを特徴とする請求項２〜６の何れか１項に記載の記録再生装置。
前記履歴演算手段は、外部出力の有り無しに応じて、再生操作の種類にさらに重み付けを行うことを特徴とする請求項２〜６の何れか１項に記載の記録再生装置。
前記履歴演算手段は、リモコンでの操作の有り無しに応じて、再生操作の種類にさらに重み付けを行うことを特徴とする請求項２〜６の何れか１項に記載の記録再生装置。
記録媒体に記録された動画像内からフレーム画像を抽出して表示方法に表示するとともに、前記フレーム画像に重み付けを行い、前記重み付けに応じてユーザの好みの動画像のシーンのプレイリストを作成し、タイムラインにコマ表示するようにしたことを特徴とする記録再生方法。
記録媒体に記録された動画像内からフレーム画像を抽出して表示方法に表示する表示制御工程と、
前記記録媒体に記録された動画像の視聴操作履歴を管理ファイルに記録する操作履歴記録工程と、
前記管理ファイルに記録された操作履歴情報を抽出し、抽出した操作履歴情報に対して重み付けを行う履歴演算工程と、
前記履歴演算工程の結果に基づいて前記動画像のシーンを検出する検出工程とを有し、
前記表示制御工程は、前記検出工程によって検出されたシーンに関わるフレーム画像を動画像のシーンのプレイリストに表示するよう制御することを特徴とする記録再生方法。
記録媒体に記録された動画像内からフレーム画像を抽出して表示方法に表示する表示制御工程と、
前記記録媒体に記録された動画像の視聴操作履歴を管理ファイルに記録する操作履歴記録工程と、
前記管理ファイルに記録された操作履歴情報を抽出し、抽出した操作履歴情報に対して重み付けを行う履歴演算工程とをコンピュータに実行させ、
前記履歴演算工程の結果に基づいて前記動画像のシーンを検出する検出工程とを有し、
前記表示制御工程は、前記検出工程によって検出されたシーンに関わるフレーム画像を動画像のシーンのプレイリストに表示するようコンピュータに実行させることを特徴とするコンピュータプログラム。
請求項１３に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。