JP2008098916A

JP2008098916A - 動画表示装置および動画表示方法

Info

Publication number: JP2008098916A
Application number: JP2006277782A
Authority: JP
Inventors: Hiroto Oka; 寛人岡
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2006-10-11
Filing date: 2006-10-11
Publication date: 2008-04-24

Abstract

【課題】撮影時のフレームごとのカメラ回転角が記録されている動画をＰＣなどで再生するときに、手ぶれなどによる微細な回転があった場合、動画再生時にその回転を補正していたのでは見づらい動画になってしまうため、動画回転表示にヒステリシスを設ける。
【解決手段】動画および、動画全体のカメラ回転の様子が記録された情報を入力する入力手段と、その動画を再生する表示手段と、前記表示手段において、記録されたカメラの回転角に応じて動画を回転させて表示する動画回転手段を有し、前記動画回転手段は回転にヒステリシスを設け、閾値以下の回転角度であった場合は動画を回転しないことを特徴とする。
【選択図】図４

Description

本発明は、デジタルカメラなどで撮影された動画を再生する動画再生装置および動画再生方法に関する。

今日、デジタル画像を撮影するデジタルカメラやデジタルビデオ、携帯電話などが急速に普及している。このうちデジタルビデオは言うに及ばず、デジタルカメラや携帯電話などで動画を撮影できる機種も数多く販売されている。

このうち、特にデジタルカメラで静止画を撮影する際、カメラを90度回転させて撮影することも普通に行われている。このようにして撮影した画像を、PCやカメラの液晶モニタで表示する際に、被写体の向きが正しくなるように、デジタルカメラ内にカメラの角度を検出する縦位置センサを搭載し、画像を撮影したときのカメラの角度を画像ファイルに記録する技術が実用化されている。

従来例としては、例えば特許文献１をあげることが出来る。
特開平10-164426号公報

現在主流になっている規格では、記録される回転角度は90度単位である。しかし、今後、センサの感度向上・デジタル動画の使用範囲の拡大などの技術向上に伴い、より精度の高い回転角度を記録することや、動画全体のカメラ回転の様子を記録することが可能なカメラの登場が予想される。

ところで、このようなカメラで撮影した動画をPCなどで再生する場合、被写体が正しい角度で再生できるよう、再生ソフトで各フレームの回転角度を読み出し、それにあわせて動画を再生することが考えられる。たとえば、図11はそのような再生ソフトの例である。このようなカメラと再生ソフトを使用することによって、動画の表現力をこれまで以上に高めることができる。

しかし、回転角度検出センサの感度が高くなると、手ブレなど撮影者が意図しないような微小な角度変化をセンサが検出してしまい、却って見づらい動画になってしまうという問題がある。

上記の問題を解決するために、請求項1に係る動画表示装置では、動画および、動画全体のカメラ回転の様子が記録された情報を入力する入力手段と、その動画を再生する表示手段とと、その動画を再生する表示手段と、前記表示手段において、記録されたカメラの回転角に応じて動画を回転させて表示する動画回転手段を有し、前記動画回転手段は回転にヒステリシスを設け、閾値以下の回転角度であった場合は動画を回転しないことを特徴とする。

また、請求項2に係る動画表示装置では、請求項1に記載の動画表示装置において、カメラの回転角度が所定の閾値を越えたとき、前記動画回転手段は、その閾値の角度をオフセットとして動画を回転して表示することを特徴とする。

また、請求項3に係る動画表示装置では、請求項1に記載の動画表示装置において、カメラの回転角度が所定の閾値を越えたとき、前記動画回転手段はカメラの回転角度と同一になるように動画を回転して表示することを特徴とする。

また、請求項4に係る動画表示装置では、請求項1に記載の動画表示装置において、カメラの回転角度が所定の閾値を越えたとき、前記動画回転手段は、まず閾値の角度をオフセットとして動画を回転表示し、その後オフセットが減衰していくことを特徴とする。

本発明によれば、動画の各フレームごとに正確なカメラの回転角度を記録することが可能なカメラにおいて、手ブレなど撮影者が意図しないような微小な角度変化に影響されることなく、視聴しやすい動画を表示することができる。

（実施例１）
図1は、デジタルカメラ101で撮影した動画を、PC102にインストールされた再生ソフト（図11参照）で再生する本実施例のシステムを表す図である。デジタルカメラ101は、撮影した静止画や動画をメモリカード103に記録する。それらを再生する際には、メモリカード103をデジタルカメラ101から取り外し、PC102に接続されたメモリカードリーダ104に装着すれば、表示ソフトからメモリカード103内の画像にアクセス・表示できる。もちろん、本発明の具現化は、このようなシステムに限定されず、たとえばデジタルカメラとPCをUSBケーブルなどで接続するなどのシステムでもかまわない。

図2は、デジタルカメラ101の内部構成を表す図である。被写体に対し、撮影レンズ201を透過した像は撮像素子202に入射する。そして、撮像素子202で光電変換されたアナログ像信号はA/D変換機203によってデジタル信号に変換される。このデジタル信号は、画像処理部204によってγ変換・色調整・シャープネスなどの処理が加えられ、圧縮されたデータとして、記録部205によって着脱可能なメモリカード206に記録される。その際、回転角度センサ207によって得られたカメラの回転角度も同時に記録される。カメラ回転角度がどのように記録されるかについては後述する。

画像処理部204が処理している画像や、メモリカード206に記録されている画像は、表示制御部208によって画像をビデオメモリ209に書き込むことにより、モニタ210に表示することができる。スイッチ211は、スイッチやボタンなどで構成される入力部212の指示により、画像処理部が処理している画像と記録部が記録している画像のどちらをモニタに表示するかを変更するものである。

次に図3は、デジタルカメラ101で動画を撮影した際、カメラの回転角度がどのようにファイルに記録されるかを表す図である。この図は動画を記録したファイルの構成図であり、1つの動画に対して1つのファイルが対応する。301はファイル全体に関する情報が記載されたファイルヘッダであり、1つのファイルに対して1つのファイルヘッダが存在する。次に302はフレームヘッダである。フレームヘッダは1つのフレームに対して1つずつ存在し、そのフレームに関する情報が記載される。フレームヘッダの一部には、303に示すようにカメラの回転角度を記載するための領域があり、該フレームが撮影された時刻に、回転角度センサ207で検出された回転角度が記録される。そしてフレームヘッダ302に続いて、該フレームの画像データを記録するフレームデータ304が存在する。以下、フレームヘッダとフレームデータが順番にファイルの最後まで記録される。

このように、本実施例ではカメラの回転角度を画像データと同一のファイルに格納したが、必ずしもそのような実施形態でなければならないことはない。各フレーム撮影時のカメラ回転角度が画像データとは別のファイルに、該フレームの撮影時刻とともに記録されるような形態も考えられる。また、動画の撮影時間が長い場合は、動画データが複数のファイルに分割されるような実施形態であってもかまわない。

そして、図4は、PC102の構成を表すブロック図である。401はCPUであり、402はメモリ、403はハードディスクドライブ（HDD）である。前述の再生ソフトは、普段はHDD403に格納されており、実行時にはメモリ402にロードされて、CPU401およびメモリ402を用いて実行される。したがって、CPU401およびメモリ402は動画回転手段となる。もちろん、CPU401およびメモリ402を用いて動画回転をする形態以外にも、PCのグラフィックボード上にあるGPUを用いて、より高速に動画回転を行う実施形態も考えられる。

404はCRTや液晶モニタなどであり、表示ソフトの表示を行う表示手段である。405はUSBのインタフェースであり、カードリーダ407を接続し、カードリーダに差し込まれたメモリカード内のデータを読み出すことができる。つまり405は入力手段となる。406はキーボードやマウスなどのユーザインタフェース（UI）部であり、表示ソフトの実行指示や操作を行うためのものである。

それでは、本実施例における動画回転手段の動作を、図5および図6を用いて説明する。図5は動作をあらわすフローチャートであり、図6はカメラ回転角度と動画回転手段による動画の回転角度の変化例をあらわすグラフである。ここで、rはカメラ回転角度、sは動画の回転角度を表す。また、aは所定の閾値である定数である。

まずS501で、rの値を変数r0に記録する。次にS502で、sにr0を設定する。次にS503に遷移し、|r-r0|（r-r0の絶対値）が閾値a以下かどうかを判定する。a以下であれば、S502に戻り、処理を繰り返す。

S501〜S503の処理は、図6のグラフにおける601および603の区間に相当する。これらの区間では、手ブレなどの影響でカメラ回転角度が細かく変動しているが、変動の大きさが閾値aより小さいため、動画の回転角度は一定のままである。

一方、S503において、|r-r0|が閾値a以上であれば、S504に進み、sにr-a（ただし逆回転のときはr+a）を代入する。そしてS505に進み、Δr/Δtの値が0になるかどうか（つまり、図6におけるカメラ回転角度rのグラフの傾きが0になったかどうか）を調べる。値が0でなければS504に戻り、処理を繰り返す。値が0であれば、S501に戻る。

S504〜S505の処理は、図6のグラフにおける602および604の区間に相当する。これらの区間では、動画の回転角度はカメラの回転角度に一定のオフセットaをもって追従している。すなわち、本実施例においては、動画の回転角度とカメラの回転角度は常に同一にはならないという特徴がある。

（実施例２）
本実施例におけるシステム・デジタルカメラ・PCの構成は実施例1に同じであるので、説明は省略する。

それでは、本実施例における動画回転手段の動作を、図7および図8を用いて説明する。図7は動作をあらわすフローチャートであり、図8はカメラ回転角度と動画回転手段による動画の回転角度の変化例をあらわすグラフである。ここで、rはカメラ回転角度、sは動画の回転角度を表す。また、aは所定の閾値である定数である。

まずS701で、rの値を変数r0に記録する。次にS702で、sにr0を設定する。次にS703に遷移し、|r-r0|（r-r0の絶対値）が閾値a以下かどうかを判定する。a以下であれば、S702に戻り、処理を繰り返す。

S701〜S703の処理は、図8のグラフにおける801および803の区間に相当する。これらの区間では、手ブレなどの影響でカメラ回転角度が細かく変動しているが、変動の大きさが閾値aより小さいため、動画の回転角度は一定のままである。

一方、S703において、|r-r0|が閾値a以上であれば、S704に進み、sにrを代入する。そしてS705に進み、Δr/Δtの値が0になるかどうか（つまり、図8におけるカメラ回転角度rのグラフの傾きが0になったかどうか）を調べる。値が0でなければS704に戻り、処理を繰り返す。値が0であれば、S701に戻る。

S704〜S705の処理は、図8のグラフにおける802および804の区間に相当する。これらの区間では、動画の回転角度はカメラの回転角度に等しいが、区間801から802に移るとき、および区間803から804に移るときに、動画の回転角度が不連続に変化する。すなわち、本実施例においては、動画の回転角度が不連続に変化することがあるという特徴がある。

（実施例３）
本実施例におけるシステム・デジタルカメラ・PCの構成は実施例1および実施例2に同じであるので、説明は省略する。

それでは、本実施例における動画回転手段の動作を、図9および図10を用いて説明する。図9は動作をあらわすフローチャートであり、図10はカメラ回転角度と動画回転手段による動画の回転角度の変化例をあらわすグラフである。ここで、rはカメラ回転角度、sは動画の回転角度を表す。また、aは所定の閾値である定数である。

まずS901で、rの値を変数r0に記録する。次にS902で、sにr0を設定する。次にS903に遷移し、|r-r0|（r-r0の絶対値）が閾値a以下かどうかを判定する。a以下であれば、S902に戻り、処理を繰り返す。

一方、S903において、|r-r0|が閾値a以上であれば、S904に進み、係数kに1．0を代入する。そしてS905に進み、kの値が0以上かどうかを判定する。0以上であればS906に進み、kの値を0．1マイナスして、S907に進む。S905においてkの値が0ならば、そのままS907に進む。

S907では、sにr−k×aを代入する。そしてS908に進み、Δr/Δtの値が0になるかどうか（つまり、図10におけるカメラ回転角度rのグラフの傾きが0になったかどうか）を調べる。値が0でなければS905に戻り、処理を繰り返す。値が0であれば、S901に戻る。

S905〜S908の処理は、図10のグラフにおける1002および1004の区間に相当する。これらの区間では、カメラの回転角度が閾値aを超えて変化したとき、動画の回転角度はカメラの回転角度にaのオフセットを持つが、時間の経過に合わせてオフセットは徐々に減少し、最終的にはカメラの回転角度と等しくなる。

上記の実施例1から3においては、本発明の実施形態は、図1に示すPC102で実現されるが、実際の実施方法はこれに制限されるものではない。たとえば、図1に示すカメラ101が本発明による動画表示手段を内蔵し、カメラのモニタ（図2の210参照）に表示するようにしてもよい。また、カメラ101が、図3に示すようなファイルを作成する際にフレームヘッダ302内のファイル領域303にフレームの回転角度を記録する際に、上記実施例で示したようなヒステリシスを適用した値を記録するようにする実施形態も考えられる。

デジタルカメラで撮影した動画を、PCにインストールされた再生ソフトで再生する本実施例のシステムを表す図デジタルカメラの内部構成を表す図デジタルカメラ101で動画を撮影した際、カメラの回転角度がどのようにファイルに記録されるかを表す図 PC102の構成を表すブロック図実施例1における動画回転手段の動作を表すフローチャート実施例1におけるカメラ回転角度と動画の回転角度の変化例をあらわすグラフ実施例2における動画回転手段の動作を表すフローチャート実施例2におけるカメラ回転角度と動画の回転角度の変化例をあらわすグラフ実施例3における動画回転手段の動作を表すフローチャート実施例3におけるカメラ回転角度と動画の回転角度の変化例をあらわすグラフ PC102にインストールされた再生ソフト

符号の説明

401 CPU
402 メモリ
403 ハードディスクドライブ（HDD）
404 表示部
405 USBインタフェース
406 UI部

Claims

動画および、動画全体のカメラ回転の様子が記録された情報を入力する入力手段と、
その動画を再生する表示手段と、
前記表示手段において、記録されたカメラの回転角に応じて動画を回転させて表示する動画回転手段を有し、
前記動画回転手段は回転にヒステリシスを設け、閾値以下の回転角度であった場合は動画を回転しないことを特徴とする動画表示装置。
請求項1に記載の動画表示装置において、カメラの回転角度が所定の閾値を越えたとき、前記動画回転手段は、その閾値の角度をオフセットとして動画を回転して表示することを特徴とする動画表示装置。
請求項1に記載の動画表示装置において、カメラの回転角度が所定の閾値を越えたとき、前記動画回転手段はカメラの回転角度と同一になるように動画を回転して表示することを特徴とする動画表示装置。
請求項1に記載の動画表示装置において、カメラの回転角度が所定の閾値を越えたとき、前記動画回転手段は、まず閾値の角度をオフセットとして動画を回転表示し、その後オフセットが減衰していくことを特徴とする動画表示装置。
動画および、動画全体のカメラ回転の様子が記録された情報を入力する入力工程と、
その動画を再生する表示工程と、
前記表示工程において、記録されたカメラの回転角に応じて動画を回転させて表示する動画回転工程を有し、
前記動画回転工程は回転にヒステリシスを設け、閾値以下の回転角度であった場合は動画を回転しないことを特徴とする動画表示方法。
請求項5に記載の動画表示方法において、カメラの回転角度が所定の閾値を越えたとき、前記動画回転工程は、その閾値の角度をオフセットとして動画を回転して表示することを特徴とする動画表示方法。
請求項5に記載の動画表示方法において、カメラの回転角度が所定の閾値を越えたとき、前記動画回転工程はカメラの回転角度と同一になるように動画を回転して表示することを特徴とする動画表示方法。
請求項5に記載の動画表示方法において、カメラの回転角度が所定の閾値を越えたとき、前記動画回転工程は、まず閾値の角度をオフセットとして動画を回転表示し、その後オフセットが減衰していくことを特徴とする動画表示方法。