JP2008066967A - 画像処理装置、その制御方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】動画像の再生途中に微妙な姿勢変化を検出したときでも、使用者にとって見やすい動画像の再生を行うことができる画像処理装置を提供することを目的とする。
【解決手段】本発明の画像処理装置は、該装置の姿勢を検知する姿勢検知手段と、前記姿勢検知手段により検知された動画像データの記録開始時の姿勢情報を記録する記録媒体と、 動画像データの再生開始前に、前記姿勢検知手段により検知される最新の姿勢情報、及び、前記記録媒体に記録された動画像データの記録開始時の姿勢情報に基づいて回転処理した停止動画表示を行い、動画像データの再生開始後には、前記停止動画表示の回転方向のまま動画像データの再生を行う制御手段とを備える。
【選択図】図４

Description

本発明は、例えば動画像データを記録、再生する撮像装置に用いられて好適な画像処理装置、画像処理装置の制御方法、及びコンピュータプログラムに関する。

近年、家庭用ビデオカメラやデジタルスチルカメラ等の撮像機器が一般に普及している。これらの撮像機器は、静止画・動画を記録・再生する機能を有している。

この種の撮像機器として、例えば特許文献１には、動画像再生時には回転表示を行わずに再生表示を行うとともに、静止画像再生時には自動的に回転表示を行うことでユーザに良好な使用感を提供できるものが開示されている。

また、特許文献２には、画像に付加されている姿勢情報に基づいて画像の回転処理を行うようにした撮像装置において、画像に姿勢情報を付加するか否かを選択的にできるようにしたものが開示されている。

特開２００３−２７４３６６号公報 特開２００３−２５９２９５号公報

特許文献１、２にもあるように、動画像を再生している途中にカメラの姿勢変化を検出して動画像の再生方向を変更すると、再生された動画像が見づらくなってしまうという問題が生じる。特に低コストの姿勢検出器を使用したときは、微妙な姿勢変化の誤検出もあり、その現象が生じやすい。

その一方で、特許文献１、２にあるように、動画像の再生時になんら回転処理を行わないとすれば、場合によっては、使用者にとって見にくい動画像の再生となってしまうこともある。

本発明は上記のような問題点に鑑みてなされたものであり、使用者にとって見やすい動画像の再生を行うことができるようにすることを目的とする。

上記問題を解決するために本発明に係る画像処理装置は、記録媒体に記録した動画像データを再生する画像処理装置であり、該装置の姿勢を検知する姿勢検知手段と、動画像データの再生開始前に、前記姿勢検知手段により検知される最新の姿勢情報に基づいて回転処理した停止動画表示を行い、動画像データの再生開始後には、前記停止動画表示の回転方向のまま動画像データの再生を行う制御手段とを備えたことを特徴とするものである。

また、上記問題を解決するために本発明に係る別の画像処理装置は、記録媒体に記録した動画像データを再生する画像処理装置であって、該装置の姿勢を検知する姿勢検知手段と、動画像データの再生開始から予め定められた時間内には、前記姿勢検知手段により検知される最新の姿勢情報に基づいて動画像データの回転処理を行い、前記予め定められた時間以降は回転処理を行わないようにした制御手段とを備えたことを特徴とするものである。

また、上記問題を解決するために本発明に係る別の画像処理装置は、撮像手段により取得される動画像データを記録媒体に記録し、記録媒体に記録した動画像データを再生する画像処理装置であって、該装置の姿勢を検知する姿勢検知手段と、前記姿勢検知手段により検知された動画像データの記録開始時の姿勢情報を記録する記録媒体と、動画像データの再生開始前に、前記姿勢検知手段により検知される最新の姿勢情報、及び、前記記録媒体に記録された動画像データの記録開始時の姿勢情報に基づいて回転処理した停止動画表示を行い、動画像データの再生開始後には、前記停止動画表示の回転方向のまま動画像データの再生を行う制御手段とを備えたことを特徴とするものである。

また、上記問題を解決するために本発明に係る別の画像処理装置は、撮像手段により取得される動画像データを記録媒体に記録し、記録媒体に記録した動画像データを再生する画像処理装置であって、該装置の姿勢を検知する姿勢検知手段と、前記姿勢検知手段により検知された動画像データの記録開始時の姿勢情報を記録する記録媒体と、動画像データの再生開始から予め定められた時間内には、前記姿勢検知手段により検知される最新の姿勢情報、及び、前記記録媒体に記録された動画像データの記録開始時の姿勢情報に基づいて動画像データの回転処理を行い、前記予め定められた時間以降は回転処理を行わないようにした制御手段とを備えたことを特徴とするものである。

本発明によれば、動画像の再生途中に姿勢変化を検出したときでも、使用者にとって再生された動画像が見やすいという効果を奏することができる。また、本発明によれば、例えば低コストの姿勢検出器を使用することができるので、画像処理装置自体を低コストで提供することできる。

以下、図面を参照して本発明に係る実施形態を説明する。
（第１実施形態）
図１は、本発明を適用した画像処理装置を含むカメラ１００の構成を示す図である。
図１において、１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等からなる画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ/ＯＦＦすることが可能であり、表示をＯＦＦにした場合にはカメラ１００の電力消費を大幅に低減することができる。

３０は撮影した静止画像や動画像のデータを格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像のデータを格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御部であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。４２は撮影レンズ１０のフォーカシングを制御する測距制御部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はバリア１０２の動作を制御するバリア制御部である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。５０はカメラ１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカー等の表示部である。表示部５４は、カメラ１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。

表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示がある。その他フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００、２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、等がある。

また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

５８は姿勢検出器であり、カメラ１００の姿勢を検出することができる。詳細は後述するが、姿勢検出器５８は、カメラ１００の撮影面に対する法線方向を軸とするＸ回転軸を中心にした回転角度を検出する。姿勢検出器５８としては、例えば重力センサを使用することができる。

６０、６２、６４、６６及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。６０はモードダイアルスイッチであり、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

６２はシャッタースイッチＳＷ１であり、不図示のシャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２であり、不図示のシャッターボタンの操作完了でＯＮとなる。ＳＷ２がＯＮになると、撮像素子１２から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理が行われる。さらにメモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００、２１０に画像データを書き込む記録処理が行われる。なお、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ、ＬＣＤ等からなる画像表示部２８への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタンやタッチパネル等からなる操作部であり、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタンがある。その他、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン、等がある。

８０は電源制御部であり、電池検出回路、ＤＣ-ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。電源制御部８０は電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ-ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源である。９０及び９４はメモリカードやハードディスク等の記録媒体とのインターフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２、９６に記録媒体２００、２１０が装着されているか否かを検知する記録媒体着脱検知部である。

なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成してもよい。その場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０２は保護手段としてのバリアであり、カメラ１００のレンズ１０を含む撮像部を覆うことにより、撮像部の汚れや破損を防止する。１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示等が配置されている。

１１０は通信部であり、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。１１２は通信部１１０によりカメラ１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、カメラ１００とのインターフェース２０４、カメラ１００と接続を行うコネクタ２０６を備えている。２１０はメモリカードやハードディスク等の記録媒体である。記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、カメラ１００とのインターフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。

次に、第１実施形態に係るカメラの動作について説明する。図２及び図３は、本実施形態に係るカメラ１００の主ルーチンのフローチャートである。

まず、電池交換等の電源投入により、システム制御回路５０はフラグや制御変数等を初期化し（ステップＳ１０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（ステップＳ１０２）。次に、システム制御回路５０は、モードダイアルスイッチ６０の設定位置を判断する（ステップＳ１０３）。

上記ステップＳ１０３においてモードダイアルスイッチ６０が電源ＯＦＦに設定されていたならば、各表示部の表示を終了状態に変更し、バリア１０２を閉じて撮像部を保護する。さらに、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御部８０により画像表示部２８を含むカメラ１００各部の不要な電源を遮断する等の所定の終了処理を行う（ステップＳ１０５）。その後、ステップＳ１０３に戻る。

上記ステップＳ１０３においてモードダイアルスイッチ６０が再生モードに設定されていたならば、システム制御回路５０は再生処理を実行し（ステップＳ１０４）、処理を終えたならば、ステップＳ１０３に戻る。ステップＳ１０４の再生モード処理については図４を用いて後述する。

上記ステップＳ１０３においてモードダイアルスイッチ６０が撮影モードに設定されていたならば、ステップＳ１０６に進む。システム制御回路５０は、電源制御部８０により電池等の電源８６の残容量や動作状況がカメラ１００の動作に問題があるか否かを判断する（ステップＳ１０６）。電源８６に問題があるならば、表示部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、ステップＳ１０３に戻る。

電源８６に問題が無いならば（ステップＳ１０６）、システム制御回路５０は、記録媒体２００、２１０の動作状態がカメラ１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断する（ステップＳ１０７）。記録媒体２００、２１０の動作状態に問題があるならば、表示部５４を用いて画像や音声により所定の警告表示を行った後に（ステップＳ１０８）、ステップＳ１０３に戻る。

記録媒体２００、２１０の動作状態に問題が無いならば（ステップＳ１０７）、システム制御回路５０は、表示部５４を用いて画像や音声によりカメラ１００の各種設定状態の表示を行う（ステップＳ１０９）。なお、画像表示部２８の画像表示がＯＮであったならば、画像表示部２８を用いて画像や音声によりカメラ１００の各種設定状態の表示を行う。

システム制御回路５０は、撮像した画像データを逐次表示するスルー表示状態に設定して（ステップＳ１１６）、図３のステップＳ１２０に進む。スルー表示状態では、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示する。このスルー表示状態により電子ファインダ機能が実現される。

システム制御回路５０は、録画ＳＷの状態を調べ（ステップＳ１２０）、録画ＳＷがＯＮならば動画像の記録を開始する。ここで、録画ＳＷは操作部７０の各種ボタンの１つに割り当てられていてもよく、撮影モードに設定されている場合のシャッタースイッチＳＷ２に割り当てられていてもよい。

動画像の記録に際して、まず、システム制御回路５０は姿勢検出器５８により動画像の撮像開始時（記録開始時）に検知したカメラ１００の姿勢情報を記録媒体２００或いは２１０に記録する（ステップＳ１２１）。そして、音声を含む動画像の記録を行い（ステップＳ１２２）、録画ＳＷがＯＦＦされるまで（ステップＳ１２３）、動画像の記録を続ける。このように、本実施形態では、動画像データとともに動画像データの記録開始時に検知したカメラの姿勢情報も記録媒体２００或いは２１０に記録する。

図４は、図２のステップＳ１０４における再生モードの詳細なフローチャートである。再生モードになると、システム制御回路５０は、姿勢検出器５８により現在のカメラ１００の姿勢情報である回転角度Ａを検出する（ステップＳ１４０）。次に、動画像の記録開始時に検知したカメラ１００の姿勢情報である回転角度Ｂを記録媒体２００或いは２１０から読み出し、再生時の回転角度αを以下の式で求める（ステップＳ１４１）。
再生角度α ＝ 現在角度Ａ − 撮影時角度Ｂ

システム制御回路５０は、再生角度αを求めたら、記録媒体２００或いは２１０から動画像の開始フレームを読み出して、再生角度αに回転処理し、画像表示部２８に表示する（本発明でいう「停止動画表示」）（ステップＳ１４２）。

次に、システム制御回路５０は、再生開始の指示があるか否かを判定する（ステップＳ１４３）。再生開始の指示があるまでは、ステップＳ１４０〜Ｓ１４２の処理を繰り返す。このように、動画像の再生開始の指示があるまでは、姿勢検知器５８により検知したカメラ１００の姿勢情報（回転角度Ａ）に基づいて逐次、動画像の開始フレームを回転処理し、画像表示部２８に表示する。

上記ステップＳ１４３において再生開始の指示があったならば、カメラ１００の姿勢検知を終了し、上記ステップＳ１４１で計算した回転角度αのまま回転方向を固定して動画像の再生を行う（ステップＳ１４４）。このように、動画像の再生開始前に再生する回転方向が決定されるので、動画像の再生が開始された後に姿勢検出器５８が微妙な変化を検出しても、動画像を再生する回転方向が変更されることがなく、使用者にとって見やすい動画像の再生を行うことができる。

システム制御回路５０は、再生停止の指示がされるまで動画像の再生を続ける（ステップＳ１４５）。再生停止の指示があり、続いて再生モードの終了指示があれば、再生モードを終了する。再生モードの終了指示がなければ、すなわち一時停止のままであれば、ステップＳ１４０に戻って再生モード処理を続ける（ステップＳ１４６）。このように、動画像の再生停止があった後、再生モードそのものが終了するまでは、姿勢検知器５８により検知したカメラ１００の姿勢情報に基づいて逐次、動画像の開始フレームを回転処理し、画像表示部２８に表示する。

図５を参照して、カメラの姿勢検出を行う回転軸について説明する。使用者はカメラを横位置・縦位置にして撮影することがある。この横位置・縦位置とは、図５に示すようにカメラの撮影面の対する法線方向を軸とするＸ回転軸を中心に回転した角度を基準としている。つまり、システム制御回路５０が再生時又は記録時において反映する姿勢情報とは、Ｘ回転軸を中心とした回転角度をいう。なお、カメラの回転軸として、Ｙ軸・Ｚ軸も考えられるが、あくまでも縦位置・横位置の判別をするのが目的なので、Ｘ回転軸を中心とした回転角度が検出できるような姿勢検出器５８を搭載する。

図６を参照して、姿勢検出器５８が判別できる回転角度について説明する。姿勢検出器の中には細かく角度を判別できるものも存在するが、コストが高くなってしまう。したがって、本実施形態では図６のように、０°／９０°／１８０°／２７０°の４方向のみ検出できる姿勢検出器５８を用いている。

すなわち、姿勢検出器５８は、図６中の−４５゜〜４５゜の回転角度中に鉛直方向の上方成分が位置するときは、カメラが回転角度０゜にある、つまりカメラが横位置にあると判別する。また、図６中の４５゜〜１３５゜の回転角度中に鉛直方向の上方成分が位置するときは、カメラが回転角度９０゜回転している、つまりカメラが縦位置にあると判別する。また、図６中の１３５゜〜２２５゜の回転角度中に鉛直方向の上方成分が位置するときは、カメラが回転角度１８０゜回転している、つまりカメラが横位置にあると判別する。また、図６中の２２５゜〜−４５゜の回転角度中に鉛直方向の上方成分が位置するときは、カメラが回転角度２７０゜回転している、つまりカメラが縦位置にあると判別する。この４方向が判別できれば、縦位置・横位置を支障なく判別することができる。

図７を参照して、姿勢検出器５８がカメラの回転角度を正しく検出できない場合について説明する。図７（ａ）のようにカメラのＸ回転軸が鉛直方向に対して直交している場合は、正常にカメラの回転角度を検出することできる。一方、図７（ｂ）及び（ｃ）のようにカメラがＹ回転軸を中心に下向き・上向きに回転していると、カメラの回転角度を検出することができない。ここで、従来のカメラであれば、動画像の再生途中に図７（ｂ）及び（ｃ）のようにカメラを下向き・上向きにすると、正常ではない姿勢検出を行うため、動画像の再生途中で動画像の回転処理が行われ、動画像の回転方向が変更されてしまうことがある。しかし、本実施形態では動画像の再生開始直前に検知した姿勢情報に基づいて動画像を回転処理し、再生開始の後は姿勢検知を行わない。したがって、動画像の再生途中にカメラが図７（ｂ）及び（ｃ）のような姿勢になったとしても、再生途中に回転方向が変更されることがなく、使用者にとって見やすい動画像の再生を行うことができる。

図８及び図９を参照して、動画像の再生について説明する。なお、図中における再生角度はＸ回転軸を中心に時計回りに回転させた角度をいう。図８（Ａ）は横位置で撮影した動画の例である。１の停止中ではカメラが横位置なので、動画像の開始フレームは回転処理されず表示される。２の停止中ではカメラが縦位置となっているので、動画像の開始フレームも回転処理されて表示される。さらに３の停止中ではカメラが横位置に戻っているので、動画像の開始フレームの回転処理は行われずに元の表示になる。次に、４の動画像の再生開始がされると、直前の３の停止中の状態のまま動画像の再生が開始される。５で再生途中にカメラを縦位置にしても、動画像は回転処理されない。

図８（Ｂ）は横位置で撮影した動画の例である。１の停止中ではカメラが横位置なので、動画像の開始フレームは回転処理されず表示される。２の停止中ではカメラが縦位置となっているので、動画像の開始フレームも回転処理されて表示される。次に、３の動画像の再生開始がされると、直前の２の停止中の状態のまま動画像の再生が開始される。４で再生途中にカメラを横位置にしても、動画像は回転処理されない。

図９（Ａ）は縦位置で撮影した動画の例である。１の停止中ではカメラは横位置なので、動画像の開始フレームは回転処理されて表示される。２の停止中ではカメラが縦位置となっているので、動画像の開始フレームの回転処理は行われずそのまま表示される。さらに３の停止中ではカメラが横位置に戻っているので、動画像の開始フレームは再度回転処理されて表示される。次に、４の動画像の再生開始がされると、直前の３の停止中の状態のまま動画像の再生が開始される。５で再生途中にカメラを縦位置にしても、動画像は回転処理されない。

図９（Ｂ）は縦位置で撮影した動画の例である。１の停止中ではカメラは横位置なので、動画像の開始フレームは回転処理されて表示される。２の停止中ではカメラが縦位置となっているので、動画像の開始フレームの回転処理は行われずそのまま表示される。次に、３の動画像の再生開始がされると、直前の２の停止中の状態のまま動画像の再生が開始される。４で再生途中にカメラを縦位置にしても、動画像は回転処理されない。

（第２実施形態）
次に、図１０を参照して、本発明の第２実施形態について説明する。なお、第２実施形態に係る画像処理装置を含むカメラ１００の構成は図１に示したものと同様である。第２実施形態に係るカメラ１００の動作は、第１実施形態における再生ルーチンである図４のフローチャートを図１０のフローチャートに置き換えたものである。すなわち、図１０は、図２のステップＳ１０４における再生モードの詳細なフローチャートである。

システム制御回路５０は、姿勢検出器５８により現在のカメラ１００の姿勢情報である回転角度Ａを検出する（ステップＳ１９０）。次に、動画像の記録開始時に検知したカメラ１００の姿勢情報である回転角度Ｂを記録媒体２００或いは２１０から読み出し、メモリ３２に回転角度Ｂを記憶して、再生時の回転角度αを以下の式で求める（ステップＳ１９１）。
再生角度α ＝ 現在角度Ａ − 撮影時角度Ｂ

システム制御回路５０は、再生角度αを求めたら、記録媒体２００或いは２１０から動画像の開始フレームを読み出して、再生角度αに回転処理し、画像表示部２８に表示する（ステップＳ１９２）。

次に、システム制御回路５０は、再生開始の指示があるか否かを判定する（ステップＳ１９３）。再生開始の指示があるまでは、ステップＳ１９０〜Ｓ１９２の処理を繰り返す。このように、動画像の再生開始の指示があるまでは、姿勢検知器５８により検知したカメラの姿勢情報に基づいて逐次、動画像の開始フレームを回転処理し、画像表示部２８に表示する。

上記ステップＳ１９３において再生開始の指示があったならば、動画像の再生開始時点からの経過時刻を調べる（ステップＳ１９４）。予め定められた所定時間を超えた場合、そのままステップＳ１９７に移る。所定時間内であれば、システム制御回路５０は、姿勢検出器５８により現在のカメラ１００の姿勢情報である回転角度Ａを検出する（ステップＳ１９５）。次に、動画像の記録開始時の回転角度Ｂをメモリ３２から読み出して、再生時の回転角度αをステップＳ１９１と同様の式で求めた後（ステップＳ１９６）、ステップＳ１９７に移る。

ステップＳ１９７では、回転角度αのまま回転方向を固定して動画像の再生を行う。システム制御回路５０は再生停止の指示がされるまで動画像の再生を続ける（ステップＳ１９８）。再生停止の指示があり、続いて再生モードの終了指示があれば、再生モードを終了する。再生モードの終了指示がなければ、すなわち一時停止のままであれば、ステップＳ１９０に戻って再生モード処理を続ける（ステップＳ１９９）。このように、動画像の再生停止があった後、再生モードそのものが終了するまでは、姿勢検知器５８により検知したカメラの姿勢情報に基づいて逐次、動画像の開始フレームを回転処理し、画像表示部２８に表示する。

本実施形態では、再生開始から予め定められた時間（所定時間）内は、姿勢検知器５８によりカメラの姿勢検知を行う。したがって、使用者が動画像の再生を開始した回転方向が気に入らない場合、再生が開始されてから所定時間内であればカメラ１００の姿勢を変化させることで動画像の再生する回転方向を変更させることができる。一方、所定時間を経過した後は、回転方向を変化させたくなることは少ない。また、低コストの姿勢検出器を使用したときには微妙な姿勢変化の誤検出もありえる。したがって、所定時間経過後に姿勢検出を行わないことで、使用者にとって見やすい動画像の再生を行うことができる。

上述した本発明の実施形態における画像処理装置を構成する各手段、並びに画像処理装置の制御方法の各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には複数の機器からなる画像処理システムに適用してもよい。

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明を適用した画像処理装置を含むカメラの構成を示す図である。 本発明の実施形態に係るカメラの主ルーチンのフローチャートである。 本発明の実施形態に係るカメラの主ルーチンのフローチャートである。 本発明の第１の実施形態に係るカメラの再生時のフローチャートである。 本発明に係る実施形態の姿勢検出の方向を説明する図である。 本発明に係る実施形態の姿勢検出する回転角度について説明する図である。 本発明に係る実施形態の姿勢検出できない方向について説明する図である。 本発明に係る実施形態の再生時の一例を示す図である。 本発明に係る実施形態の再生時の一例を示す図である。 本発明の第２実施形態に係るカメラの再生時のフローチャートである。

符号の説明

１０ 撮影レンズ
１２ シャッター
１４ 撮像素子
１６ Ａ／Ｄ変換器
１８ タイミング発生回路
２０ 画像処理回路
２２ メモリ制御回路
２４ 画像表示メモリ
２６ Ｄ／Ａ変換器
２８ 画像表示部
３０ メモリ
３２ 画像圧縮・伸長回路
４０ 露光制御部
４２ 測距制御部
４４ ズーム制御部
４６ バリア制御部
４８ フラッシュ
５０ システム制御回路
５２ メモリ
５４ 表示部
５６ 不揮発性メモリ
５８ 姿勢検出器
６０ モードダイアルスイッチ
６２ シャッタースイッチSW１
６４ シャッタースイッチSW２
７０ 操作部
８０ 電源制御部
８２ コネクタ
８４ コネクタ
８６ 電源部
９０ インターフェース
９２ コネクタ
９４ インターフェース
９６ コネクタ
９８ 記録媒体着脱検知部
１００ 画像処理装置
１０２ 保護部
１０４ 光学ファインダ
１１０ 通信部
１１２ コネクタ（又はアンテナ）
２００ 記録媒体
２０２ 記録部
２０４ インターフェース
２０６ コネクタ
２１０ 記録媒体
２１２ 記録部
２１４ インターフェース
２１６ コネクタ

Claims (13)

1. 記録媒体に記録した動画像データを再生する画像処理装置であって、
   該装置の姿勢を検知する姿勢検知手段と、
   動画像データの再生開始前に、前記姿勢検知手段により検知される最新の姿勢情報に基づいて回転処理した停止動画表示を行い、動画像データの再生開始後には、前記停止動画表示の回転方向のまま動画像データの再生を行う制御手段とを備えたことを特徴とする画像処理装置。
2. 記録媒体に記録した動画像データを再生する画像処理装置であって、
   該装置の姿勢を検知する姿勢検知手段と、
   動画像データの再生開始から予め定められた時間内には、前記姿勢検知手段により検知される最新の姿勢情報に基づいて動画像データの回転処理を行い、前記予め定められた時間以降は回転処理を行わないようにした制御手段とを備えたことを特徴とする画像処理装置。
3. 撮像手段により取得される動画像データを記録媒体に記録し、記録媒体に記録した動画像データを再生する画像処理装置であって、
   該装置の姿勢を検知する姿勢検知手段と、
   前記姿勢検知手段により検知された動画像データの記録開始時の姿勢情報を記録する記録媒体と、
   動画像データの再生開始前に、前記姿勢検知手段により検知される最新の姿勢情報、及び、前記記録媒体に記録された動画像データの記録開始時の姿勢情報に基づいて回転処理した停止動画表示を行い、動画像データの再生開始後には、前記停止動画表示の回転方向のまま動画像データの再生を行う制御手段とを備えたことを特徴とする画像処理装置。
4. 撮像手段により取得される動画像データを記録媒体に記録し、記録媒体に記録した動画像データを再生する画像処理装置であって、
   該装置の姿勢を検知する姿勢検知手段と、
   前記姿勢検知手段により検知された動画像データの記録開始時の姿勢情報を記録する記録媒体と、
   動画像データの再生開始から予め定められた時間内には、前記姿勢検知手段により検知される最新の姿勢情報、及び、前記記録媒体に記録された動画像データの記録開始時の姿勢情報に基づいて動画像データの回転処理を行い、前記予め定められた時間以降は回転処理を行わないようにした制御手段とを備えたことを特徴とする画像処理装置。
5. 記録媒体に記録した動画像データを再生する画像処理装置の制御方法であって、
   動画像データの再生開始前に、前記画像処理装置の姿勢を検知する姿勢検知手段により検知される最新の姿勢情報に基づいて回転処理した停止動画表示を行い、動画像データの再生開始後には、前記停止動画表示の回転方向のまま動画像データの再生を行うことを特徴とする画像処理装置の制御方法。
6. 記録媒体に記録した動画像データを再生する画像処理装置の制御方法であって、
   動画像データの再生開始から予め定められた時間内には、前記画像処理装置の姿勢を検知する姿勢検知手段により検知される最新の姿勢情報に基づいて動画像データの回転処理を行い、前記予め定められた時間以降は回転処理を行わないことを特徴とする画像処理装置の制御方法。
7. 撮像手段により取得される動画像データを記録媒体に記録し、記録媒体に記録した動画像データを再生する画像処理装置の制御方法であって、
   前記画像処理装置の姿勢を検知する姿勢検知手段により検知された動画像データの記録開始時の姿勢情報を記録媒体に記録する手順と、
   動画像データの再生開始前に、前記姿勢検知手段により検知される最新の姿勢情報、及び、前記記録媒体に記録された動画像データの記録開始時の姿勢情報に基づいて回転処理した停止動画表示を行い、動画像データの再生開始後には、前記停止動画表示の回転方向のまま動画像データの再生を行う手順とを有することを特徴とする画像処理装置の制御方法。
8. 撮像手段により取得される動画像データを記録媒体に記録し、記録媒体に記録した動画像データを再生する画像処理装置の制御方法であって、
   前記画像処理装置の姿勢を検知する姿勢検知手段により検知された動画像データの記録開始時の姿勢情報を記録媒体に記録する手順と、
   動画像データの再生開始から予め定められた時間内には、前記姿勢検知手段により検知される最新の姿勢情報、及び、前記記録媒体に記録された動画像データの記録開始時の姿勢情報に基づいて動画像データの回転処理を行い、前記予め定められた時間以降は回転処理を行わない手順とを有することを特徴とする画像処理装置の制御方法。
9. 記録媒体に記録した動画像データを再生する画像処理装置を制御するコンピュータプログラムであって、
   動画像データの再生開始前に、前記画像処理装置の姿勢を検知する姿勢検知手段により検知される最新の姿勢情報に基づいて回転処理した停止動画表示を行い、動画像データの再生開始後には、前記停止動画表示の回転方向のまま動画像データの再生を行う処理をコンピュータに実行させるためのコンピュータプログラム。
10. 記録媒体に記録した動画像データを再生する画像処理装置を制御するコンピュータプログラムであって、
    動画像データの再生開始から予め定められた時間内には、前記画像処理装置の姿勢を検知する姿勢検知手段により検知される最新の姿勢情報に基づいて動画像データの回転処理を行い、前記予め定められた時間以降は回転処理を行わない処理をコンピュータに実行させるためのコンピュータプログラム。
11. 撮像手段により取得される動画像データを記録媒体に記録し、記録媒体に記録した動画像データを再生する画像処理装置を制御するコンピュータプログラムであって、
    前記画像処理装置の姿勢を検知する姿勢検知手段により検知された動画像データの記録開始時の姿勢情報を記録媒体に記録する処理と、
    動画像データの再生開始前に、前記姿勢検知手段により検知される最新の姿勢情報、及び、前記記録媒体に記録された動画像データの記録開始時の姿勢情報に基づいて回転処理した停止動画表示を行い、動画像データの再生開始後には、前記停止動画表示の回転方向のまま動画像データの再生を行う処理とをコンピュータに実行させるためのコンピュータプログラム。
12. 撮像手段により取得される動画像データを記録媒体に記録し、記録媒体に記録した動画像データを再生する画像処理装置を制御するコンピュータプログラムであって、
    前記画像処理装置の姿勢を検知する姿勢検知手段により検知された動画像データの記録開始時の姿勢情報を記録媒体に記録する処理と、
    動画像データの再生開始から予め定められた時間内には、前記姿勢検知手段により検知される最新の姿勢情報、及び、前記記録媒体に記録された動画像データの記録開始時の姿勢情報に基づいて動画像データの回転処理を行い、前記予め定められた時間以降は回転処理を行わない処理とをコンピュータに実行させるためのコンピュータプログラム。
13. 請求項９〜１２のいずれか１項に記載のコンピュータプログラムを記録したコンピュータ読み取り可能な記憶媒体。

Images