JP2015026034A - 映像出力装置及びその制御方法、プログラム、並びに記憶媒体 - Google Patents

Abstract

【課題】表示部に表示する場合と外部に出力する場合のいずれにおいてもＯＳＤの視認性を向上させ、かつ描画処理に係る負荷も増加しない映像出力技術の実現。【解決手段】映像出力装置は、映像を取得する第１の取得手段と、前記映像に重畳するための重畳用画面を取得する第２の取得手段と、前記第１の取得手段により取得した映像に対して、前記重畳用画面の全領域を重畳した重畳映像を出力する第１の処理と、前記第１の取得手段により取得した映像に対して、前記重畳用画面の全領域より狭い一部領域をリサイズして重畳した重畳映像を出力する第２の処理とを実行する出力制御手段と、を有する。【選択図】図２

Description

本発明は、文字やアイコンなどの画面情報と映像とを重畳して出力する映像出力技術に関する。

最近のデジタルビデオカメラなどでは、文字やアイコンなどのＧＵＩ（画面情報）と映像とを重畳してＯＳＤとして出力することができる。ＯＳＤ画面は、ＶＲＡＭに描画した文字やアイコンなどのＧＵＩデータがビデオカメラで撮影した被写体映像に重畳されて、カメラ本体に搭載された表示部（液晶パネル）と外部モニタに同時に出力することが可能である。通常のビデオカメラでは、液晶パネルと外部モニタには、同一の被写体映像やＧＵＩその他の情報が表示されており、ユーザは状況や好みに応じて、ファインダと外部モニタのいずれかの映像を閲覧しながら撮影や再生を行うことができる。例えば、特許文献１には、ＬＣＤ画面の周辺領域に映像を表示しない制限領域を設け、制限領域にＧＵＩを表示できるように、映像とＧＵＩとを合成する技術が記載されている。また、特許文献２には、カメラが備える複数の表示部（ＬＣＤ画面やファインダなど）に同一または異なる内容を表示可能とする技術が記載されている。

特開２００６−０３０９１４号公報 特開２００６−１６６１３３号公報

ところで、上記液晶パネルと外部モニタの２系統にＯＳＤを同時に出力する場合、液晶パネルでの文字やアイコンの表示品位が低下することがある。すなわち、液晶パネルの画面サイズが小さいために表示される文字やアイコンが小さすぎて視認しずらかったり、解像度が低いために表示される文字やアイコンが潰れてしまうことがある。

また、外部モニタでのＯＳＤの表示範囲はモニタ画面の有効領域の縦横９０％程度に収めることが望ましいが、ＯＳＤの表示に必要な画面のマージンは、液晶パネルでは無駄な余白となってしまい、ＧＵＩをレイアウトする際に不要な制約となる。

そこで、上記液晶パネルと外部モニタの２系統に出力するＯＳＤについて個別に描画を行うこともできるが、各々のレイアウト管理が難しくなると共に、２系統へ同時に出力する場合は描画処理が２倍になるので、リアルタイムでの表示が難しくなる。

また、上記特許文献１，２のように、映像領域をトリミングすることもできるが、被写体映像はトリミングせずに画面全体に表示されることが望ましい。

本発明は、上記課題に鑑みてなされ、その目的は、表示部に表示する場合と外部に出力する場合のいずれにおいてもＯＳＤの視認性を向上させ、かつ描画処理に係る負荷も増加しない映像出力技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の映像出力装置は、映像を取得する第１の取得手段と、前記映像に重畳するための重畳用画面を取得する第２の取得手段と、前記第１の取得手段により取得した映像に対して、前記重畳用画面の全領域を重畳した重畳映像を出力する第１の処理と、前記第１の取得手段により取得した映像に対して、前記重畳用画面の全領域より狭い一部領域をリサイズして重畳した重畳映像を出力する第２の処理とを実行する出力制御手段と、を有する。

本発明によれば、表示部に表示する場合と外部に出力する場合のいずれにおいてもＯＳＤの視認性を向上させ、かつ描画処理に係る負荷も増加しないので、最適な表示をリアルタイムに行うことができる。

本実施形態の装置構成を示すブロック図。 本実施形態によるＯＳＤの描画処理を説明する図。 本実施形態のＯＳＤの描画処理を示すフローチャート。 本実施形態の動画再生中のＯＳＤ画面を例示する図。 本実施形態の静止画再生中のＯＳＤ画面を例示する図。 本実施形態の動画一覧表示中のＯＳＤ画面を例示する図。 本実施形態のキーボード表示中のＯＳＤ画面を例示する図。 本実施形態の映像編集モードにおけるＯＳＤ画面を例示する図。

以下、図面を参照しながら本発明の映像出力装置をデジタルビデオカメラなどの撮像装置に適用した実施の形態について詳細に説明する。

＜装置構成＞図１を参照して、本発明の映像出力装置を適用したデジタルビデオカメラの構成及び機能について説明する。

図１において、撮像部１０１は、ズームレンズやフォーカスレンズを含むレンズ群、絞り機能を備えるシャッターを含む。また、撮像部１０１は、被写体像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像素子、撮像素子から出力されるアナログ画像信号をデジタル信号に変換するＡ／Ｄ変換器を有する。

映像処理部１０２は、撮像部１０１からの映像データ、又は、メモリ制御部１０８からの映像データに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行い、ＶＲＡＭデータとしてメモリ制御部１０８を介してメモリ１０９に書き込む。また、映像処理部１０２では、映像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１１０が露光制御、測距制御を行う。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理が行われる。映像処理部１０２では更に、撮像した映像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行っている。さらに、映像処理部１０２は、圧縮／符号化された映像データをコーデック１０３により復号し、復号した映像データに対してリサイズ処理や色変換処理を行い、新たな映像データを生成する処理を行う。

コーデック１０３は、映像処理部１０２で生成された映像データをＭＰＥＧ２やＨ．２６４などの動画圧縮方式で符号化する。また、コーデック１０３は、メモリ制御部１０８により読み出された符号化ファイルを復号し、メモリ制御部１０８へ送出する。

映像出力制御部１０４は、メモリ１０９にＶＲＡＭデータとして保持された映像データとＧＵＩデータ（重畳用画面）を読み出し、これらを重畳してＯＳＤ画面データを生成し、映像出力部１０５、表示部１０６、コーデック１０３へ出力する。また、ＯＳＤ画面データをコーデック１０３へ出力することで、圧縮符号化して記録媒体１１９などに記録することも可能であり、ビデオカメラ１００が電子ビューファインダ（ＥＶＦ）を備えていれば、ＥＶＦに出力しても良い。また、映像出力制御部１０４は、少なくともコーデック１０３および映像出力部１０５へのＯＳＤ画面データの同時出力、もしくはコーデック１０３および表示部１０６へのＯＳＤ画面データの同時出力、さらには、コーデック１０３、映像出力部１０５および表示部１０６の３系統へのＯＳＤ画面データの同時出力が可能である。

映像出力部１０５は、ＨＤＭＩ（登録商標）端子やＳＤＩ端子、コンポジットビデオ端子などの外部出力端子からなり、外部装置としてのデジタルテレビや表示装置（外部モニタ）に接続可能である。映像出力制御部１０４は、映像処理部１０２やコーデック１０３、ＧＰＵ１０７で生成された映像データを映像出力部１０５を介して外部モニタに出力可能である。なお、映像出力部１０５に接続されるデジタルテレビや外部モニタの性能に応じて、映像全体が表示されたり（フルスキャン）、映像中の中央部分が切り出されて表示される（オーバースキャン）。しかしながら、デジタルテレビや外部モニタで表示される範囲をビデオカメラ１００から制御することは通常はできない。このため、映像出力制御部１０４から映像出力部１０５へ出力される映像データは、通常のデジタルテレビや外部モニタなどでＯＳＤが欠けることなく表示できるように、映像の周辺領域に十分なマージンを設けて出力される。

表示部１０６は、映像出力制御部１０４から出力された映像データに応じた映像を表示する液晶パネルや有機ＥＬパネルなどの表示デバイスである。表示部１０６は、ビデオカメラ１００と一体化された構成であっても、ビデオカメラ１００と接続された外部機器であっても良い。表示部１０６は、ビデオカメラ１００全体の物理的サイズやコストのために、比較的小さな画面であったり、解像度の低い液晶パネルであっても良い。この場合でも、本実施形態によれば、可能な限り文字やアイコンなどのＧＵＩを大きく表示することができる。なお、表示部１０６に表示する映像は、その周辺領域に十分なマージンを設ける必要は特にない。

ＧＰＵ（グラフィックスプロセッシングユニット）１０７は、ビデオカメラ１００の状態や設定を表す文字やアイコンなどのＧＵＩの構成要素をメモリ１０９のＶＲＡＭへレンダリングする。文字やアイコンなどの情報は不揮発性メモリ１１５に圧縮ビットマップ形式やベクター形式で格納されている。システム制御部１１０は、これらの情報を不揮発性メモリ１１５から読み出してメモリ１０９へ書き込み、ＧＰＵ１０７が読み出してＶＲＡＭへレンダリングする。また、ＧＰＵ１０７は、ＶＲＡＭデータをトリミングしたり、複数のＶＲＡＭデータを重畳したり、異なる解像度のＶＲＡＭデータへリサイズするミキサ機能も備えている。ＶＲＡＭデータをリサイズする場合には、縦横の縮小比率を個別に設定することができる。ミキサ機能には、レンダリングされたＶＲＡＭデータの色空間を映像出力制御部１０４が求める色空間へ変換する色変換機能も含まれる。

メモリ制御部１０８は、各ブロックからメモリ１０９へのアクセス要求を調停する機能を備える。

メモリ１０９は、映像処理部１０２、コーデック１０３、映像出力制御部１０４、ＧＰＵ１０７のそれぞれが処理するＶＲＡＭデータを格納する。また、コーデック１０３から出力された符号化映像データや、記録媒体１１９から読み出された符号化映像データを一時的に記憶する機能も有している。メモリ１０９は、所定時間の動画や音声を格納するのに十分な記録容量を備えている。

不揮発性メモリ１１５は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１５には、システム制御部１１０の動作用の定数、プログラム等が記録される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。また、ＧＰＵ１０７でのレンダリングに利用されるイメージデータや文字データなどの画面情報も、不揮発性メモリ１１５に格納される。

システム制御部１１０は、ビデオカメラ１００全体を統括して制御する演算処理装置であって、不揮発性メモリ１１５に格納されたプログラムを実行することで、後述するフローチャートの各処理を実現する。

システムメモリ１１６はＲＡＭなどであり、システム制御部１１０の動作用の定数、変数、不揮発性メモリ１１５から読み出したプログラムなどを展開するワークメモリとしても使用される。また、システム制御部１１０は、映像出力制御部１０４、ＧＰＵ１０７、メモリ制御部１０８を制御することにより表示制御も行う。システムメモリ１１６を、メモリ１０９と共用しても良く、その場合はメモリ制御部１０８によってアクセスが調停されるので、高速にアクセス可能な小容量のメモリを別途システム制御部１１０に直結して搭載されることもある。

システムタイマ１１７は各種制御に用いる時間や、内蔵時計の時間を計測する計時部である。

システム制御部１１０は１つまたは複数のＣＰＵコアを備えており、複数のＣＰＵコアを備える場合は、プログラムに記述されたタスクを複数のＣＰＵコアで分担して処理することができる。

タッチパネル１１１は、表示部１０６に対するタッチ操作を検出可能なタッチセンサである。タッチパネル１１１と表示部１０６とは一体的に構成することができる。例えば、タッチパネル１１１を光の透過率が表示部１０６の表示を妨げないように、表示部１０６の表示面の上層に取り付ける。そして、タッチパネル１１１における入力座標と、表示部１０６上の表示座標とを対応付ける。これにより、ユーザが表示部１０６に表示されたＯＳＤ画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。

電源スイッチ１１２は、ビデオカメラ１００の電源のオン、オフを切り替えるための操作信号をシステム制御部１１０へ送出する。

電源制御部１１３は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などにより構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１１３は、その検出結果及びシステム制御部１１０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１１９を含む各部へ供給する。

電源部１１４は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプターなどからなる。

記録媒体Ｉ／Ｆ１１８は、メモリカードやハードディスクなどの記録媒体１１９とのインターフェースである。

記録媒体１１９は、記録媒体Ｉ／Ｆ１１８により、メモリ１０９に保持された符号化映像データが記録されたり、既に記録されている符号化映像データや付加情報が読み出される。記録媒体１１９はビデオカメラ１００に装着されるメモリカードやハードディスクドライブなどであっても良いし、ビデオカメラ１００に内蔵されたフラッシュメモリやハードディスクドライブであっても良い。

＜ＯＳＤの描画処理＞次に、図２を参照して、本実施形態によるＯＳＤの描画処理について説明する。

図２において、２００、２１０（２２０）、および２３０はそれぞれ、映像処理部１０２、ＧＰＵ１０７、映像出力制御部１０４で生成され、メモリ１０９に描画されるＶＲＡＭデータを示している。

２００は、映像処理部１０２で生成されるＶＲＡＭデータを示しており、撮像部１０１で撮像された映像データ、または記録媒体１１９から読み出され、メモリ１０９に一時的に記憶された符号化映像データをコーデック１０３で復号したものである。なお、映像データは、ＰＣなどの外部装置から取得したものであっても良い。図２では、３人の被写体が並んだ映像が例示されている。

２０１および２０２は、映像出力部１０５から出力されるＶＲＡＭデータおよびコーデック１０３で符号化されたＶＲＡＭデータであり、映像処理部１０２から出力され、メモリ制御部１０８を介してメモリ１０９に描画される。ＶＲＡＭデータ２０１および２０２は、撮像部１０１で生成された映像データを、映像出力部１０５からの出力またはメモリ１０９への描画に適した解像度にリサイズしたものである。

ＶＲＡＭデータ２０３および２０４は、映像出力制御部１０４から表示部１０６に出力される映像データであり、映像処理部１０２から出力され、メモリ制御部１０８を介してメモリ１０９に描画される。ＶＲＡＭデータ２０３および２０４は、ＶＲＡＭデータ２０１および２０２を表示部１０６での表示に適した解像度にリサイズしたものである。

ＶＲＡＭデータ２０１と２０２、ＶＲＡＭデータ２０３と２０４はそれぞれバンクを構成しており、映像処理部１０２からの映像データの書き込みと、映像出力制御部１０４への映像データの読み出しが交互に行われる。また、上記書き込み処理と読み出し処理が衝突しないように制御される。

２１０は、ＧＰＵ１０７のレンダラで生成されるＧＵＩ画面（重畳用画面）のＶＲＡＭデータを示している。２１１は、レンダラからメモリ１０９に描画されるＧＵＩ画面を示している。図２では、８つのボタンが配置されたＧＵＩ画面が例示されている。このＧＵＩが後述する制御により表示部１０６に表示されたときに、ユーザによるボタンへのタッチ操作がタッチパネル１１１により検出され、システム制御部１１０へイベントが通知されると、ビデオカメラ１００に対して各種指示が与えられる。なお、ＧＵＩデータ２１１の周辺領域の矩形２１１ａは説明の便宜のために示したものであり、実際は描画されない。

２２０は、ＧＰＵ１０７のミキサで生成されるＶＲＡＭデータを示している。ミキサはメモリ制御部１０８からＧＵＩ画面データ２１１を入力して、ＶＲＡＭデータ２２１、２２２、２２３および２２４を出力する。

２２１および２２２は、映像出力部１０５から出力される映像データおよびコーデック１０３により圧縮符号化するためのＶＲＡＭデータであり、メモリ制御部１０８を介してメモリ１０９に書き込まれる。ＶＲＡＭデータ２２１および２２２はＶＲＡＭデータ２１１と同一の内容を表しているが、映像出力部１０５への出力に適した色変換処理が行われている。また、レンダラが２枚のＶＲＡＭデータを描画していれば、それら２枚をレイヤとして重畳した結果を、ＶＲＡＭデータ２２１および２２２として出力することもできる。

２２３および２２４は、表示部１０６に出力されるＶＲＡＭデータであり、メモリ制御部１０８を介してメモリ１０９に描画される。ＶＲＡＭデータ２２３および２２４はＶＲＡＭデータ２１１の矩形２１１ａの周辺領域をトリミングしたものであり、表示部１０６での表示に適したリサイズ処理および色変換処理が行われている。また、レンダラにより２枚のＶＲＡＭデータが描画されている場合には、それら２枚をレイヤとして重畳した結果を、ＶＲＡＭデータ２２３および２２４として出力することもできる。なお、表示する画面のアスペクトや解像度、ビデオカメラ１００の動作モードによっては、ＶＲＡＭデータ２１１をトリミングせずにリサイズだけを行っても構わない。その場合のＶＲＡＭデータは２２５のようになる。ＶＲＡＭデータ２２３および２２４の文字やアイコンは、ＶＲＡＭデータ２２５よりも大きく表示される。

ＶＲＡＭデータ２２１と２２２、ＶＲＡＭデータ２２３と２２４はそれぞれバンクを構成しており、ＧＰＵ１０７のミキサによる書き込みと、映像出力制御部１０４による読み出しが交互に行われ、書き込み処理と読み出し処理が衝突しないように制御される。

なお、ＶＲＡＭデータ２２１、２２２、２２３、２２４、２２５は、いずれもＧＵＩを構成する画素ごとに透過度情報（αチャネル）を備えている。図２の例では、ボタンとして囲まれた領域は不透過であり、それ以外の領域は全透過になっている。

２３０は、映像出力制御部１０４から出力される重畳映像を示している。映像出力制御部１０４はメモリ制御部１０８を介してＶＲＡＭデータ２０１または２０２と、ＶＲＡＭデータ２２１または２２２を重畳したが外部出力用の映像データ２３１を出力する。同様にメモリ制御部１０８を介してＶＲＡＭデータ２０３または２０４と、ＶＲＡＭデータ２２３または２２４を重畳した表示用の映像データ２３２を出力する。

２３１は、映像出力部１０５から出力される映像出力部１０５に出力される重畳映像を示しており、ＶＲＡＭデータ２０１または２０２にＶＲＡＭデータ２２１または２２２を重畳して生成されたものである。重畳映像２３１は、ＶＲＡＭデータ（映像）２０１または２０２に対してＶＲＡＭデータ（ＧＵＩ画面）２２１または２２２の全領域を重畳して構成されている。そして、ＶＲＡＭデータ２２１または２２２の全透過の領域にＶＲＡＭデータ２０１または２０２の内容が見える状態となっている。

２３２は、表示部１０６に出力され表示される重畳映像を示しており、ＶＲＡＭデータ２０３または２０４にＶＲＡＭデータ２２３または２２４を重畳して生成されたものである。重畳映像２３２は、ＶＲＡＭデータ（映像）２０３または２０４に対してＶＲＡＭデータ（ＧＵＩ画面）２２３または２２４の全領域より狭い一部領域をリサイズして重畳したものである。そして、ＶＲＡＭデータ２２３または２２４の全透過の領域にＶＲＡＭデータ２０３または２０４の内容が見える状態となっている。

２３３は、重畳映像２３２の上下にレターボックス（黒帯）２３３ａが適用された重畳映像を示している。表示部１０６の画面のアスペクトが重畳映像２３２と異なる場合は、映像出力制御部１０４が、レターボックスを適用することによりアスペクトを合わせた映像データ２３３を出力する。この場合、重畳映像２３３の有効表示範囲は表示部１０６の表示能力の全てを利用できないため、表示する文字やアイコンがより潰れやすくなっている。

このように、映像出力制御部１０４は、ＶＲＡＭデータ（映像）２０１または２０２に対してＶＲＡＭデータ（ＧＵＩ画面）２２１または２２２の全領域を重畳した重畳映像を生成して映像出力部１０５に出力する。また、映像出力制御部１０４は、ＶＲＡＭデータ（映像）２０３または２０４に対してＶＲＡＭデータ（ＧＵＩ画面）２２３または２２４の全領域より狭い一部領域をリサイズして重畳した重畳映像を生成して表示部１０６に出力する。

以下に、図３を参照して、本実施形態のビデオカメラ１００が実行する、図２で説明したＯＳＤの描画処理について説明する。なお、図３の処理は、不揮発性メモリ１１５に格納されたプログラムをシステムメモリ１１６に展開してシステム制御部１１０が実行することにより実現する。また、システム制御部１１０は、不揮発性メモリ１１５に格納されたプログラムに含まれるＯＳの機能によって、３つのタスクを並列に行う。図３（ａ）〜（ｃ）は、各タスクに対応した処理を示している。

まず、図３（ａ）の映像データの描画処理について説明する。図３（ａ）は、ＶＲＡＭデータ２０１、２０２およびＶＲＡＭデータ２０３、２０４を逐次作成し、そのアドレスを後段の制御へ通知するタスクを示している。

ステップＳ３００１では、システム制御部１１０は、映像フレームの同期周期が経過したか否かを判定する。同期周期は、映像処理部１０２の動作周期に基づいて決定され、システムタイマ１１７からシステム制御部１１０へ割り込みで通知される。

ステップＳ３００２では、システム制御部１１０は、新たな映像フレームを書き込むべきＶＲＡＭアドレスを決定する。ＶＲＡＭアドレスは、ＶＲＡＭデータ２０１または２０２のアドレス、ならびにＶＲＡＭデータ２０３または２０４のアドレスの２つであり、映像出力制御部１０４から映像データの出力が行われていないＶＲＡＭアドレスが選択される。

ステップＳ３００３では、システム制御部１１０は、ステップＳ３００２で決定した書き込み先ＶＲＡＭアドレスへ、映像処理部１０２で処理された映像データを書き込むようにメモリ制御部１０８を制御する。映像処理部１０２に入力される映像データは、撮影モード中は撮像部１０１で撮像された映像データであり、再生モード中はコーデック１０３で復号された映像データである。

ステップＳ３００４では、システム制御部１１０は、ステップＳ３００３で映像データの書き込みを完了し、読み出し可能となったＶＲＡＭアドレスを、映像出力制御部１０４へ通知する。

次に、図３（ｂ）のＧＵＩデータの描画処理について説明する。図３（ｂ）は、ＧＰＵ１０７のレンダラがＶＲＡＭデータ２１１を描画し、ミキサがＶＲＡＭデータ２１１からＶＲＡＭデータ２２１、２２２およびＶＲＡＭデータ２２３、２２４を逐次生成し、書き込み先のＶＲＡＭアドレスを後段の制御へ通知するタスクを示している。

ステップＳ３１０１では、システム制御部１１０は、表示すべきＧＵＩ画面の状態を決定する。ＧＵＩ画面状態とは、画面レイアウト、画面内の各表示要素の色や形状や表現内容、表示／非表示状態と、さらには描画順序を含んだ状態を含む。

ステップＳ３１０２では、システム制御部１１０は、ステップＳ３１０１で決定したＧＵＩ画面状態を、ＶＲＡＭデータ２１１に描画するようにＧＰＵ１０７のレンダラを制御する。ＧＵＩ画面状態によっては、ＶＲＡＭデータ２１１は複数のＶＲＡＭデータから構成される。本実施形態では、映像出力制御部１０４が、映像出力部１０５と表示部１０６の２系統へ重畳映像データを出力するにもかかわらず、ステップＳ３１０１でのＧＵＩ画面状態の決定処理およびステップ３１０２での描画処理は１回だけ行えば良い。そのため、システム制御部１１０およびＧＰＵ１０７のレンダラでの処理に要するリソースを効率よく利用することができる。

ステップＳ３１０３では、システム制御部１１０は、ステップＳ３１０２で描画したＶＲＡＭデータの内容を、映像出力制御部１０４へ出力するための書き込み先ＶＲＡＭアドレスを決定する。ＶＲＡＭアドレスは、ＶＲＡＭデータ２２１または２２２のアドレスおよび、ＶＲＡＭデータ２２３または２２４のアドレスであり、映像出力制御部１０４から映像データの出力が行われていないＶＲＡＭアドレスが選択される。

ステップＳ３１０４では、システム制御部１１０は、ステップＳ３１０３で決定したＶＲＡＭデータ２２１または２２２の書き込み先ＶＲＡＭアドレスへ、ＧＰＵ１０７のミキサで生成されたＶＲＡＭデータを書き込むようにメモリ制御部１０８を制御する。ＧＰＵ１０７のミキサに入力されるＶＲＡＭデータは、ステップ３１０３でＧＰＵ１０７のレンダラが描画したＶＲＡＭデータ２１１である。

ステップＳ３１０５では、システム制御部１１０は、ＧＰＵ１０７のミキサでＶＲＡＭデータ２２３または２２４を生成する際に、トリミング処理を行うか否か判定し、行う場合にはステップＳ３１０６へ進み、行わない場合にはステップＳ３１０７に進む。ここで、表示部１０６のように視野率が１００％であることがわかっている場合にはトリミングを行うと判定し、ＶＲＡＭデータ２１１の周辺領域２１１ａを削除するようにトリミングして表示部１０６の画面に合わせてリサイズ（拡大）したＧＵＩ画面を表示する。これにより、表示部１０６の画面全体を使って文字やアイコンなどを大きく表示することができる。一方、外部モニタのように視野率が不明な場合や視野率が１００％を下回って周辺領域が見えなくなる可能性がある場合や表示部１０６と全く同じ映像を外部モニタに出力したい場合には、ＶＲＡＭデータ２１１の周辺領域２１１ａをトリミングせずにＧＵＩ画面を出力する。これにより、外部モニタで表示されたときに周辺領域が見えなくなってもＧＵＩの構成要素が欠けて見えることがなくなる。

ステップＳ３１０６では、システム制御部１１０は、ＧＰＵ１０７のミキサによりＶＲＡＭデータ２１１に対してトリミング処理およびリサイズ処理を行う。また、システム制御部１１０は、処理されたＶＲＡＭデータ２２３または２２４を、ステップＳ３１０３で決定したＶＲＡＭデータ２２３または２２４の書き込み先ＶＲＡＭアドレスへ書き込むようにメモリ制御部１０８を制御する。

ステップＳ３１０７では、システム制御部１１０は、ＧＰＵ１０７のミキサによりＶＲＡＭデータ２１１に対してトリミング処理は行わずリサイズ処理を行う。また、システム制御部１１０は、処理されたＶＲＡＭデータ２２１または２２２を、ステップＳ３１０３で決定したＶＲＡＭデータ２２１または２２２の書き込み先ＶＲＡＭアドレスへ書き込むようにメモリ制御部１０８を制御する。

ステップＳ３１０８では、システム制御部１１０は、ステップＳ３１０４ならびにＳ３１０６またはＳ３１０７で処理され、読み出しが可能となったＶＲＡＭアドレスを映像出力制御部１０４へ通知する。

次に、図３（ｃ）のＯＳＤ画面の描画処理について説明する。図３（ｃ）は、図３（ａ）および（ｂ）での各処理によって生成されたＶＲＡＭデータを映像出力制御部１０４により出力するタスクを示している。

ステップＳ３２０１では、システム制御部１１０は、映像フレームの同期周期が経過したか否かを判定する。同期周期は、映像出力制御部１０４から、映像出力部１０５、表示部１０６およびコーデック１０３へ出力する映像データの規格に基づいて決定する。同期周期はシステムタイマ１１７からシステム制御部１１０へ割り込みで通知される。

ステップＳ３２０２では、システム制御部１１０は、映像出力制御部１０４で読み出すＶＲＡＭのアドレスを取得する。このＶＲＡＭアドレスは、ステップＳ３００４およびＳ３１０８で通知されたアドレスである。

ステップＳ３２０３では、システム制御部１１０は、ステップＳ３２０２で取得したＶＲＡＭアドレスからＶＲＡＭデータを読み出すように映像出力制御部１０４を制御する。

ステップＳ３２０４では、システム制御部１１０は、ステップＳ３２０３で読み出したＶＲＡＭデータを重畳した重畳映像データ２１３または２３２を、映像出力部１０５、表示部１０６およびコーデック１０３へ（同時に）出力するように映像出力制御部１０４を制御する。また、システム制御部１１０は、外部モニタや表示部１０６のアスペクトがステップＳ３２０３で読み出したＶＲＡＭデータのアスペクトと異なっている場合には、本ステップでレターボックスやサイドブラックを適用した重畳映像データ２３３を生成する処理も行う。

＜ＯＳＤ画面＞次に、図４から図８を参照して、ビデオカメラ１００の様々な動作状態における、表示部１０６や外部モニタに表示されるＯＳＤ画面について説明する。

ステップＳ３１０１にて決定されたＯＳＤ画面状態に応じて、図３で生成される映像データやＧＵＩデータやＯＳＤ画面データに対してトリミング処理やリサイズ処理を行うことにより、以下のような各種画面に適用することができる。なお、以下では、表示部１０６のアスペクトが４：３、外部モニタのアスペクトが１６：９の場合を例示しているが、本発明はこれに限られず、その他のアスペクトの組み合わせにも適用可能である。

図４（ａ）は、動画再生モードにおける動画再生中に表示部１０６に表示されるＯＳＤ画面を例示している。４１０１ａ〜４１１４ａはいずれもＶＲＡＭデータ２２３または２２４により表されるＧＵＩの構成要素である。４１０１ａ〜４１１１ａはボタンであり、ユーザによるタッチ操作を受け付ける領域と、ボタンに割り当てられた機能が表示される。４１１２ａ〜４１１４ａはそれぞれ再生中の動画の情報や再生状態を示すＧＵＩの構成要素である。

４１１５ａは、ＶＲＡＭデータ２０３もしくはＶＲＡＭデータ２０４に相当する被写体映像である。被写体映像４１１５ａのアスペクトは１６：９であるため、被写体映像４１１５ａは映像出力制御部１０４において表示部１０６の中央１６：９の領域に配置され、上下の余白にはレターボックス（黒帯）が適用されている。ＧＵＩの構成要素４１０１ａ〜４１１４ａは、ＧＰＵ１０７のミキサによってＶＲＡＭデータ２２３または２２４の周辺領域がトリミングされている。

図４（ｂ）は、動画再生モードにおける動画再生中にて外部モニタに表示されるＯＳＤ画面を例示している。４１０１ｂ〜４１１４ｂはいずれもＶＲＡＭデータ２２１または２２２により表されるＧＵＩの構成要素であり、それぞれ４１０１ａ〜４１１４ａと同一の内容が表示されている。

４１１５ｂは、ＶＲＡＭデータ２０１または２０２に相当する被写体映像であり、４１１５ａと同一の内容が画面全体に表示されている。また、トリミングされていないため、図４（ａ）と比べると被写体映像４１１５ｂに対するＧＵＩの構成要素４１０１ｂ〜４１１４ｂの大きさがやや小さく表示される。また、外部モニタによってオーバースキャンされてもＧＵＩの構成要素が欠けることがないようにＯＳＤ画面の周辺領域に余白が確保される。

図５（ａ）は、静止画再生モードにおける静止画表示中に表示部１０６に表示されるＯＳＤ画面を例示している。５２０１ａ〜５２０８ａはいずれもＶＲＡＭデータ２２３または２２４により表されるＧＵＩの構成要素である。５２０１ａ〜５２０５ａはボタンであり、ユーザによるタッチ操作を受け付ける領域と、ボタンに割り当てられた機能が表示される。５２０６ａ〜５２０８ａはそれぞれ再生中の静止画の情報を示すＧＵＩの構成要素である。５２０９ａは、ＶＲＡＭデータ２０３または２０４に相当する被写体映像である。

静止画のアスペクトは４：３であるため、被写体映像５２０９ａは表示部１０６の画面全体に配置されている。ＧＵＩの構成要素５２０１ａ〜５２０８ａも同様に、表示部１０６の画面全体に表示されるように、ＶＲＡＭデータ２１１の横幅を縮小して４：３のアスペクトに合わせたものに対して、ＧＰＵ１０７のレンダラで描画を行っている。ＧＰＵ１０７のミキサで行うリサイズ処理は、図４（ａ）と比べて縮小率が小さくなるので、トリミングを行わなくてもＧＵＩの構成要素を大きく表示することができる。

図５（ｂ）は、静止画再生モードにおける静止画表示中に外部モニタに表示されるＯＳＤ画面を例示している。５２０１ｂ〜５２０８ｂはいずれもＶＲＡＭデータ２２１または２２２により表されるＧＵＩの構成要素であり、それぞれ５２０１ａ〜５２０８ａと同一の内容が表示されている。

５２０９ｂは、ＶＲＡＭデータ２０１または２０２に相当する被写体映像であり、５２０９ａと同一の内容が表示されている。

被写体映像５２０９ｂおよびＧＵＩの構成要素５２０１ｂ〜５２０８ｂは、映像出力制御部１０４によって外部モニタの中央４：３の領域に配置され、左右の余白にはサイドブラック（黒帯）が適用されている。また、外部モニタによってオーバースキャンされてもＧＵＩの構成要素が欠けることがないようにＯＳＤ画面の周辺領域に余白が確保される。

図６（ａ）は、動画再生モードにおける動画一覧表示中に表示部１０６に表示されるＯＳＤ画面を例示している。６３０１ａ〜６３１２ａはいずれもＶＲＡＭデータ２２３または２２４により表されるＧＵＩの構成要素である。６３０１ａ〜６３０５ａはボタンであり、ユーザによるタッチ操作を受け付ける領域と、ボタンに割り当てられた機能が表示される。６３０６ａ〜６３１１ａはそれぞれ動画の一シーンを示すムネイルであり、ユーザによるタッチ操作を受け付けて、選択されたシーンを再生するためのＧＵＩの構成要素である。６３１２ａは、表示中のサムネイル６３０６ａ〜６３１１ａが示す動画シーンのデータが格納された記録媒体１１９のディレクトリを表示するＧＵＩの構成要素である。この動画一覧画面では、ＧＵＩの構成要素６３０１ａ〜６３１２ａが画面全体を覆い隠しているため、被写体映像は露出していない。

サムネイルをできるだけ大きく表示するため、ＧＵＩの構成要素６３０１ａ〜６３１２ａは表示部１０６全体に配置されている。ＧＵＩの構成要素は、ＶＲＡＭデータ２１１の縦長を拡大して４：３のアスペクトに合わせたものに対して、ＧＰＵ１０７のレンダラで描画を行っている。ＧＵＩの構成要素は、ＧＰＵ１０７のミキサによってＶＲＡＭデータの周辺領域がトリミングされて表示されている。

図６（ｂ）は、動画再生モードにおける動画一覧表示中に外部モニタに表示されるＯＳＤ画面を例示している。６３０１ｂ〜６３１１ｂはいずれもＶＲＡＭデータ２２１または２２２により表されるＧＵＩの構成要素であり、それぞれ６３０１ａ〜６３１１ａと同一の内容を表示している。ＧＵＩの構成要素は、映像出力制御部１０４によって外部モニタの中央４：３の領域に配置され、左右の余白にはサイドブラック（黒帯）が適用されている。外部モニタによってオーバースキャンされてもＧＵＩの構成要素が欠けることがないようにＯＳＤ画面の周辺領域に余白が確保されている。

図７（ａ）は、文字入力を行うキーボード表示中に表示部１０６に表示されるＯＳＤ画面を例示している。７４０１ａ〜７４０４ａはいずれもＶＲＡＭデータ２２３または２２４により表されるＧＵＩの構成要素である。７４０１ａ〜７４０２ａはボタンであり、ユーザによるタッチ操作を受け付ける領域と、ボタンに割り当てられた機能が表示される。７４０３ａに囲まれた各ボタンはそれぞれキーボードのキーボタンであり、ユーザによるタッチ操作を受け付けて、入力中の文字列の操作を実行するためのＧＵＩの構成要素である。７４０４ａは、入力中の文字列を示すＧＵＩの構成要素である。このキーボード画面では、ＧＵＩの構成要素７４０１ａ〜７４０４ａが画面全体を覆い隠しているため、被写体映像は露出していない。

キーボード画面は、ＧＵＩの構成要素が多く、かつ文字の視認性が重視される。このため、ＧＵＩの構成要素７４０１ａ〜７４０４ａは、１６：９のＶＲＡＭデータ２１１に対して描画され、ＧＰＵ１０７のミキサによって縦方向に拡大および周辺領域のトリミングが行われ、表示部１０６の画面全体に表示されている。この場合、ＧＵＩの構成要素の縦横の比率がレンダリング時と表示時で異なって表示されるが、キーボード画面には縦横比が表示品位に大きく影響するような画像や図形は含まれていないので、特に不都合なく、文字を大きく表示することができる。

図７（ｂ）は、文字入力を行うキーボード表示中に外部モニタに表示されるＯＳＤ画面を例示している。７４０１ｂ〜７４０４ｂはいずれもＶＲＡＭデータ２２１または２２２により表されるＧＵＩの構成要素であり、それぞれ７４０１ａ〜７４０４ａと同一の内容が表示されている。ＧＵＩの構成要素は、映像出力制御部１０４によって外部モニタの画面全体に配置されている。図７（ｂ）では、ＧＵＩの構成要素の縦横の比率はレンダリング時と表示時とで一致する。また、トリミング処理が行われていないため、図７（ａ）と比べると映像に対するＧＵＩの構成要素の大きさがやや小さく表示される。また、外部モニタによってオーバースキャンされてもＧＵＩの構成要素が欠けることがないようにＯＳＤ画面の周辺領域に余白が確保されている。

図８（ａ）は、タッチパネル１１１上をドラッグした軌跡（キャンバス）を動画に重畳して記録するデコレーション編集モードにおいて表示部１０６に表示されるＯＳＤ画面を例示している。８５０１ａはキャンバスに描かれた図柄である。８５０１ａはＧＵＩの構成要素ではないが、８５０２ａ〜８５０８ａと同様に、ＧＰＵ１０７のレンダラでＶＲＡＭデータ２１１に対して描画され、ＶＲＡＭデータ２２３または２２４により表示される。８５０２ａ〜８５０８ａはいずれもＶＲＡＭデータ２２３または２２４により表示されるＧＵＩの構成要素である。８５０２ａ〜８５０６ａはボタンであり、ユーザによるタッチ操作を受け付ける領域と、ボタンに割り当てられた機能が表示される。８５０７ａは、動画の記録状態を示すＧＵＩの構成要素である。８５０８ａは、キャンバスとしてドラッグ操作を受け付ける領域を示すためのＧＵＩの構成要素である。８２０９ａは、ＶＲＡＭデータ２０３または２０４に相当する被写体映像である。

デコレーション編集画面では、表示部１０６と外部モニタのいずれにおいても、被写体映像とキャンバスの重なり位置が等しく見えるように表示する必要がある。そのため、ＧＰＵ１０７のミキサはトリミングを行わない。被写体映像８５０７ａ、ＧＵＩの構成要素８５０２ａ〜８５０８ａ、キャンバス８５０１ａは、映像出力制御部１０４によって表示部１０６の中央１６：９の領域に重畳して配置され、上下の余白にはレターボックス（黒帯）が適用されている。

図８（ｂ）は、デコレーション編集モードにおいて外部モニタに表示されるＯＳＤ画面を例示している。８５０１ｂは、ＶＲＡＭデータ２２１または２２２により表されるキャンバスであり、８５０１ａと同一の内容が表示されている。８５０９ｂは、ＶＲＡＭデータ２０１または２０２に相当する被写体映像であり、８５０９ａと同一の内容が表示されている。

デコレーション編集画面は、ユーザが表示部１０６に表示中の映像を閲覧しながらタッチパネル１１１により操作を行うことが前提となっており、外部モニタは第三者の閲覧用と特定できる。そのため、外部モニタにはＧＵＩの構成要素は重畳せず、被写体映像およびキャンバスのみを重畳表示している。被写体映像およびキャンバスは、外部モニタの画面全体に重畳して配置されており、表示部１０６による表示と、被写体映像とキャンバスの重なり位置が等しく見えるように制御されている。

なお、上述したデコレーション編集画面の他に、顔枠を表示するモードのように、被写体映像との相対位置が重要な場合においてもトリミングを行わないようにすることで同様の効果が得られる。

以上説明したように、本実施形態によれば、表示部（液晶パネル）と外部モニタのいずれにおいても被写体映像の視野率は１００％を満足し、かつＧＵＩの構成要素を比較的大きく表示することができる。具体的には、表示部と外部モニタに同時にＯＳＤ画面を出力する場合に、表示部のＧＵＩ画面を従来よりも縦横約１０％拡大することができる。これにより、小型のビデオカメラや、画素数の少ない液晶パネルを搭載したビデオカメラであっても、文字やアイコンが視認しやすく、画素数不足による潰れも改善することができる。

また、表示部と映像のアスペクトが異なる場合にも、液晶パネルの画素をできる限り有効活用して文字やアイコンを表示することができる。また、外部モニタに必要な画面の周辺領域のマージンを確保しつつ、表示部では画面全体を利用して表示することができ、ＧＵＩのレイアウトデザイン上の制約を回避することができる。

さらに、一度の描画処理で表示部用のＯＳＤと外部モニタ用のＯＳＤを描画できるため、描画処理を効率よく行うことができ、タイムコード等のリアルタイム表示も実現しやすくなる。

なお、システム制御部１１０の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をデジタルビデオカメラなどの撮像装置に適用した場合を例にして説明したが、本発明はこの例に限定されず、例えば、映像とＧＵＩとを重畳したＯＳＤ画面を合成し表示できる装置であれば適用可能である。すなわち、本発明はパーソナルコンピュータやＰＤＡ、携帯電話端末や携帯型の画像ビューワ、ディスプレイを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (11)

1. 映像を取得する第１の取得手段と、
   前記映像に重畳するための重畳用画面を取得する第２の取得手段と、
   前記第１の取得手段により取得した映像に対して、前記重畳用画面の全領域を重畳した重畳映像を出力する第１の処理と、前記第１の取得手段により取得した映像に対して、前記重畳用画面の全領域より狭い一部領域をリサイズして重畳した重畳映像を出力する第２の処理とを実行する出力制御手段と、を有することを特徴とする映像出力装置。
2. 前記出力制御手段により出力された重畳映像を表示する表示手段と、
   外部装置が接続可能であり、前記第２の処理により出力された重畳映像を前記外部装置に出力する外部出力手段と、
   前記重畳映像を符号化して記録する記録手段と、を有し、
   前記出力制御手段は、前記重畳映像を前記表示手段、前記外部装置、および前記記録手段へ同時に出力するように制御することを特徴とする請求項１に記載の映像出力装置。
3. 前記重畳用画面を描画すると共に、前記第２の処理において前記重畳用画面の周辺領域をトリミングするレンダリング手段と、
   前記重畳用画面に対して前記トリミングを行うか判定する判定手段と、をさらに有することを特徴とする請求項２に記載の映像出力装置。
4. 前記レンダリング手段は、前記第１の処理で重畳される重畳用画面に対してはトリミングを行わず、前記第２の処理で重畳される重畳用画面に対してはトリミングを行うことを特徴とする請求項３に記載の映像出力装置。
5. 前記出力制御手段は、前記第１の処理により生成される重畳映像を前記外部出力手段を介して前記外部装置へ出力し、
   前記第２の処理により生成される重畳映像を前記表示手段に出力することを特徴とする請求項２ないし４のいずれか１項に記載の映像出力装置。
6. 前記出力制御手段は、前記表示手段または前記外部装置の画面のアスペクトが、前記重畳映像と異なっている場合に、当該重畳映像に余白を設ける処理を行うことを特徴とする請求項２ないし５のいずれか１項に記載の映像出力装置。
7. 前記出力制御手段は、映像を編集するモードにおいては、前記映像に前記重畳用画面を重畳しないように制御することを特徴とする請求項１に記載の映像出力装置。
8. 前記映像出力装置は、被写体像を撮像して映像データを生成する撮像装置であることを特徴とする請求項１ないし７のいずれか１項に記載の映像出力装置。
9. 映像を取得する第１の取得ステップと、
   前記映像に重畳するための重畳用画面を取得する第２の取得ステップと、
   前記第１の取得ステップにより取得した映像に対して、前記重畳用画面の全領域を重畳した重畳映像を出力する第１の処理と、前記第１の取得ステップにより取得した映像に対して、前記重畳用画面の全領域より狭い一部領域をリサイズして重畳した重畳映像を出力する第２の処理とを実行する出力制御ステップと、を有することを特徴とする映像出力装置の制御方法。
10. コンピュータを、請求項１ないし８のいずれか１項に記載された映像出力装置の各手段として機能させるプログラム。
11. コンピュータを、請求項１ないし８のいずれか１項に記載された映像出力装置の各手段として機能させるプログラムを格納した記憶媒体。

Images