JP2021034865A - 表示制御装置およびその制御方法 - Google Patents

Abstract

【課題】 本発明の目的は、アナモフィックを使用した動画の撮影中に、記録のフレームレートが早くなっても、撮影した画像の表示をすることのできる表示制御装置を提供することである。【解決手段】 水平方向と垂直方向とで異なる倍率で被写体像が結像された第１の画像データを取得可能な取得手段と、前記画像データの一部を切り出す第１の処理を行った後、前記第１の処理を行った第２の画像データが所定のアスペクト比となるように表示画像を生成する第１のリサイズと、前記第１の画像データに対して前記第１の処理を行わずにリサイズを行う第２のリサイズとが実行可能な表示制御手段と、動画の記録設定が所定の条件を満たす場合には、前記第１のリサイズを行い、動画の記録設定が前記所定の条件を満たさない場合には、前記第２のリサイズを行うように制御する制御手段とを有することを特徴とする。【選択図】 図６

Description

本発明は、アナモフィックレンズを使用して撮影された画像を表示する際の技術に関するものである。

アナモフィックレンズとは、撮影時に横方向に圧縮された状態の画像を取得するためのレンズである。アナモフィックレンズを使用して撮影された画像はポストプロセス時などで横方向に画像を伸ばすような表示処理を行うことで、もともとの被写体に近い見た目の画像を得ることができる。特許文献１では、圧縮された画像の一部を切り出して、縦方向と横方向とで異なる倍率での変倍処理を行うことが開示されている。また、記録するフレームレートを変更する撮影の方法がある。特許文献２では、ユーザが記録するフレームレートと再生するフレームレートを設定可能であることが開示されている。

特開２０１８−３７８５９号公報 特開２０１６−１１６１３３号公報

特許文献１のように、アナモフィックレンズを使用して撮影された画像の一部に対して変倍処理を行う場合には、撮像した画像の入力にかかる時間と、表示のための書き込みにかかる時間とが異なることがある。特許文献２のように、記録のフレームレートが短くなると、表示のための書き込みが間に合わなくなってしまう可能性がある。

本発明は、上記の課題に鑑み、アナモフィックを使用した動画の撮影中に、記録のフレームレートが早くなっても、撮影した画像の表示をすることのできる表示制御装置を提供することを目的とする。

上記目的を達成するために、本発明の表示制御装置は、水平方向と垂直方向とで異なる倍率で被写体像が結像された第１の画像データを取得可能な取得手段と、前記第１の画像データの一部を切り出す第１の処理を行った後、前記第１の処理を行った第２の画像データが所定のアスペクト比となるように表示画像を生成する第１のリサイズと、前記第１の画像データに対して前記第１の処理を行わずにリサイズを行う第２のリサイズとが実行可能な表示制御手段と、動画の記録設定が所定の条件を満たす場合には、前記第１のリサイズを行い、動画の記録設定が前記所定の条件を満たさない場合には、前記第２のリサイズを行うように制御する制御手段とを有することを特徴とする。

本発明によれば、アナモフィックを使用した動画の撮影中に、記録のフレームレートが早くなっても、撮影した画像の表示をすることができる。

本実施形態におけるビデオカメラの構成図。 本実施形態における第１のデスクイーズ処理における画像データの流れを示した図。 本実施形態における第１のデスクイーズ処理における表示制御について説明するための図。 本実施形態における第２のデスクイーズ処理における画像データの流れを示した図。 本実施形態における第２のデスクイーズ処理における表示制御について説明するための図。 本実施形態における表示処理を示すフローチャート。 本実施形態における表示例を説明するための図。 本実施形態において４Ｋ６０ｆｐｓの時の表示に関する図。 本実施形態におけるフレーム表示に関する図。

以下、図面を参照して本発明の好適な実施形態を説明する。

図１は、本発明の表示制御装置の一例としてのビデオカメラ１００の外観構成の一例を示す図である。

ビデオカメラ１００は、前面にレンズユニット１０１、側面にユーザー操作部１０９（以下、操作部１０９）、上面にパネル１０７がある。パネル１０７とはビデオカメラ１００の本体に対してそれぞれ取り外しが可能（着脱可能）である。外部出力１１５は、ビデオカメラ１００に対して取り外しができない表示手段を接続するための端子であり、ＨＤＭＩ（登録商標）端子やＳＤＩ端子等である。操作部１０９は、シーソ型のグリップズーム１０９ａ（ズームキー）や、ユーザからの各種操作を受け付ける各種スイッチ、ボタン等を有する操作部材である。操作部１０９には、電源オン、電源オフを切り替えるための電源スイッチ、メニュー画面を表示させるためのメニューボタン、動作モードを切り替え可能なモード切替スイッチ等がある。モード切替スイッチは、ビデオカメラ１００の動作モードを静止画記録モード、動画撮影モード、再生モード等のいずれかに切り替える。

図１（ｂ）は、本実施形態におけるビデオカメラ１００のブロック図を示すものである。レンズユニット１０１は、集光のための固定レンズ群、変倍レンズ群、絞り、変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行う機能とを兼ね備えた補正レンズ群により構成されている。レンズユニット１０１によって、最終的に後述のイメージセンサー１０２（センサー）の結像面上に被写体像が結像される。レンズユニット１０１は、レンズ装着部に装着可能な交換レンズが有する構成であり、装着される交換レンズによっては必ずしも上述のレンズ群とはならない。レンズ装着部には、イメージセンサー１０２上に結像する被写体像を光学的に横方向（水平方向）に２分の１に縮小（スクイーズ）するアナモフィックレンズ（圧縮率が２倍）が装着可能である。また、被写体像を光学的に横方向（水平方向）に１．３分の１に縮小（スクイーズ）するアナモフィックレンズ（圧縮率が１．３倍）なども装着可能である。すなわち、垂直方向に対して水平方向に光学的に被写体像が圧縮された状態で結像される。

真円の被写体をアナモフィックレンズを用いて撮影すると、光学的にスクイーズされて横方向に圧縮されるため、縦長の楕円の被写体としてイメージセンサー１０２上に結像し、撮像される。これをそのまま表示した場合は縦長の楕円被写体として表示されるが、デスクイーズ処理を施すことで、真円に復元して表示することができる。尚、本実施例では、圧縮率が２倍のアナモフィックレンズが装着された場合のデスクイーズ表示について説明するが、その他の倍率のアナモフィックレンズが装着された場合には、切り出し範囲及びデスクイーズの倍率を変更すればよい。アナモフィックレンズを使用して取得された画像データは、アナモレンズの歪みが画像の中央付近と左右端では大きく異なるため、単純に水平伸張すると歪みが出てしまう可能性がある。そこで、歪みの少ない中央の領域を切り出す、もしくは左右端の領域に黒帯をかけて表示（帯表示）をすることでユーザの見やすい画像を表示することができる。

イメージセンサー１０２は、光を電荷に変換し撮像信号を生成する。生成された撮像信号は画像処理部１０３へ出力される。イメージセンサー１０２は、ＣＣＤイメージセンサーやＣＭＯＳイメージセンサーなどの撮像素子である。なお、撮像素子として、撮像面上の全ての画素がそれぞれ一対の受光素子により構成され、各画素においてマイクロレンズにより形成された対の光学像を該一対の受光素子により光電変換できる、いわゆるデュアルピクセルタイプのものを用いてもよい。

画像処理部１０３は、イメージセンサー１０２より入力され取得した撮像信号をＲＡＷデータ（ＲＡＷ画像）に変換する。その後、ＲＡＷデータに対して補間処理や画質調整処理等のＲＡＷ現像処理を行ってＲＡＷデータに対応したＹＵＶ形式の画像データを生成し、ＲＡＭ１１１に格納する。

表示用リサイズ回路１０４は、ＲＡＭ１１１に格納されたＹＵＶ形式の画像データに対して、リサイズ処理や後述するデスクイーズ処理を行い、表示用画像データを生成しＲＡＭ１１１に格納する。

記録用リサイズ回路１０５は、ＲＡＭ１１１に格納されたＹＵＶ形式の画像データに対して、リサイズ処理を行い、記録用画像データを作成しＲＡＭ１１１に格納する。

バス１１６は、ビデオカメラ１００の各ブロックがデータのやり取りを行うためのデータバスであり、ビデオカメラ１００の各ブロックはこのバスを介してデータのやり取りを行う。

オンスクリーンディスプレイ（ＯＳＤ）生成回路１０６は、各種設定メニューやタイトル、時間などのＯＳＤデータをＲＡＭ１１１に格納する。格納されたＯＳＤデータは、ＲＡＭ１１１に格納された表示用画像データと合成され、表示部であるパネル１０７に表示されるたり、外部出力１１５で外部に出力されたりする。

パネル１０７は、液晶パネルや有機ＥＬパネルなどのディスプレイパネルであり、表示用画像データやＯＳＤを表示させるためのものである。

システム制御部１０８は、ビデオカメラ１００全体を制御する。

操作部１０９は、ユーザが操作入力するためのものである。また、操作部１０９には、主としてカメラ撮影を行うためのカメラモードと、主として再生させるための再生モードと、電源オフとするパワーオフモードとを選択するためのスイッチも設けられている。また、グリップズーム１０９ａは撮像画像の表示倍率を変更可能なズームキーである。

ＲＯＭ（Ｒｅａｄ オンｌｙ Ｍｅｍｏｒｙ）１１０は、システム制御部１０８が実行するプログラムなどが格納された不揮発性の記録媒体であり、例えばＦｌａｓｈＲＯＭで構成される。あるいは、記録媒体１１３に格納されたプログラムデータをＲＡＭ１１１にロードし、ＲＯＭとして利用しても構わない。また、ＲＯＭ１１０の一部領域はバックアップ用として、システムの状態などを保持するために使用される。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１１は、システム制御部１０８が作業領域として使用する揮発性メモリである。ＲＡＭ１１１は、システム制御部１０８、画像処理部１０３や圧縮伸張回路１１４などがワークとして使用する揮発性メモリである。

メディア制御部１１２は、圧縮伸張回路１１４で生成され、ＲＡＭ１１１に出力された動画像データをＦＡＴファイルシステムなどコンピュータと互換のあるフォーマットに従って、記録媒体１１３に記録するためのものである。記録媒体１１３は、ビデオカメラ１００から取り外し可能な着脱可能記録媒体であり、ビデオカメラ１００以外にもＰＣ等に装着する事ができる。

圧縮伸張回路１１４は、ＲＡＭ１１１の画像データをＭＰＥＧ圧縮（エンコード）して動画像データを生成し、ＲＡＭ１１１に出力する。

外部出力１１５は、ＨＤＭＩ／ＳＤＩ等の外部出力部であり、画像処理部１０３がＲＡＭ１１１に出力した表示用画像データを外部の表示部１１ａ等に出力するものである。４Ｋ６０Ｐや、２Ｋ６０Ｐ等の信号で表示用画像データを出力する事ができる。

次に、図２、図３を用いて、本実施形態における第１のデスクイーズ処理について説明する。

図２は、ビデオカメラ１００における撮影から表示または記録までの画像データの流れを表したものである。なお、レンズユニット１０１は、縦横で圧縮比が１：２のアナモフィックレンズであるものとして説明をする。

被写体２００は、ビデオカメラ１００が撮像する被写体である。撮像された被写体は、レンズユニット１０１により縦横比が１：２と圧縮された状態でイメージセンサー１０２において画像２０１として結像する。結像し、光電変換された撮像信号は、画像処理部１０３に入力され、ＹＵＶ形式の画像データ２０２として、ＲＡＭ１１１に格納される。ＲＡＭ１１１に格納されたＹＵＶ形式の画像データ２０２は、表示用リサイズ回路１０４により、後述する第１のデスクイーズ処理が行われ表示用画像データ２０３としてＲＡＭ１１１に格納される。格納された表示用画像データ２０３は、外部出力１１５を介してＨＤＭＩ等で外部に出力され、画像２０４が表示される。

また、ＹＵＶ形式の画像データ２０２は、記録用リサイズ回路１０５により記録サイズにリサイズされた記録用画像データ２０５として圧縮伸張回路１１４に入力される。その後、圧縮伸張回路１１４により圧縮され動画像データ２０６として、メディア制御部１１２を介して記録媒体１１３に記録される。

図３は表示用リサイズ回路１０４が行う第１のデスクイーズ処理を説明するための図である。

図３の左側は、表示用リサイズ回路１０４に入力される（表示用リサイズ回路で取得された）ＹＵＶ形式の画像データ２０２の一例を示している。

ＹＵＶ形式の画像データ２０２の幅をＷとし、高さをＨとして説明をする。表示用リサイズ回路１０４は、このＹＵＶ形式の画像データ２０２の幅のうち、画像データの左側から１／４Ｗから３／４Ｗの範囲、かつ、高さＨの範囲である切り出し範囲３０２を切り出して、縦方向と横方向で異なる倍率で変倍処理をする。横方向（幅の変倍率）は縦方向（高さの変倍率）の２倍の倍率で変倍処理をすることで、表示される画像は、元の画像２０１をそのまま表示するよりも横方向が２倍に伸長したように見える。これにより、レンズユニット１０１において、実際の被写体の見え方よりも横方向に圧縮された被写体像が、横方向に２倍に伸長され、もともとの被写体の見え方に近づく。このように、横方向の変倍率を縦方向の変倍率の２倍にするデスクイーズ処理を第１のデスクイーズ処理（第１のリサイズ）とし、生成される画像データは図３の右側にある表示用画像データ２０３のようになる。第１のデスクイーズ処理は表示用リサイズ回路１０４に入力されるＹＵＶ形式の画像データ２０２のうち、入力される画像の幅の１／２を用いて、表示用画像データ２０３を生成する。これは、本実施形態におけるレンズユニット１０１における横方向の圧縮倍率が２倍であるためであり、他の倍率の場合には、切り出し範囲３０２の大きさはこの限りではない。ＹＵＶ形式の画像データ２０２は、水平方向に走査して１ライン毎に表示用リサイズ回路１０４に入力される。この１ラインが表示用リサイズ回路１０４に入る入力時間をＴとすると、切り出し範囲３０２の入力時間は１／２Ｔである。よって、表示用画像データ２０３の１ラインを書き出すための時間も１／２Ｔ以内である必要がある。

入力時間よりも、表示用の画像データの生成にかかる時間が多くなってしまうと、撮像されたタイミングが表示までの時間が長くなったり、撮像された各フレームの画像を表示できなくなってしまう。もしくは、表示用の画像データが途中で切れた状態で出力しなければならなくなる。よって、１／２Ｔの時間で表示用画像データ２０３の１ラインを生成する必要がある。表示用リサイズ回路１０４には性能限界があるため、表示用のデータを生成するための処理に使える時間（すなわち、１／２Ｔの時間）が短くなると、表示用画像データ２０３の生成が間に合わなくなる。

なお、Ｔは、ビデオカメラ１００のフレームレートに依存している（６０ｆｐｓだったら１／６０ｓ、１２０ｆｐｓだったら１／１２０ｓ）。つまり、フレームレートが増加すると、リサイズ処理に使える時間は短くなり、表示のための処理が間に合わなくなる可能性がある。

次に、第２のデスクイーズ処理について、図４を用いて説明する。なお、表示用リサイズ回路１０４に入力されるまでの、画像データの流れは図２と同様なので省略する。

ＲＡＭ１１１に格納されたＹＵＶ形式の画像データ２０２は、表示用リサイズ回路１０４により、後述する第２のデスクイーズ処理（第２のリサイズ）が行われ表示用画像データ４０１としてＲＡＭ１１１に格納される。格納された表示用画像データ４０１は、上下に黒帯が付加された状態で、外部出力１１５を介してＨＤＭＩ等で外部に出力され、画像４０２が表示される。

また、図２と同様に、ＹＵＶ形式の画像データ２０２は、記録用リサイズ回路１０５により記録サイズにリサイズされた記録用画像データ２０５として圧縮伸張回路１１４に入力される。その後、圧縮伸張回路１１４により圧縮され動画像データ２０６として、メディア制御部１１２を介して記録媒体１１３に記録される。

次に、図５を用いて、第２のデスクイーズ処理について説明をする。図５は、表示用リサイズ回路１０４が行う第２のデスクイーズ処理を説明するための図である。

図５の左側は、表示用リサイズ回路１０４に入力されるＹＵＶ形式の画像データ２０２の一例を示している。図３と同様に、ＹＵＶ形式の画像データ２０２の幅をＷとし、高さをＨとして説明をする。表示用リサイズ回路１０４は、このＹＵＶ形式の画像データ２０２の幅Ｗ、高さＨの範囲に対してデスクイーズ処理をかける。このとき、縦方向（垂直方向）と横方向（水平方向）では異なる倍率で変倍処理をするが、図３、４で説明した第１のデスクイーズ処理とは異なり、第２のデスクイーズ処理では縦方向の変倍率を横方向の変倍率の半分にする。縦方向（高さの辺倍率）は横方向（幅の変倍率）の半分の倍率で変倍処理をすることで、表示される画像は、元の画像２０１をそのまま表示するよりも縦方向が圧縮されたように見える。これにより、レンズユニット１０１において、実際の被写体の見え方よりも横方向に圧縮された被写体像が、縦方向に半分に圧縮され、もともとの被写体の見え方に近づく。このように、入力された画像の横方向を切り出しせずに（ＹＵＶ形式の画像データの横方向を切り出しせず）、縦方向を圧縮することで、横方向に圧縮された被写体像をもともとの被写体の見え方に近づける方法を第２のデスクイーズ処理という。このとき、生成される画像データは図５の右側にある表示用画像データ４０１のようになる。ＹＵＶ形式の画像データ２０２と、表示用画像データ４０１とは、横方向への切り出しを行っていないので、１ラインが表示用リサイズ回路１０４に入力される入力時間Ｔを使って、表示画像データ４０１の１ラインを書き出す時間を持つことができる。例えば１９２０ｐｉｘのラインがＴで入力された場合に、第１のデスクイーズ処理を行おうとすると、半分を切り出しするため、１／２Ｔの時間で１９２０ｐｉｘ分の表示用データを書き込む必要がある。第２のデスクイーズ処理においては、１９２０ｐｉｘの１ラインが入力時間Ｔで入力されると、Ｔを使って表示用データを書き込みをすることができる。

ただし、第１のデスクイーズ処理を行ったときよりも、第２のデスクイーズ処理を行って表示される画像は小さくなるため、画像をより大きく表示したいユーザにとっては、第１のデスクイーズ処理の方が第２のデスクイーズ処理よりも画像の視認性は良い。

また、表示用画像データ４０１はそのまま表示されず、図４で上述したように、表示用画像データ４０１に対して、上下に黒帯が付加された状態（サイドブラック処理）の画像４０２が表示される。

次に、図６を用いて、本実施形態における表示処理について説明をする。なお、図６のフローチャートにおける各処理は、ビデオカメラ１００を構成するシステム制御部１０８がＲＡＭ１１１に保存されているプログラムを実行することにより実現される。Ｓ６０１では、システム制御部１０８は、イメージセンサー１０２を制御して、イメージセンサー１０２上に結像した、レンズユニット１０１を介した被写体２００像を、光電変換し撮像信号として、画像処理部１０３に入力する。このとき、レンズユニット１０１を介して得られる被写体像の画像２０１は、実際の被写体よりも横方向に圧縮されたものとなる。

Ｓ６０２では、システム制御部１０８は、画像処理部１０３を制御して、撮像信号をＲＡＷデータ（ＲＡＷ画像）に変換する。その後、ＲＡＷデータに対して補間処理や画質調整処理等のＲＡＷ現像処理を行ってＲＡＷデータに対応したＹＵＶ形式の画像データ２０２を生成し、ＲＡＭ１１１に格納する。図７（ａ）には、ビデオカメラ１００が撮影する被写体２００と、ＹＵＶ形式の画像データを２０２とを示す。被写体２００は、レンズユニット１０１を介すことで、横方向に圧縮された画像データとなる。

Ｓ６０３では、システム制御部１０８は、ビデオカメラ１００の設定がデスクイーズ表示ＯＮ設定かを判定する。デスクイーズ表示ＯＮ設定とは、デスクイーズ処理（第１のデスクイーズ処理、もしくは第２のデスクイーズ処理）を行う（ＯＮ）か、デスクイーズ処理を行わない（ＯＦＦ）かの設定である。この設定は、パネル１０７に表示されたメニュー情報をもとにユーザが操作部１０９を操作して設定できる。デスクイーズ表示ＯＮ設定であると判定された時は、Ｓ６０４に進み、デスクイーズ表示ＯＦＦ設定であると判定された時はＳ６１２に進む。

Ｓ６０４では、システム制御部１０８は、ビデオカメラ１００の撮影設定バリアブルフレームレートモードか否かを判定する。バリアブルフレームレートモードとは、ユーザが操作部１０９を用いて、ビデオカメラ１００の撮像するフレームレートを可変できる撮影モードである。例えば、ユーザが１２０ｆｐｓを設定した際は、ビデオカメラは１２０ｆｐｓで動画の撮影を行い、３０ｆｐｓを設定した際は、３０ｆｐｓでの動画の撮影を行う。また、バリアブルフレームレートでは再生時の再生速度も変更することができる。このように、バリアブルフレームレートでは、動きのある映像をスローで記録したり、自然観察など時間の経過に伴う変化を間欠的に記録（ファスト記録）することができます（Ｓｌｏｗ ＆ Ｆａｓｔモーション）。バリアブルフレームレートモードであると判定された場合は、Ｓ６０５に進み、そうでない場合は、Ｓ６０８に進む。バリアブルフレームレートモードでは、フレームレートが大きい設定になると、あるフレームレートより上のフレームレートにおいては上述した第１のデスクイーズ処理が間に合わなくなる可能性がある。

Ｓ６０５では、システム制御部１０８は、ビデオカメラ１００がバリアブルフレームレートモード設定中のデスクイーズ表示ＯＮ設定かを判定する。バリアブルフレームレートモード設定中のデスクイーズ表示ＯＮ設定は、パネル１０７に表示されたメニュー情報を元にユーザーが操作部１０９を操作して設定することができる。バリアブルフレームレートモード中のデスクイーズ表示ＯＮ設定がされていると判定した場合はＳ６０６に進み、そうでない場合は、Ｓ６０７に進む。Ｓ６０５においては、記録の設定がバリアブルフレームレートモードか否かを判定したが、これに限らず、動画の記録フレームレートが所定以上であることや、動画の解像度が所定以上であるということを所定の条件として、所定の条件が満たした場合にはＳ６０５の判定をＹｅｓとして処理を行ってもよい。

Ｓ６０６、Ｓ６１３では、図７（ｂ）に示す表示のための処理を行う。

Ｓ６０６ではシステム制御部１０８は、第２のデスクイーズ処理を行い、表示用画像データ４０１を生成する。

Ｓ６１３では、システム制御部１０８は、表示用リサイズ回路１０４を制御して、６０６で生成した表示用画像データ４０１に対して、サイドブラック処理を行い、画像４０２を生成し、表示を行う。このサイドブラック処理は、第１のデスクイーズ処理をおこなった表示用画像データ２０３と、画角を合わせるための処理である。ユーザがシネマスコープのアスペクト比で画像を表示したいと設定している場合には、第１のデスクイーズ処理においてシネマスコープのアスペクト比になるように切り出しが行われ、表示がされる。具体的には、リサイズを行った結果、シネマスコープのアスペクト比になるように切り出しが行われる。一方、第２のデスクイーズ処理においては、表示用画像データ４０１には、第１のデスクイーズ処理で表示される範囲外の領域までもが含まれている。また、表示用画像データ４０１のアスペクト比も、第１のデスクイーズ処理による表示用画像データ２０３とは異なる。そのため、Ｓ６１３においては、表示用画像データ４０１の左右にサイドブラックの帯をかける表示処理を行い、表示部１１５ａにおいて、ユーザの設定したアスペクト比、すなわち、シネマスコープのアスペクト比での表示がされるようにする。Ｓ６１３ではさらに、縦縮小しサイドブラック処理をしたことを示す、縮小デスクイーズフラグをＯＮにする。バリアブルフレームレートモードの際に、フレームレートが低い場合には第１のデスクイーズ処理を行っても表示が間に合う場合がある。よって、ある閾値よりも大きなフレームレートの場合には第２のデスクイーズ処理を行い、小さいフレームレートの場合には第１のデスクイーズ処理を行うようにしてもよい。ただし、同じ撮影モードの中でユーザがフレームレートモードを変更したことに応じて、第１のデスクイーズ処理の表示と第２のデスクイーズ処理の表示とが切り替わってしまうと、同じモードの中での画像の視認性が変わってしまう。よって、バリアブルフレームレートモードの時には、フレームレートの設定に関わらず、デスクイーズ表示をする設定がされていれば第２のデスクイーズ処理を行うことで、ユーザの確認するために表示される画像のサイズがころころと変わることなく、安定的に表示することができる。なお、本実施形態においてはシネマスコープのアスペクト比を用いて上述の説明をしたが、これに限らず４：３や１６：９など他のアスペクト比でもよいことは言うまでもない。

Ｓ６０７では、システム制御部１０８は、表示用リサイズ回路１０４を制御してＹＵＶ形式の画像データ２０２より、表示用画像データを生成する。ここでのリサイズは、図７（ｃ）に示すように、縦横比の変換は行わず、表示用画像データ７０４を生成する。

Ｓ６０８からＳ６１０の処理は、バリアブルフレームレートモードではないが、画像解像度が高い場合の表示処理について説明をする。

Ｓ６０８では、システム制御部１０８は、外部出力１１５の出力が画像解像度が４Ｋ、かつ表示のフレームレートが６０ｐ（ｆｐｓ）である状態か、そうでないかを判定する。画像解像度が４Ｋ、かつ表示のフレームレートが６０ｐだった場合はＳ６０９に進み、そうでない場合はＳ６１１に進む。外部出力１１５の出力の設定は、ユーザが設定をしてもよいし、表示部１１５ａの表示能力に応じて押し着せで設定されてもよい。なお、Ｓ６０８における判定の基準となる画像解像度とフレームレートとは、デジタルカメラ１００の性能によるものであり、本実施形態で説明した４Ｋ、６０ｐに限らず、８Ｋや１６Ｋ、１２０ｐなどでもよい。また、後述するダウンコンバートも２Ｋ、６０Ｐに限らない。

Ｓ６０９では、システム制御部１０８は外部出力１１５を制御して、外部出力１１５の出力を画像解像度が２Ｋ、かつ表示のフレームレートを６０ｆｐｓに切り替える。

Ｓ６１０では、システム制御部１０８は、表示用リサイズ回路１０４を制御して、ＹＵＶ形式の画像データ２０２に対して、縦縮小を行った後、中央部を切り出し表示用画像データを生成する。ここで図８を用いて、Ｓ６１０における表示用画像データの生成について説明する。

図８（ａ）には、表示用リサイズ回路１０４に入力されるＹＵＶ形式の画像データ２０２を示す。ＹＵＶ形式の画像データ２０２に対して、表示用リサイズ回路１０４を用いて、縦１／２倍に圧縮を行う。図８（ｂ）には、ＹＵＶ形式の画像データ２０２に対して、縦方向に圧縮を行った結果である、表示用画像データ８０２を示している。ＹＵＶ形式の画像データ２０２のサイズが、幅３８４０・高さ２１６０であるとすると、図８（ｂ）に示すように表示用画像データ８０２のサイズは、幅３８４０・高さ１０８０になる。さらに、図８（ｃ）に示すように、表示用画像データ８０２の中央部を切り取った表示用画像データ８０３を生成する。表示用画像データ８０３のサイズは、幅１９２０・高さ１０８０となる。すなわち、図８（ａ）において４Ｋであった画像データを２Ｋにダウンコンバートする。

Ｓ６１１ではシステム制御部１０８は、第１のデスクイーズ処理を行う。すなわち、ユーザがデスクイーズ表示をするように設定をしている場合には、バリアブルフレームレートモードの場合には第２のデスクイーズ処理、そうでない場合には、第１のデスクイーズ処理を行う。図７（ｄ）には、Ｓ６１１により生成される表示用画像データ２０３を示す。

Ｓ６１２では、システム制御部１０８は、Ｓ６０７と同様に、表示用リサイズ回路１０４を制御してＹＵＶ形式の画像データ２０２より、表示用画像データを生成する。

Ｓ６１４では、システム制御部１０８は、ビデオカメラ１００においてフレーム表示ＯＮ設定にされているか否かを判定する。フレーム表示（サラウンド表示）について、図９を使って説明する。フレーム表示とは、撮像画像の周りであり、表示部１１５ａ（もしくはパネル１０７）の四辺に沿って撮影に関する記録時間や、電力の残量、ＩＳＯ感度等の情報を表示する際に、情報を見やすく表示をするための設定である。図９は、フレーム表示の表示例を説明するための図であり、図９（ａ）の画像９０１はフレーム表示ＯＦＦ設定の場合、画像９０２はフレーム表示ＯＮ設定の場合を示している。画像９０２では、画像９０１よりも表示画像のサイズを小さくすることで、画像の周辺（表示部１１５ａの四辺）に沿った帯状の領域を設け、帯状の領域に情報を表示することで、画像と情報とが重畳して表示されないようにしている。画像９０２においては、黒色の帯の領域を設け、白抜きで文字を表示しているが、フレームの表示形態はこれに限らず、白色の背景に黒色の文字でも、グレーの背景に黒色の文字などでもよい。

画像９０１は、ＲＡＭ１１１に格納されたＯＳＤデータと表示用画像データとを合成し、外部出力１１５に出力することで表示部１１５ａへの表示が行われる。画像９０２は、ＲＡＭ１１１に格納されたＯＳＤデータとフレーム表示用に縮小した表示用画像データとを合成し、ＯＳＤデータは表示用画像データの周辺に配置される。フレーム表示ＯＮ／ＯＦＦの設定は、ユーザのメニュー操作で変更が可能である。フレーム表示ＯＮ設定である場合は、Ｓ６１５へ進み、そうでない場合は、Ｓ６１７へ進む。Ｓ６１５では、システム制御部１０８は、Ｓ６０６とＳ６１３の処理をしたか否か、すなわち、デスクイーズフラグがＯＮであるか否かを判定する。デスクイーズフラグがＯＮであると判定した場合は、Ｓ６１６の処理を行わずに、Ｓ６１７へ進み、そうでない場合は、Ｓ６１６へ進む。

Ｓ６１６では、システム制御部１０８は、外部出力１１５を制御してＲＡＭ１１１に保持されている表示用画像データを帯状の領域ができるように縮小する。すなわち、Ｓ６１６では、画像９０２が表示されるように表示用画像データを縮小する処理を行う。Ｓ６１６は、デスクイーズ表示ＯＮ設定であってもＯＦＦ設定であっても行われるので、縮小される画像はデスクイーズ済の表示用画像データ２０３や７０４が含まれる。

Ｓ６１５において、デスクイーズフラグがＯＮであると判定した場合には、フレーム表示ＯＮ設定（フレーム表示設定がＯＮ）であっても、表示用画像データ４０１の縮小は行わずに、図９（ｂ）に示す画像９０３を表示する。すなわち、デスクイーズフラグがＯＮになる場合には、フレーム表示ＯＮ設定であっても、ＯＦＦ設定であっても画像９０３が表示される。

フレーム表示ＯＮ設定だからといって、画像の縮小しないようにすることにより、必要以上に表示用画像データが縮小されず、視認性を確保することが可能となる。

なお、Ｓ６１５の判定は、記録解像度と撮影のフレームレートのいずれか一方が所定の条件を満たす撮影の場合に、Ｙｅｓと判定し、画像の縮小を行わないようにしてもよい。記録解像度が大きい場合には、ＹＵＶ形式の画像データ２０２から表示用の画像データを生成する際に、１ラインのデータ量が多いため、表示用のデータを書き終えられない可能性がある。よって、フレームレートが大きくなくても、ＹＵＶ形式の画像データ２０２の縦方向と横方向共に小さく変倍して（ダウンコンバートして）表示をすることになる。つまり、４Ｋ、６０Ｐでなく、例えば８Ｋであれば３０Ｐであっても、ダウンコンバートが必要になる可能性があり、８Ｋ以上の記録解像度であれば、いつもライブビュー画像の表示をオンタイムで行うためにはダウンコンバートが必要になる。このとき、フレーム表示がＯＮ設定でなくても、表示される画像の周辺に黒帯の領域があるため、フレーム表示のための画像の縮小は行わない。

同様に、フレームレートが所定以上である場合には、表示用の画像データを生成する時間が短く、記録解像度が大きくなくても、１ラインのデータを時間内に書き終えられない可能性がある。よって、その場合には、そもそもＹＵＶ形式の画像データ２０２の縦方向と横方向共に小さく変倍をして（ダウンコンバートして）表示をすることになる。ダウンコンバートして表示をした場合には、画像の周辺に情報表示するための領域ができるので、フレーム表示ＯＮ設定であっても、フレーム表示ＯＦＦ設定であっても、情報表示のため黒帯の領域ができる。よって、フレーム表示がＯＮ設定でなくても、表示される画像の周辺に情報を（画像と重畳しない状態で）表示するための領域がすでにあるので、画像の縮小は行わない。なお、情報表示のための領域は黒帯であることを上述したがこれに限らず、白色やその他の色でもよい。

Ｓ６１７では、システム制御部１０８は、外部出力１１５を制御してＲＡＭ１１１に保持されている表示用画像データにＯＳＤデータ（情報）を重畳させ外部出力し、表示部１１５ａに表示する。

次に、図９（ｃ）、（ｄ）を用いて、拡大機能（Ｍａｇｎ）を使用した際の表示例について説明をする。図９（ｃ）の画像９０４、９０５は、デスクイーズ表示ＯＮ設定であり、かつフォーカス確認のための拡大機能が実行された際の表示例を示している。

なお、本実施形態における拡大機能有効時は、バリアブルフレームレートモード中であっても、図９（ｃ）の画像９０４に示すように画面全体に表示される。よって、フレーム表示ＯＮ設定のときには、縮小された画像９０５を表示する。

また、本実施形態においては、Ｓ６１３においてサイドブラック処理を行っているが、必ずしもサイドブラック処理を行わなくてもよい。その場合には、図９（ｄ）の画像９０６のように表示がされる。また、このとき、表示部１１５ａの上辺と下辺の領域にはそもそも画像が表示されていないが、画像の左辺と右辺と、情報の一部とが重畳する。よって、フレーム表示ＯＮ設定の場合には、画像９０７に示すように画像９０６よりも縮小した状態で表示をする。なお、情報が上辺と下辺とにしか表示されない場合には、画像の縮小を行わなくてもよい。９０４、９０５での説明と同様、ＯＳＤデータと表示用画像データが重なる場合には、フレーム表示がＯＮである場合に、表示用画像データをフレーム表示ＯＦＦ時に比べさらに縮小する。

以上、説明した実施形態によれば、アナモフィックレンズを使用してフレームレートが変わるような動画の撮影を行っても、動画の記録中にデスクイーズした状態の画像を表示することが可能となる。また、バリアブルフレームレートモードであって、フレーム表示がＯＮ設定の場合である場合には、画像を縮小して表示しないので、画像の視認性を低下させずにフレーム表示を行うことができる。一方で、通常の撮影（バリアブルフレームレートモードでない）の場合には、画像を縮小し、情報を表示するための領域を設ける。通常の撮影の場合には、そもそも画像が画面のサイズに合わせて表示がされているので、多少縮小されても画像の視認性は大きく低下しない。よって、画像の視認性と情報表示の視認性とを両立することができる。

なお、システム制御部１０８が行うものとして説明した上述の各種の制御は１つのハードウェアが行ってもよいし、複数のハードウェアが処理を分担することで、装置全体の制御を行ってもよい。

また、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。さらに、上述した各実施形態は本発明の一実施形態を示すものにすぎず、各実施形態を適宜組み合わせることも可能である。

また、上述した実施形態においては、本発明をビデオカメラ１００に適用した場合を例にして説明したが、これはこの例に限定されず、表示に関する制御を行うことができるような表示制御装置であれば適用可能である。すなわち、本発明は携帯電話端末や携帯型の画像ビューワ、ファインダーを備えるプリンタ装置、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダーなどに適用可能である。

（他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記録媒体は本発明を構成することになる。

Claims (16)

1. 水平方向と垂直方向とで異なる倍率で被写体像が結像された第１の画像データを取得可能な取得手段と、
   前記第１の画像データの一部を切り出す第１の処理を行った後、前記第１の処理を行った第２の画像データが所定のアスペクト比となるように表示画像を生成する第１のリサイズと、前記第１の画像データに対して前記第１の処理を行わずにリサイズを行う第２のリサイズとが実行可能な表示制御手段と、
   動画の記録設定が所定の条件を満たす場合には、前記第１のリサイズを行い、動画の記録設定が前記所定の条件を満たさない場合には、前記第２のリサイズを行うように制御する制御手段とを有することを特徴とする表示制御装置。
2. 前記所定の条件とは、動画の記録のフレームレートが可変である撮影モードであることを含むことを特徴とする請求項１に記載の表示制御装置。
3. 前記所定の条件とは、動画の解像度が所定以上であることを含むことを特徴とする請求項１または２に記載の表示制御装置。
4. 前記所定の条件とは、動画の記録のフレームレートが所定以上であることを含むことを特徴とする請求項１乃至３のいずれか１項に記載の表示制御装置。
5. 前記第１の画像データは、アナモフィックレンズを介して得られる画像データであり、前記アナモフィックレンズを介した画像データは、被写体の水平方向が、被写体の垂直方向よりも圧縮された状態で結像された画像データであることを特徴とする請求項１乃至４のいずれか１項に記載の表示制御装置。
6. 前記制御手段は、前記第１の画像データにおける、被写体の水平方向が垂直方向よりも圧縮された状態から、水平方向のリサイズの変倍率を垂直方向のリサイズの変倍率の方が大きくすることにより、前記第１のリサイズを行うことを特徴とする請求項５に記載の表示制御装置。
7. 前記表示制御手段は、前記第１の処理において、前記第１の画像データのうち、水平方向の一部を切り取った、前記第１の画像データの中央の領域を含む部分を切り出すことを特徴とする請求項１乃至６のいずれか１項に記載の表示制御装置。
8. 前記第２の画像データの垂直方向の倍率は変えずに水平方向の倍率を変えることで、前記所定のアスペクト比の表示画像が生成可能であることを特徴とする請求項１乃至７のいずれか１項に記載の表示制御装置。
9. 前記制御手段は、前記第２のリサイズがされた画像に対して、上から帯表示をすることにより、前記所定のアスペクト比の画像が表示されるようにすることを特徴とする請求項１乃至８のいずれか１項に記載の表示制御装置。
10. 前記制御手段は、前記第２のリサイズにおいて、前記第１の画像データの水平方向への圧縮を行わずに、前記第１の画像データの垂直方向への圧縮を行うように制御することを特徴とする請求項１乃至９のいずれか１項に記載の表示制御装置。
11. 前記制御手段は、前記第１のリサイズにおいては、前記第２の画像データに対して、垂直方向の変倍率に対して水平方向の変倍率が２倍になるように制御することを特徴とする請求項１乃至１０のいずれか１項に記載の表示制御装置。
12. 前記制御手段は、前記第２のリサイズにおいては、前記第１の画像データに対して、垂直方向の変倍率に対して水平方向の変倍率が１／２倍になるように制御することを特徴とする請求項１乃至１１のいずれか１項に記載の表示制御装置。
13. 記録手段をさらに有し、
    前記記録手段は、前記第１の画像データを記録用にリサイズして記録することを請求項１乃至１２のいずれか１項に記載の表示制御装置。
14. 水平方向と垂直方向とで異なる倍率で被写体像が結像された第１の画像データを取得可能な取得ステップと、
    前記第１の画像データの一部を切り出す第１の処理を行った後、前記第１の処理を行った第２の画像データが所定のアスペクト比となるように表示画像を生成する第１のリサイズと、前記第１の画像データに対して前記第１の処理を行わずにリサイズを行う第２のリサイズとが実行可能な表示制御ステップと、
    動画の記録設定が所定の条件を満たす場合には、前記第１のリサイズを行い、動画の記録設定が前記所定の条件を満たさない場合には、前記第２のリサイズを行うように制御する制御ステップとを有することを特徴とする表示制御装置の制御方法。
15. コンピュータを、請求項１乃至１３のいずれか１項に記載された表示制御装置の各手段として機能させるためのプログラム。
16. コンピュータを、請求項１乃至１３のいずれか１項に記載された表示制御装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images