JP2022125529A - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents

Abstract

【課題】撮像装置が有する表示部と該表示部以外にも画像を出力可能な撮像装置において、出力先で適切な画像が表示されるようにする。【解決手段】画像を撮像する撮像素子１１１と画像を表示する表示部１２１を有する撮像装置１００は、画像にロール補正を行う画像処理部１１６と、画像の出力を制御する制御部１４０と、画像を表示部１２１に表示する表示制御部１２２と、を備え、画像処理部１１６は、表示部１２１のみに画像を出力する場合のロール補正の補正度合いが、表示部１２１以外にも画像を出力する場合のロール補正の補正度合いよりも小さくなるようにロール補正を行う。【選択図】図４

Description

本発明は、撮像装置、撮像装置の制御方法およびプログラムに関する。

撮影者とは別の主観測者が見るために、カメラで撮像した映像をカメラに備えられている表示装置とは別のディスプレイに表示する技術がある。例えば、撮影者が頭部にカメラを装着し、カメラで撮影した映像を別の観測者が見るディスプレイに対して表示する。この際、撮影者がカメラを装着した頭部を傾けると観測者が見るディスプレイに表示される被写体も傾いてしまう。そのため、被写体がディスプレイに適切に表示されるように、撮影者が首を傾けてもディスプレイに表示される被写体の像の向きができる限り変化しないようにすることが求められる。特許文献１は、観察者の頭部に装着されたカメラにより撮像された画像を観察者とは別の者が見るモニタ装置に表示する場合に、モニタ装置に表示する画像に対して画像傾き補正を行う画像処理装置を開示している。また、特許文献１では、カメラを装着する観察者は、現実外界内の対象物をシースルー画像として目視で観察する。

特開２０１２－１６０８９８号公報

しかしながら、特許文献１ではカメラを装着した観察者は被写体を目視で観測しており、電子単眼鏡電子双眼鏡のように撮像した映像を撮影者がディスプレイまたは電子ファインダで観測する場合は考慮されていない。そのため、撮像した映像を主観測者が見るカメラの表示部と別の観測者が見るカメラの表示部以外のディスプレイの双方に映像を出力できる撮像装置において、撮影者にとっても違和感の少ない適切な映像を表示することが求められる。

本発明は、撮像装置が有する表示部と該表示部以外にも画像を出力可能な撮像装置において、出力先で適切な画像が表示されるようにすることを目的とする。

上記課題を解決するために、本発明の撮像装置は、画像を撮像する撮像部と前記画像を表示する表示部を有する撮像装置であって、前記画像にロール補正を行う補正手段と、前記画像の出力を制御する出力手段と、出力された前記画像を前記表示部に表示する表示制御手段と、を備える。前記補正手段は、前記出力手段が前記表示部のみに画像を出力する場合の前記ロール補正の補正度合いが、前記出力手段が前記表示部以外にも画像を出力する場合の前記ロール補正の補正度合いよりも小さくなるように前記ロール補正を行う。

本発明によれば、撮像装置が有する表示部と該表示部以外にも画像を出力可能な撮像装置において、出力先で適切な画像が表示されるようにすることができる。

撮影装置の外観斜視図である。 撮像装置の構成を説明する図である。 ロール補正を説明する図である。 ロール補正の切替処理を示すフローチャートである。 水平を示す表示の一例を示す図である。 ロール補正の切替処理と水平を示す表示の表示処理を示すフローチャートである。 ロール補正の切替処理と収音方法の切替処理を示すフローチャートである。

（第１実施形態）
本発明を適用可能な電子機器の一例としての撮像装置１００の構成について図１および図２を用いて説明する。図１は、撮像装置１００の外観斜視図である。図１（Ａ）は撮像装置１００を正面側（被写体側）から見た外観斜視図、図１（Ｂ）は、被写体側とは反対の背面側から見た外観斜視図である。また、図１（Ｃ）は、撮像装置１００の端子蓋１０５が開放された様子を示す図である。また、図２は、撮像装置１００の構成を説明する図である。

撮像装置１００は、電子単眼鏡、電子双眼鏡、デジタルカメラ等、撮像素子と表示手段とを一体で備えた電子機器の一例である。撮像装置１００は、ボディー筐体となる側面カバー１０１、後部パネル１０２、前部パネル１０３を有する。前部パネル１０３には開口部１０３ａがあり、開口部１０３ａを通して撮像光学系１１０に被写体像が入射される。被写体像は、撮像光学系１１０を通して撮像手段である撮像素子１１１へ結像する。撮像光学系１１０の撮影レンズ光軸Ａは、撮像装置１００の伸延方向を向いている。なお、本実施形態では、撮像装置の本体部とレンズ装置が一体となっている例を説明するが、これに限られるものではなく、本体部に対してレンズ装置が着脱可能であってもよい。

前部パネル１０３には、２つのマイク穴１０３ｂが被写体側を向いて設けられている。２つのマイク穴１０３ｂには、それぞれ対応するマイク１５０が設けられている。マイク穴１０３ｂは、マイク１５０に外からの音を導いている。撮像装置１００は、モノラルで収音することが可能であり、さらに、２つのマイク１５０によりステレオで収音することも可能である。

側面カバー１０１の側面には撮像装置１００に開閉可能に接合された端子蓋１０５がある。図１（Ｂ）は端子蓋１０５が閉じた状態、図１（Ｃ）は端子蓋１０５が開いた状態を示している。側面カバー１０１の端子蓋１０５内部には、Ｉ／Ｏ部１４３および接続端子１３１が設けられている。Ｉ／Ｏ部１４３は、ＳＤカード等の着脱可能なデータ記憶媒体１３０を装着して情報を授受するためのＩｎｐｕｔ／Ｏｕｔｐｕｔコネクタ部である。接続端子１３１は、情報や電力の授受を行うためのＵＳＢ接続端子等の接続端子１３１である。

側面カバー１０１の上面には５つの操作ボタン１０４がある。５つの操作ボタン１０４は、電源ボタン１０４ａ、ズームボタン１０４ｂ、レリーズボタン１０４ｃ、動画撮影ボタン１０４ｄおよび設定変更ボタン１０４ｅである。電源ボタン１０４ａは、撮像装置１００の電源のＯＮ／ＯＦＦ切り替えを行うための操作ボタンである。ズームボタン１０４ｂは、撮像装置１００の撮影倍率を変えるためのズーム操作を行うための操作ボタンである。レリーズボタン１０４ｃは、撮像光学系１１０内のズームレンズ等の焦点調節群を移動させて被写体に焦点を合わせたり静止画像を撮影するレリーズを行ったりするための操作ボタンである。動画撮影ボタン１０４ｄは、動画撮影の開始と終了を行うための操作ボタンである。設定変更ボタン１０４ｅは、撮像装置１００の各種設定の変更を行うための操作ボタンであり、設定変更ボタン１０４ｅが押下されると設定に関わるメニューが表示される。各種設定の選択・切り替えは、ズームボタン１０４ｂ、レリーズボタン１０４ｃ、動画撮影ボタン１０４ｄおよび設定変更ボタン１０４ｅを用いて行う。なお、ここで示した操作ボタンの形態や機能、配置は一例であり、他の操作ボタンと複合機能されていてもいいし、異なる配置であってもよい。

側面カバーの下部には、視度調整ダイヤル１２４および音孔１０６が設けられている。視度調整ダイヤル１２４は、視度調整手段の焦点調節を行うためのダイヤルである。音孔１０６は、スピーカ１５１からの音を伝える。

後部パネル１０２には接眼窓１２０およびが接眼検知センサ１２３設けられている。接眼窓１２０の内部には表示手段が配置されている。表示手段は、表示部１２１と、不図示の接眼レンズ群および視度調整手段を備える電子ファインダである。表示部１２１は、有機ＥＬや液晶等で構成されるディスプレイである。接眼レンズ群は、撮影者が表示部１２１を眺めやすいよう表示部１２１の表示を拡大させる。撮影者は接眼レンズ群の接眼レンズ光軸Ｂ上に視線を合わせ、さらに接眼レンズ光軸Ｂ上にある接眼レンズ群のアイポイントＣに目の位置を合わせることで、表示が最も見易い位置で眺めることができる。なお、撮像装置１００の撮影レンズ光軸Ａと接眼レンズ光軸Ｂは平行である。視度調整手段は、焦点位置を撮影者の視力に合わせて調整させることができる。接眼検知センサ１２３は接眼窓１２０の上部に設けられ、撮影者が接眼窓１２０を覗いていることを検出する。なお、本実施形態では、表示手段が電子ファインダである例について説明するが、これに限られるものではなく、表示手段はディスプレイ等であってもよい。

次に、撮像装置１００の電気的な構成について説明する。撮像装置１００は、制御部１４０、ＲＯＭ１４１、ＲＡＭ１４２、Ｉ／Ｏ部１４３を備え、着脱可能なデータ記憶媒体１３０が装着されている。制御部１４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、撮像装置１００全体を制御する。制御部１４０にはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４１が接続されており、制御部１４０はＲＯＭ１４１内に格納された制御プログラムに基づいて撮像装置１００の各種制御を行う。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４１は、制御プログラムを記憶している不揮発性メモリである。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４２は、揮発性メモリである。ＲＡＭ１４２は、制御部１４０が動作するための主メモリ、ワークエリア等の一時記憶領域である。例えば、ＲＡＭ１４２は、画像展開エリア、ワークエリア、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）、一時退避エリア等を有する。画像展開エリアは、画像処理部１１６より送られてきた撮影画像データやデータ記憶媒体１３０から読み出された圧縮変換画像データ等を一時的に格納するためのテンポラリバッファとして使用される。また、画像展開エリアは、画像圧縮処理、解凍処理のための画像専用ワークエリアとしても使用される。ワークエリアは、各種プログラムを実行するための領域である。ＶＲＡＭは、表示部１２１へ表示する表示データを格納する領域である。また一時退避エリアは、各種データを一時退避させるためのエリアである。

データ記憶媒体１３０は、ＳＤカード、ＨＤＤ等の着脱可能な記録媒体である。データ記憶媒体１３０には、変換圧縮された撮影画像データや動画像データがファイル形式で記憶される。Ｉ／Ｏ部１４３は、制御部１４０の指示に基づき、データ記憶媒体１３０に対するデータの授受を制御する。

また、撮像装置１００は、撮像光学系１１０、撮像素子１１１、シャッタ制御部１１２、ズーム制御部１１３、焦点制御部１１４、撮像素子制御部１１５および画像処理部１１６を備える。撮像光学系１１０は、ズームレンズやフォーカスレンズなどの複数のレンズ、絞り、シャッタを備える。絞りは、撮像光学系１１０を透過する光束の量を制御する光量調節手段である。撮像光学系１１０は、被写体の光学像を撮像素子１１１に結像させる。撮像素子１１１は、例えばＣＭＯＳやＣＣＤといった光電変換素子であり、光学像に応じた出力信号（アナログ信号）を出力する撮像部である。撮像素子１１１がＣＭＯＳの場合は、撮像素子制御部１１５からの解像度変換指示に従って、水平方向および垂直方向の間引き画素データの出力が可能である。

撮像素子制御部１１５は、タイミングジェネレータ、信号処理回路およびＡ／Ｄ変換回路を有し、撮像素子１１１および撮像素子１１１からの出力信号を制御する。タイミングジェネレータは、撮像素子１１１に転送クロック信号やシャッタ信号を供給する。信号処理回路は、撮像素子１１１から出力された出力信号のノイズ除去、ゲイン処理を行う。Ａ／Ｄ変換回路は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換回路によるデジタル信号変換の仕様は撮像素子の仕様などに応じて種々変更可能である。

画像処理部１１６は、撮像素子制御部１１５より出力されたデジタル信号に対して、ガンマ変換、色空間変換、ホワイトバランス調整、露出調整等の各種画像処理を行う。さらに、画像処理部１１６は、姿勢センサ１２５により得られた撮像装置１００の姿勢情報に基づいて、ピッチ補正、ヨー補正、ロール補正等の像の振れや回転を補正する画像処理を行う。ピッチ補正、ヨー補正、ロール補正等の像振れ補正は、画像処理部１１６で画像の切り出し等により電子的に行われる。なお、画像処理部１１６が行うピッチ補正、ヨー補正、ロール補正は、撮像画像データから得られる被写体の動き情報に基づいて行われるものであってもよい。また、ピッチ補正、ヨー補正、ロール補正は、撮像素子１１１の撮像面を制御するもの撮像光学系１１０のシフトレンズをシフトするものであってもよい。画像処理部１１６によるピッチ補正、ヨー補正、ロール補正は、補正処理の実行の有無も含めて制御部１４０により制御される。

シャッタ制御部１１２は、制御部１４０からの指示に基づいて撮像光学系１１０のシャッタを駆動する。ズーム制御部１１３は、制御部１４０からの指示に基づいて撮像光学系１１０のズームレンズを駆動する。焦点制御部１１４は、制御部１４０からの指示に基づいて撮像光学系１１０のフォーカスレンズを駆動する。制御部１４０は、現在位置からどの程度フォーカスレンズを駆動させれば焦点が合うか（もしくは現状の撮像光学系１１０の位置で焦点が合ったか）を計算し、焦点制御部１１４にフォーカスレンズの駆動量を指示する。焦点制御部１１４は、制御部１４０から指示された駆動量に応じてフォーカスレンズを移動させることによって焦点を合わせる動作を行う。なお、合焦動作についてレンズを駆動する方法を説明したが、撮像素子１１１と撮像光学系１１０との相対位置を変化させても同様の効果が得られるため、撮像素子１１１を撮影レンズ光軸Ａに沿って前後に駆動させる方法でもよい。

撮像装置１００は、ＤＣ／ＤＣコンバータ１４５および電池１４６を備える。ＤＣ／ＤＣコンバータ１４５は、電池１４６から供給された電源から電圧を作り出し、制御部１４０を初めとする各素子に供給する。ＤＣ／ＤＣコンバータ１４５は、制御部１４０からの制御信号に基づいて、各々の電圧供給の開始、停止を制御する。電池１４６は、１次電池あるいはリチャージャブルの２次電池であり、ＤＣ／ＤＣコンバータ１４５に電源を供給する。なお、ＤＣ／ＤＣコンバータ１４５に電源が供給されればよく、電池から供給される必要はない。ＤＣ／ＤＣコンバータ１４５は、例えば、接続端子１３１に接続されたモバイルバッテリなどの外部電源から電源を供給されてもよい。

撮像装置１００は、電源ボタン１０４ａ、ズームボタン１０４ｂ、レリーズボタン１０４ｃ、動画撮影ボタン１０４ｄおよび設定変更ボタン１０４ｅを備える。各ボタンは、制御部１４０に接続されている。電源ボタン１０４ａをＯＮすることで制御部１４０が起動し、ＯＦＦすることで停止する。制御部１４０は、電源ボタン１０４ａの操作に応じてＤＣ／ＤＣコンバータ１４５を制御する。

ズームボタン１０４ｂを操作すると、撮像光学系１１０のズーム位置を変えることができる。制御部１４０は、ズームボタン１０４ｂの操作に応じてズーム制御部１１３を制御することで、撮像光学系１１０のズームレンズを駆動させて撮像光学系１１０のズーム位置を変更する。レリーズボタン１０４ｃは、押下位置によって２段階のスイッチポジションを有している。１段目のポジションの検出（ＳＷ１ ＯＮ）で、ホワイトバランス、測光、合焦等のカメラ設定のロック動作が行われる。２段目のポジションの検出（ＳＷ２ ＯＮ）で撮像を行い、被写体画像信号を取り込む。制御部１４０は、レリーズボタン１０４ｃの制御に応じて、焦点制御部１１４やシャッタ制御部１１２などを制御する。動画撮影ボタン１０４ｄを操作すると、被写体動画像信号の取り込みと録音を開始／終了することができる。１度目の動画撮影ボタン１０４ｄの押下で被写体動画像信号の取り込みと録音が開始され、２回目の動画撮影ボタン１０４ｄの押下で被写体動画像信号の取り込みと録音を終了する。制御部１４０は、動画撮影ボタン１０４ｄの操作に応じて撮像素子制御部１１５に動画撮影指示、マイク１５０に録音指示を行う。

撮像装置１００は、表示部１２１および表示制御部１２２を備える。表示部１２１は、有機ＥＬや液晶等の表示デバイスを有し、撮像素子１１１により撮像された画像（静止画像、動画像を含む）や撮影に関する情報の表示を行う。表示部１２１は、表示制御部１２２によって制御されている。表示制御部１２２は、制御部１４０からの指示に応じて画像の表示サイズや輝度などを調整し、表示部１２１への表示を制御する。表示制御部１２２は、画像上に重畳表示する情報を制御する。

また、表示制御部１２２は、接眼検知センサ１２３を有している。表示部１２１近傍には接眼検知センサ１２３が設けられており、撮影者が表示部１２１を覗くことにより接眼検知センサ１２３が所定距離以下の接近を検出し、表示部１２１を点灯させる。逆に接眼検知センサ１２３に対して撮影者が所定距離以上に離れたことを検出すると、接眼検知センサ１２３は表示部１２１を消灯させる。この動作により、撮像装置の消費電力を削減したり、発熱を抑えたりするなどの効果がある。

撮像装置１００は、外部からの音声を収音するためマイク１５０を備える。本実施形態の撮像装置１００はマイク１５０を２つ備え、モノラルでの収音の他、ステレオでの収音が可能である。制御部１４０は、マイク１５０により得られた音声データと動画像データを同期させ、１つの動画データとしてデータ記憶媒体１３０に記録する。

撮像装置１００は、スピーカ１５１および音声出力端子１５２を備える。スピーカ１５１は、電子音や動画像データに含まれる音声等の音を出力することができる電気音響変換器である。音声出力端子１５２は、ヘッドフォン等が接続可能なイヤホンジャック等の音声出力端子である。音声出力端子１５２は接続されたヘッドフォン等に、モノラル音声の他、ステレオ音声を出力することが可能である。なお、音声出力端子１５２は、例えばＵＳＢ接続端子のような接続端子１３１であってもよい。

撮像装置１００において動画データの再生を行う場合は、データ記憶媒体１３０に記録されている動画データを選択する。動画データの再生が行われると、動画データに含まれる動画像データが表示制御部１２２によって表示部１２１に表示される。そして、同時に動画データに含まれる音声データが制御部１４０によってスピーカ１５１または音声出力端子１５２から動画像データと同期して再生出力される。

撮像装置１００は、他の撮像装置、スマートフォン、ディスプレイ装置等の外部装置と接続することでデータや電力の授受を行う通信部１４４を有する。通信部１４４は、例えばＵＳＢのような有線の接続端子１３１でもよいし、Ｗｉ－ＦｉやＢｌｕｅＴｏｏｔｈ（登録商標）等の無線接続手段であってもよい。有線の接続端子１３１を用いるとデータの授受だけではなく、電力の授受も可能である。一方、無線接続手段の場合は、外部装置と接続することによってデータの授受が可能である。制御部１４０は通信部１４４を介して接続された外部装置と通信し、外部装置へ動画データを出力する制御を行う。なお、外部装置がディスプレイ装置または例えば撮像装置やスマートフォンなどの表示部を有する電子機器であった場合にのみ外部装置へ動画データを出力する制御を行うようにしてもよい。

制御部１４０は、撮像装置１００全体を制御する。制御部１４０は、画像処理部１１６におけるロール補正を含む各種画像処理を制御する。また、制御部１４０は、画像処理部１１６から出力された撮影画像データを読み込み、ＲＡＭ１４２へ転送し、各出力先に出力する。撮影画像データの出力先としては、表示部１２１、データ記憶媒体１３０、外部装置がある。制御部１４０は、ＲＡＭ１４２から表示制御部１２２を介して表示部１２１へ撮影画像データを転送する。また、制御部１４０は、Ｉ／Ｏ部１４３を介しデータ記憶媒体１３０に撮影画像データを格納する。また、制御部１４０は、通信部１４４を介して外部装置へデータを出力する。なお、撮影画像データが動画像データである場合には、動画像データと共に音声データも出力される。また、制御部１４０は動画像データを録画する際のマイク１５０による収音の方法も制御する。

次に、ロール補正について説明する。図３は、ロール補正を説明する図である。以下では、撮像装置１００で被写体３０１を撮影している者を主観測者、撮像装置１００以外のディスプレイ装置等で撮像装置１００により撮影された映像を視聴している者を視聴者と呼ぶ。

図３（Ａ）は、主観測者が撮像装置１００で被写体３０１を観測している場合の画面表示の一例を示す図である。すなわち、図３（Ａ）は撮像装置１００の表示部１２１にロール補正せずに表示される画面の例である。被写体３０１は、水平な地面に垂直に立っている。画面３０２は、主観測者が撮像装置１００を水平に保持している場合の画面表示の例である。画面３０３は、主観測者が撮像装置１００を傾けて保持している場合の画面表示の例である。撮像装置１００を傾けると、画面は傾くが、被写体３０１の傾きは実際の被写体３０１の傾きと同じままである。したがって、主観測者が撮像装置１００を介して観測する被写体３０１の傾きは、撮像装置１００が保持されているか傾けて保持されているかに関わらず、実際の被写体３０１の傾きと同じとなる。この場合、撮像装置１００の傾きに応じて表示部１２１に表示される画像にロール補正処理を行わずとも主観測者は違和感を覚えない。すなわち、主観測者が撮像装置１００で被写体を観測している際には、ロール補正は不要である。

図３（Ｂ）は、撮像装置１００で撮像された映像をロール補正せずに撮像装置１００以外のディスプレイ装置で表示している場合の画面表示の一例を示す図である。画面枠３０５は、水平に置かれたディスプレイ装置の画面枠である。図３（Ｂ）において画面枠３０５に表示されている映像は、撮像装置１００を傾けて保持している場合（図３（Ａ）の画面３０３）の映像である。水平なディスプレイ装置の画面上では、撮像装置１００の画面枠３０３の傾きの分、逆方向に被写体３０１が傾くこととなる。そのため、画面枠３０５に表示される被写体３０１の水平方向に対する傾きは実際の被写体３０１の傾きと異なった傾きとなり、視聴者は違和感を覚える。

図３（Ｃ）は、ロール補正処理を行った映像を撮像装置１００以外のディスプレイ装置で表示している場合の画面表示の一例を示す図である。図３（Ｂ）において画面枠３０５に表示されている映像は、撮像装置１００を傾けて保持している場合（図３（Ａ）の画面３０３）の映像に撮像装置１００の傾きに応じたロール補正を行った映像である。撮像装置１００の傾きに応じたロール補正を行うことでディスプレイ装置に表示される被写体３０１の傾きが実際の被写体３０１の傾きと同じになり、視聴者は違和感なく映像を見ることができる。

図３（Ｄ）は、ロール補正処理を行った映像を撮像装置１００の表示部１２１で表示している場合の画面表示の一例を示す図である。すなわち、図３（Ｄ）は、ロール補正されている図３（Ｃ）の映像を、傾いた状態で保持されている撮像装置１００の表示部１２１に表示した場合の図である。傾けて保持されている撮像装置１００の画面３０３に表示される被写体３０１の傾きは、実際の被写体３０１の傾きと異なった傾きとなり、主観測者は違和感を覚える。

撮像装置１００を水平に保持している場合には、撮像装置１００の表示を見る主観測者も外部のディスプレイ装置の表示を見る視聴者も違和感を覚えない。しかし撮像装置１００を常に水平に維持するのは、撮像装置１００が手持ちの場合は困難である。また、身を横に乗り出す等自由なアングルでの撮影が行えなくなってしまう。主観測者が撮像装置１００で自由なアングルで撮影しながら、同時に撮影した映像を他のディスプレイ装置へ出力する場合は、ロール補正を行うことで適切な表示となる。しかしながらロール補正を行うと、撮像装置１００に表示される主観測者の見る映像にもロール補正がかかるため主観測者は違和感を覚える。そのため、常にロール補正を行うのではなく、主観測者のみが観測する場合にはロール補正をしないことが望ましい。そこで本実施形態では、撮像装置１００においてリアルタイムで撮像した映像を見るだけの場合はロール補正を行わず、撮像装置１００以外の表示装置や記録された動画を後に見るために録画する場合等にはロール補正を行うようにする。

次に、本実施形態におけるロール補正の切替え処理について説明する。上記で説明したように、本実施形態では、撮影者が撮像装置１００の表示部１２１に表示された映像をリアルタイムで見るだけの場合、すなわち、撮像した映像の出力先が表示部１２１のみである場合にはロール補正を行わない。一方、視聴者が外部装置に表示された映像を見る場合や録画された映像を後に確認する場合、すなわち、撮像した映像の出力先に撮像装置１００以外の表示装置や撮像装置１００の記録媒体等、表示部１２１以外が含まれる場合はロール補正を行う。そのため、本実施形態では撮像装置１００の表示部１２１以外への映像出力の有無によってロール補正のオンオフを切り替える処理を行う。

図４は、ロール補正の切替え処理を示すフローチャートである。図４に示される各処理は、制御部１４０が、ＲＯＭ１４１等の読み取り可能な記憶媒体に格納されたプログラムを実行することにより実現される。本処理は、例えば電源ボタン１０４ａが押下されることにより撮像装置１００の電源がＯＮになった場合に開始される。まず、ステップＳ４０１で、制御部１４０は、画像処理部１１６によるヨー及びピッチの補正をオンに設定する。その後、ステップＳ４０２に進む。

ステップＳ４０２で、制御部１４０は、撮像装置１００の表示部１２１以外への映像出力の有無を判定する。制御部１４０は、外部装置または記録媒体への映像の出力があるか否かにより撮像装置１００の表示部１２１以外への映像出力の有無を判定する。具体的には、制御部１４０は、通信部１４４を介して接続された外部装置と通信し、外部装置が表示部を有する電子機器であるか否かを判定する。そして、外部装置が表示部を有する電子機器であった場合には、映像出力有りと判定する。また、制御部１４０は、動画データをデータ記憶媒体１３０に記録するか否かも判定する。動画データをデータ記憶媒体１３０に記録する場合にも、映像出力有りと判定する。さらに、制御部１４０は、モード切替えや動画撮影ボタン１０４ｄの押下により動画で撮影を行う動画撮影モード等の所定のモードが選択された場合も表示部１２１以外への映像出力が予定されていると判定し、映像出力有りと判定する。撮像装置１００の表示部１２１以外への映像出力がある場合は、ステップＳ４０３に進む。一方、撮像装置１００の表示部１２１以外への映像出力がない場合は、ステップＳ４０５に進む。

撮像装置１００の表示部１２１以外への映像出力がある場合、ステップＳ４０３で、制御部１４０は、ロール補正をオンに設定する。ロール補正がオンに設定されると、画像処理部１１６は撮像した映像に対しロール補正処理を実行する。これにより、表示部１２１以外へも出力される映像には、ロール補正が行われる。その後、ステップＳ４０４に進む。一方、撮像装置１００の表示部１２１以外への映像出力がない場合、ステップＳ４０５で、制御部１４０は、ロール補正をオフに設定する。これにより、表示部１２１のみに出力される映像には、ロール補正が行われない。その後、ステップＳ４０４に進む。

ステップＳ４０４で、制御部１４０は、電源ボタン１０４ａのオンオフ状態を検知する。スイッチがオフであることが検知された場合、本処理を終了する。一方、スイッチがオンであることが検知された場合はステップＳ４０２に戻り、ロール補正の切替えを判断するために、表示部１２１以外への映像の出力があるか否かを判定する。

以上説明したように、本実施形態によると、撮像装置が有する表示部以外へ映像を出力する場合にはロール補正を行い、撮像装置が有する表示部のみに映像を出力する場合にはロール補正を行わないようにすることができる。これにより、外部装置等で撮像装置が撮影している映像を視聴する視聴者は撮像装置の傾きにかかわらず違和感の少ない映像を視聴することができる。さらに、撮影者以外に映像を視聴する者がいない場合には、ロール補正を行わないことで現実の被写体の傾きと表示部１２１に表示された映像上の被写体の傾きが一致した撮影者にとって違和感の少ない映像を表示部１２１に表示することができる。これにより、映像出力がなく、撮像装置１００を単眼鏡・双眼鏡として使用される場合においては、自由な姿勢・アングルで観測が行うことが可能となる。尚、本実施形態では、撮像装置が有する表示部のみに映像を出力する場合には、ロール補正を行わない例について説明をしたが、撮影者への違和感を軽減できれば効果を奏することができるため、ロール補正を完全にオフにしなくてもよい。つまり、ステップＳ４０３へ進んだ場合よりも、ステップＳ４０５へ進んだ場合の方が、ロール補正の補正度合いが小さくなるように制御を行えばよい。ロール補正の補正度合いとは、生じたロール振れに対するロールブレの補正量のことを指し、同じロール振れが生じた際のロール振れ補正量が小さい方、言い換えると、ロールの振れ残りが大きい方が、ロール振れの補正度合いが小さいという。例えば、撮影者が接眼窓１２０を覗いている場合、撮影者の頭が固定されている一方で、撮像装置を支持している手が細かく振れ、細かなロール振れが撮影者に違和感を与える可能性がある。そのため、ステップＳ４０５へ進んだ場合、ステップＳ４０３では補正対象となるロール振れのうち、低周波成分は補正せず、高周波成分のみを補正することで補正度合いを小さくしてもよい。ステップＳ４０３よりも小さなゲインをかけることで補正度合いを小さくするだけでなく、このように、ステップＳ４０３よりも狭い周波数帯域の振れ成分を補正してもよい。

（第２実施形態）
第１実施形態では、表示部１２１以外への映像の出力がある場合には表示部１２１に出力される映像にもロール補正を行う例を説明した。この場合は、表示部１２１に表示されるロール補正が行われた映像上の被写体と現実の被写体との傾きが異なっており、両者を見る撮影者（主観測者）は違和感を覚える。そこで、第２実施形態では、出力される映像のみにロール補正を行う例を説明する。

出力される映像のみにロール補正を行う場合には、撮像装置１００の撮影者、出力された映像を観測している視聴者共に、被写体が違和感のない傾きで観測ができる。一方で、特に撮像装置１００の傾きが大きい場合に、出力映像のロール補正を画像切り出しにより実施している場合には、出力映像が極端にトリミングされてしまうことが考えられる。ロール補正による出力映像のトリミングが極端にならないようにするためには、撮像装置１００の傾きを抑制する必要がある。そこで、本実施形態では、表示部１２１に撮像装置の傾きを示す表示を行うことで、表示部１２１を見ながら撮影を行っている撮影者に撮像装置１００の傾きを報知することで、撮像装置１００の傾きを抑制するようにする。

図５は、表示部１２１に表示される水平を示す表示の一例を示す図である。図５は、本実施形態において撮像装置１００の表示部１２１に表示される、被写体５０１を撮像装置１００が傾いて保持されている状態で撮影した映像の例である。本実施形態では、表示部１２１に表示する画像にはロール補正を行わないため、図５に表示される映像の例もロール補正は行われていない。そのため、撮像装置１００の傾きに合わせて表示部１２１の画面枠５０２も傾いている。

画面枠５０２内には、水平を示す表示５０３が表示される。水平を示す表示５０３は、画面枠５０２に対し水平な直線である。撮影者は、水平を示す表示５０３と被写体５０１の傾きを比べることで、撮像装置１００の傾きを認識することができる。なお、水平を示す表示５０３は、撮像装置の傾きを示す表示の一例である。撮像装置の傾きを示す表示は撮影者が撮像装置１００の傾きを認識できるものであればよく、画面枠５０２に対し水平な直線に限られるものではない。例えば、撮像装置の傾きを示す表示として水準器を表示してもよいし、水平方向を表示するものであってもよい。また、撮像装置の傾きを示す表示は、ロール補正後の映像の画面枠を表示するものであってもよいし、ロール補正の方向と補正量の表示であってもよい。また、撮像装置の傾きを示す表示は、ロール補正を減衰して行うことでもよい。

さらに、撮像装置１００の傾きが所定の傾きを超えた場合には、警告が報知されるようにしてもよい。警告は、例えば、マークなどの表示や警告音の発生でもよいし、水平を示す表示５０３の色の変化であってもよい。撮像装置の傾きを示す表示を表示部１２１に表示される映像に表示することにより、撮像装置１００の撮影者は撮像装置１００がどの程度傾いているかを知ることができる。撮影者に撮像装置１００がどの程度傾いているかを報知することで、撮像装置１００の傾きを抑制させることができる。

図６は、ロール補正の切替処理と水平を示す表示の表示処理を示すフローチャートである。図６に示される各処理は、制御部１４０および表示制御部１２２が、ＲＯＭ１４１等の読み取り可能な記憶媒体に格納されたプログラムを実行することにより実現される。本処理は、例えば電源ボタン１０４ａが押下されることにより撮像装置１００の電源がＯＮになった場合に開始される。図６では、第１実施形態と同様の処理については同じ符号を付すことでその説明を省略し、異なる処理について説明を行う。

ステップＳ４０２において表示部１２１以外への映像出力があると判定された場合、ステップＳ６０１に進む。ステップＳ６０１で、制御部１４０は、表示部１２１以外へ出力する映像に対しロール補正をオンに設定する。ロール補正がオンに設定されると、画像処理部１１６は撮像した映像に対しロール補正処理を実行する。その後、ステップＳ６０２に進む。ステップＳ６０２で、制御部１４０は、表示部１２１へ出力する映像に対しロール補正をオフに設定する。その後、ステップＳ６０３に進む。ステップＳ６０３で、表示制御部１２２は、表示部１２１へ出力する映像に対し、撮像装置の傾きを示す表示を重畳表示する。例えば、表示制御部１２２は、撮像装置の傾きを示す表示として水平を示す表示５０３を重畳表示する。その後、ステップＳ４０４に進む。以上の処理により、表示部１２１以外への映像出力がある場合、表示部１２１に表示する映像にはロール補正を行わずに撮像装置１００の傾きを撮影者に報知するための表示を重畳表示し、出力映像のみにロール補正を行うことができる。

以上説明したように、本実施形態によると、撮像装置が有する表示部以外に出力する映像にのみロール補正を行うことができる。主観測者は、視聴者と異なる傾きの映像を見ることになるが、撮像装置の表示部に映像と共に表示される撮像装置の傾きを示す表示により撮像装置１００がどの程度傾いているかを知ることができる。これにより、撮像装置１００が極端に傾けて使用されることを抑制して、出力映像が極端にトリミングされることを抑制することができる。

（第３実施形態）
第１実施形態および第２実施形態では、ロール補正の切替について説明したが、第３実施形態ではロール補正の切替に伴う収音方法の切替について説明する。撮像装置１００は、動画撮影を行う際の収音を、モノラルまたはステレオで行うことが可能である。図１（Ａ）および図２に示されるように、本実施形態の撮像装置１００は左右一対のマイクエレメント（マイク１５０およびマイク穴１０３ｂ）を備えている。

左右一対のマイクエレメントを使用し収音をステレオで行う場合、撮像装置１００が水平状態からロール方向に傾くにつれ、一対のマイクエレメントも水平状態からロール方向に傾くこととなる。ロール補正を行わない場合は、映像の傾きとステレオで収音された音声のステレオ感は一致している。一方、ロール補正を行った場合は、ロール補正後の映像の傾きとステレオで収音された音声のステレオ感が一致せず、上下方向の音を左右方向からの音と誤認するなど、適切なステレオ感が得られないため視聴者は違和感を覚える。そこで本実施形態では、ロール補正を行う場合には、収音をステレオではなくモノラルで行うように制御する。

図７は、ロール補正の切替処理と収音方法の切替処理を示すフローチャートである。図７に示される各処理は、制御部１４０が、ＲＯＭ１４１等の読み取り可能な記憶媒体に格納されたプログラムを実行することにより実現される。本処理は、例えば電源ボタン１０４ａが押下されることにより撮像装置１００の電源がＯＮになった場合に開始される。図７では、第１実施形態と同様の処理については同じ符号を付すことでその説明を省略し、異なる処理について説明を行う。

表示部１２１以外への映像の出力がありロール補正を実行する場合（ステップＳ４０２でＹＥＳ、ステップＳ４０３）、ステップＳ７０１で、制御部１４０は、音声の収音をモノラルで行うよう決定する。一方、表示部１２１のみに映像を出力するためロール補正を実行しない場合（ステップＳ４０２でＮＯ、ステップＳ４０５）、ステップＳ７０２で、制御部１４０は、音声の出力があるか否か判定する。スピーカ１５１または音声出力端子１５２からの音声の出力がある場合は音声出力があると判定し、ステップＳ７０３に進む。一方、音声出力がないと判定した場合はステップＳ４０４に進む。ステップＳ７０３で、制御部１４０は、音声の収音をステレオで行うよう決定する。その後、ステップ４０４に進む。

なお、ステップＳ７０１では、ロール補正を実行する場合に一律でモノラルでの収音に切り替える例を説明したが、これに限られるものではない。ロール補正後の映像とステレオ音声に視聴者が違和感を覚えるほど大きなズレが生じる場合にのみモノラルでの収音に切り替えればよく、例えば、撮像装置１００の傾きに応じてモノラルとステレオのいずれの収音方法を実行するか決定するようにしてもい。この場合、撮像装置１００の傾きが所定の傾き未満である場合にはステレオでの収音を実行し、撮像装置１００の傾きが所定の傾き以上になった場合にはモノラルでの収音に切り替える。なお、撮像装置１００の傾きに加えて、傾きが所定時間以上経過したか否かも加味して判定するようにしてもよい。また、本実施形態では、収音方法を切り替える例について説明したが、収音は常にステレオで行い出力する音声をモノラルとステレオで切り替えるようにしてもよい。

以上説明したように、本実施形態によると、表示部１２１以外への映像出力が有る場合に、収音方法をモノラルに切り替えることで、撮像装置１００が傾けて使用されていたとしても映像と音声の不一致を抑制することができる。

なお、各実施形態では画像処理によってロール補正を実行する例を説明したが、撮像素子１１１を撮像光学系１１０に対して駆動させることでロール補正を実行するものであってもよい。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施例に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１００ 撮像装置
１１１ 撮像素子
１１５ 撮像素子制御部
１１６ 画像処理部
１２１ 表示部
１３０ データ記憶媒体
１３１ 接続端子
１４０ 制御手段
１４４ 通信手段

Claims (12)

1. 画像を撮像する撮像部と前記画像を表示する表示部を有する撮像装置であって、
   前記画像にロール補正を行う補正手段と、
   前記画像の出力を制御する出力手段と、
   出力された前記画像を前記表示部に表示する表示制御手段と、を備え、
   前記補正手段は、前記出力手段が前記表示部のみに画像を出力する場合の前記ロール補正の補正度合いが、前記出力手段が前記表示部以外にも画像を出力する場合の前記ロール補正の補正度合いよりも小さくなるように前記ロール補正を行うことを特徴とする撮像装置。
2. 前記補正手段は、前記出力手段が前記表示部のみに画像を出力する場合は前記ロール補正を停止することを特徴とする請求項１に記載の撮像装置。
3. 前記表示部以外にも画像を出力する場合には、所定のモードが設定された場合が含まれることを特徴とする請求項１または２に記載の撮像装置。
4. 前記補正手段は、前記撮像部により撮像された前記画像に対して電子的にロール補正を行い、
   前記出力手段が前記表示部以外にも画像を出力する場合に、前記表示部以外に出力する画像の方が、前記表示部に出力する画像よりも、前記ロール補正の補正度合いが高くなるように、前記表示部以外に出力する画像と前記表示部に出力する画像の夫々に対してロール補正を行うことを特徴とする請求項１または２に記載の撮像装置。
5. 前記表示制御手段は、前記撮像装置の傾きを示す表示を表示することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記表示制御手段は、前記撮像装置の傾きを示す表示として水平を示す表示を重畳表示することを特徴とする請求項５に記載の撮像装置。
7. モノラルとステレオのいずれかで収音を行う収音手段を備え、
   前記収音手段は、前記出力手段が前記表示部のみに画像を出力する場合にはステレオでの収音を行い、前記出力手段が前記表示部以外にも画像を出力する場合にはモノラルでの収音を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. モノラルとステレオのいずれかで収音を行う収音手段を備え、
   前記収音手段は、前記出力手段が前記表示部のみに画像を出力する場合にはステレオでの収音を行い、前記出力手段が前記表示部以外にも画像を出力する場合には前記撮像装置の傾きに応じてモノラルでの収音とステレオでの収音を切り替えることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
9. 前記表示部以外の画像の出力先は、記録媒体または外部装置であることを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記外部装置は、画像を表示する表示手段を備えた電子機器であることを特徴とする請求項９に記載の撮像装置。
11. 画像を撮像する撮像部と前記画像を表示する表示部を有する撮像装置の制御方法であって、
    前記撮像部により撮像された画像の出力先が前記表示部のみであるか否か判定する工程と、
    前記判定に応じてロール補正手段を制御する工程と、を有し、
    前記ロール補正手段を制御する工程では、表示部のみに画像を出力すると判定された場合にはロール補正を行わず、前記表示部以外にも画像を出力すると判定された場合にはロール補正を行うよう制御することを特徴とする撮像装置の制御方法。
12. 請求項１乃至１０のいずれか１項に記載の撮像装置の各手段としてコンピュータを機能させるためのプログラム。

Images