JP2017130735A - 表示制御装置、表示制御方法及びコンピュータプログラム - Google Patents

Abstract

【課題】ユーザの要求を満たすよう、写真画像の構図決定の補助となる補助線を画面に重畳表示して、操作可能とする制御を行うことが可能な表示制御装置、表示制御方法及びコンピュータプログラムを提供する。
【解決手段】カメラによる撮像時において、構図決定の補助となる補助線の画面への表示態様を、画面に対するユーザの操作に応じて制御する制御部を備える、表示制御装置は、ユーザの要求を満たした、構図決定の補助となる補助線ｓ１を表示する制御を行う。
【選択図】図１７

Description

本開示は、表示制御装置、表示制御方法及びコンピュータプログラムに関する。

デジタルスチルカメラやデジタルビデオカメラは、撮像者（ユーザ）にとって撮像時の構図決定の補助となる水準器や補助線を、ファインダやディスプレイに表示する機能を備えているものが多い。例えば特許文献１には、補助線の視認性を向上させるための技術が開示されている。

特開２００５−１９８０３５号公報

しかし、ユーザが撮像しようとする被写体によっては、予め用意されている水準器や補助線ではユーザの要求を満たさない。

そこで本開示では、ユーザの要求を満たした、構図決定の補助となる補助線を表示する制御を行うことが可能な、新規かつ改良された表示制御装置、表示制御方法及びコンピュータプログラムを提案する。

本開示によれば、画面に対するユーザの前記操作に応じて、撮像時における構図決定の補助となる補助線の画面への表示態様を制御する制御部を備える、表示制御装置が提供される。

また本開示によれば、画面に対するユーザの操作に応じて、撮像時における構図決定の補助となる補助線の画面への表示態様を制御することを含む、表示制御方法。

また本開示によれば、コンピュータに、画面に対するユーザの操作に応じて、撮像時における構図決定の補助となる補助線の画面への表示態様を制御することを実行させる、コンピュータプログラム。

以上説明したように本開示によれば、ユーザの要求を満たした、構図決定の補助となる補助線を表示する制御を行うことが可能な、新規かつ改良された表示制御装置、表示制御方法及びコンピュータプログラムを提供することが出来る。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の実施の形態に係る画像処理装置１００の構成例を示すブロック図である。 本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。 本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。 本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。 表示部１１０に表示される画像の例を示す説明図である。 表示部１１０に表示される画像の例を示す説明図である。 表示部１１０に表示される画像の例を示す説明図である。 本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。 表示部１１０に表示される画像の例を示す説明図である。 表示部１１０に表示される画像の例を示す説明図である。 表示部１１０に表示される画像の例を示す説明図である。 本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。 表示部１１０に表示される画像の例を示す説明図である。 表示部１１０に表示される画像の例を示す説明図である。 表示部１１０に表示される画像の例を示す説明図である。 本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。 表示部１１０に表示される画像の例を示す説明図である。 表示部１１０に表示される画像の例を示す説明図である。 表示部１１０に表示される画像の例を示す説明図である。 画像処理装置１００による補助線の描画処理の例を示す説明図である。 ４台の画像処理装置１００ａ〜１００ｄが同一の被写体を撮像している様子の一例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．本開示の実施の形態
１．１．背景
１．２．構成例
１．３．動作例
２．まとめ

＜１．本開示の実施の形態＞
［１．１．背景］
まず、本開示の実施の形態の背景について説明する。

上述したように、デジタルスチルカメラやデジタルビデオカメラを使用して風景や建物等を被写体として撮像するユーザは、確実に水平を出したいという欲求や、正確に構図設定したい欲求がある。そのようなユーザの欲求を満たすために、デジタルスチルカメラやデジタルビデオカメラは、撮像者（ユーザ）にとって撮像時の構図決定の補助となる水準器や補助線を、ファインダやディスプレイに表示する機能を備えているものが多い。

日の丸構図、三分割構図などの一般的な構図で撮像する場合は、デジタルスチルカメラが予め用意している水準器や補助線がユーザの撮像時の構図決定の補助となりうる。水準器は、デジタルカメラが水平になっているかどうかをユーザに提示するものであり、補助線は、例えば三分割構図の撮像の際の補助となるように縦や横に等間隔で引かれている。ユーザは、ファインダやディスプレイに表示される水準器や補助線を使用して構図を決定することで、上述した一般的な構図での撮像が可能になる。しかし、ユーザが撮像しようとする被写体によっては、デジタルスチルカメラが予め用意している水準線や補助線がユーザの撮像時の構図決定の補助とならない場合がある。

例えば、水準器はデジタルスチルカメラが水平かどうかを提示することが出来るが、デジタルスチルカメラの水平が構図的には水平では無い場合がある。また、既存の補助線は、一般的な構図で撮像するために画面を縦及び横に三分割するように表示されることが多いが、既存の水準器や補助線では構図を決定しにくい場合もある。

また、自然の風景など被写体が主に曲線で構成いる場合には、既存の水準器や補助線は直線で表示されるために構図の決定に利用しにくい場合がある。さらに、建物などの被写体の構図を厳密に決定したい場合に既存の水準器や補助線は構図決定の補助とならない場合もある。

従って、既存の補助線や水準器では、ユーザの要求に完全に応えることが出来ていなかった。

そこで本件開示者は、上述した背景に鑑み、撮像時にユーザが所望する補助線を表示することが出来る技術について鋭意検討を行った。その結果、本件開示者は、ユーザの操作に応じて撮像時にユーザが所望する補助線を表示することが出来る技術を考案するに至った。

以上、本開示の実施の形態の背景について説明した。続いて、本開示の実施の形態について詳細に説明する。

［１．２．構成例］
まず、本開示の実施の形態に係る画像処理装置１００の構成例について説明する。図１は、本開示の実施の形態に係る画像処理装置１００の構成例を示すブロック図である。以下、図１を用いて本開示の実施の形態に係る画像処理装置１００の構成例について説明する。

図１に示したように、本開示の実施の形態に係る画像処理装置１００は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２、バス１１６及び制御部１１８を備える。

（１）撮像部
撮像部１０２は、ズームレンズフォーカスレンズ、撮像素子などからなる、画像を撮像するカメラモジュールである。撮像部１０２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。撮像部１０２により生成される一連の撮像画像は、実空間を映す映像を構成する。なお、撮像部１０２は、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される撮像装置が撮像部１０２として扱われてもよい。また、撮像部１０２におけるズームレンズやフォーカスレンズは、画像処理装置１００から着脱可能に設けられていても良い。

（２）センサ部
センサ部１０４は、測位センサ、加速度センサ、ジャイロセンサ、地磁気センサ、照度センサ、温度センサ、または気圧センサなどの様々なセンサを含み得る。センサ部１０４により測定され得る画像処理装置１００の位置、姿勢又は動きは、カメラの位置及び姿勢の認識の支援、地理的な位置に特化したデータの取得、又はユーザからの指示の認識などの様々な用途のために利用されてよい、なお、センサ部１０４は、画像処理装置１００の構成から省略されてもよい。

測位センサとしては、例えば具体的には、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機、および／または通信装置などを含みうる。ＧＮＳＳは、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）、ＧＬＯＮＡＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、ＢＤＳ（ＢｅｉＤｏｕ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）、ＱＺＳＳ（Ｑｕａｓｉ−Ｚｅｎｉｔｈ Ｓａｔｅｌｌｉｔｅｓ Ｓｙｓｔｅｍ）、またはＧａｌｉｌｅｏなどを含みうる。また測位センサとしては、例えば、無線ＬＡＮ、ＭＩＭＯ（Ｍｕｌｔｉ−Ｉｎｐｕｔ Ｍｕｌｔｉ−Ｏｕｔｐｕｔ）、セルラー通信（例えば携帯基地局を使った位置検出、フェムトセル）、または近距離無線通信（例えばＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、Ｂｌｕｅｔｏｏｔｈ（登録商標））などの技術を利用して位置を検出するものが含まれうる。

（３）入力部
入力部１０６は、ユーザが画像処理装置１００を操作し又は画像処理装置１００へ情報を入力するために使用される入力デバイスである。入力部１０６は、例えば、表示部１１０の画面上へのユーザによるタッチを検出するタッチセンサを含んでもよい。当該タッチセンサは、２点以上の接触を検知可能であることが望ましいが、２点以上の接触を検知可能なものに限定されるものではない。その代わりに（又はそれに加えて）、入力部１０６は、マウスまたはタッチパッドなどのポインティングデバイスを含んでもよい。さらに、入力部１０６は、キーボード、キーパッド、ボタン又はスイッチなどのその他の種類の入力デバイスを含んでもよい。

（４）記憶部
記憶部１０８は、半導体メモリ又はハードディスクなどの記憶媒体により構成され、画像処理装置１００による処理のためのプログラム及びデータを記憶する。記憶部１０８により記憶されるデータは、例えば、撮像画像データ、センサデータ及び後に説明する補助線データを含み得る。なお、本明細書で説明するプログラム及びデータの一部は、記憶部１０８により記憶されることなく、外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。

（５）表示部
表示部１１０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）またはＯＬＥＤ（Ｏｒｇａｎｉｃ ｌｉｇｈｔ−Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などのディスプレイを含む表示モジュールである。表示部１１０は、例えば、画像処理装置１００により生成される出力画像を表示するために使用される。なお、表示部１１０もまた、必ずしも画像処理装置１００の一部でなくてもよい。例えば、画像処理装置１００と有線又は無線で接続される表示装置が表示部１１０として扱われてもよい。

表示部１１０には、制御部１１８の制御により、例えば、スルー画像、すなわち、撮像部１０２が逐次撮像する被写体画像が表示される。また表示部１１０には、制御部１１８の制御により補助線が描画される。表示部１１０に表示される補助線は、上記スルー画像に重畳されうるが、スルー画像に重畳されていなくてもよい。

（６）通信部
通信部１１２は、画像処理装置１００による他の装置との間の通信を仲介する通信インタフェースである。通信部１１２は、任意の無線通信プロトコル又は有線通信プロトコルをサポートし、他の装置との間の通信接続を確立する。

（７）バス
バス１１６は、撮像部１０２、センサ部１０４、入力部１０６、記憶部１０８、表示部１１０、通信部１１２及び制御部１１８を相互に接続する。

（８）制御部
制御部１１８は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）などのプロセッサに相当する。制御部１１８は、記憶部１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、後に説明する画像処理装置１００の様々な機能を動作させる。

本実施形態では、制御部１１８は、入力部１０６に対するユーザの入力操作に応じて、ユーザの撮像時の構図決定の補助となる補助線を表示部１１０に表示させる。制御部１１８が、入力部１０６に対するユーザの入力操作に応じて、ユーザの撮像時の構図決定の補助となる補助線を表示部１１０に表示させることで、画像処理装置１００は、ユーザが所望する補助線を表示部１１０に表示することができる。

以上、図１を用いて本開示の実施の形態に係る画像処理装置１００の構成例について説明した。続いて、本開示の実施の形態に係る画像処理装置１００の動作例について説明する。

［１．３．動作例］
図２は、本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。図２に示したのは、ユーザの入力操作に応じて、ユーザの撮像時の構図決定の補助となる補助線を表示する際の、画像処理装置１００の動作例である。以下、図２を用いて本開示の実施の形態に係る画像処理装置１００の動作例について説明する。

画像処理装置１００は、ユーザによる、入力部１０６を使用した補助線の描画を開始する入力操作を検出するまで待機する（ステップＳ１０１）。入力操作の検出は制御部１１８が行う。

画像処理装置１００は、例えば、表示部１１０に表示される画像処理装置１００の設定画面から、ユーザの入力部１０６を使用した所定の入力操作に応じて、補助線を表示部１１０に描画するための画面に遷移して、補助線を描画するための入力操作の受け付けを行っても良い。また画像処理装置１００は、表示部１１０に設けられるタッチパネルに対するユーザの所定のジェスチャ操作を認識して、補助線を表示部１１０に描画するための画面に遷移してもよい。ユーザは、画像処理装置１００を三脚等で固定した後は、その画像処理装置１００を動かしたくないという要求が強い。従って画像処理装置１００は、表示部１１０に設けられるタッチパネルに対するユーザの所定のジェスチャ操作によって補助線を表示部１１０に描画するための画面に遷移することで、ユーザの上記要求を満たすことが出来る。

画像処理装置１００は、補助線を表示部１１０に描画するための画面を表示部１１０に表示している間、撮像部１０２が逐次撮像する被写体画像（スルー画像）を表示部１１０に表示し続けても良い。画像処理装置１００は、スルー画像を表示部１１０に表示し続けている状態で、ユーザの入力部１０６を使用した所定の入力操作に応じて、補助線を表示部１１０に描画することで、より効率的にユーザに補助線を任意に描画させることができる。

画像処理装置１００は、補助線を表示部１１０に描画するための画面を表示部１１０に表示している間、記憶部１０８に保存されている画像の中から１枚の画像を読み出し、その読み出した画像を表示部１１０に表示し続けても良い。画像処理装置１００は、記憶部１０８から読み出した画像を表示部１１０に表示し続けている状態で、ユーザの入力部１０６を使用した所定の入力操作に応じて、補助線を表示部１１０に描画することで、より効率的にユーザに補助線を任意に描画させることができる。

補助線の描画を開始する入力操作は特定の操作に限定されるものでは無い。例えば、後述するように、表示部１１０の縁の部分をユーザの指が接触または近接すると、画像処理装置１００は表示部１１０への補助線の描画を開始しても良い。また例えば、後述するように、既に表示部１１０に補助線が描画されている状態において、その補助線をユーザの指が接触または近接すると、画像処理装置１００は表示部１１０へのその補助線の描画（編集や移動）を開始しても良い。

ユーザによる、入力部１０６を使用した補助線の描画を開始する入力操作を検出すると（ステップＳ１０１、Ｙｅｓ）、続いて画像処理装置１００は、ユーザによる、入力部１０６を使用した入力操作に応じた補助線の表示部１１０への描画を行う（ステップＳ１０２）。入力操作に応じた補助線の表示部１１０への描画は制御部１１８が行う。

そして画像処理装置１００は、ユーザによる、入力部１０６を使用した補助線の描画を終了する入力操作を検出するまで待機する（ステップＳ１０３）。ユーザによる、入力部１０６を使用した補助線の描画を終了する入力操作を検出すると（ステップＳ１０３、Ｙｅｓ）、画像処理装置１００は、ユーザの入力操作に応じた補助線の描画を終了する。

以上、図２を用いて本開示の実施の形態に係る画像処理装置１００の動作例について説明した。続いて、画像処理装置１００による補助線の描画の具体例について詳細に説明する

図３は、本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。図３に示したのは、ユーザの入力操作に応じて、ユーザの撮像時の構図決定の補助となる補助線を表示部１１０に描画する際の、画像処理装置１００の動作例である。以下、図３を用いて本開示の実施の形態に係る画像処理装置１００の動作例について説明する。

画像処理装置１００（制御部１１８）は、補助線を表示部１１０に描画する際に、ユーザの入力操作に応じて、補助線の追加処理（ステップＳ１１１）、補助線の描画処理（ステップＳ１１２）、及び補助線の移動処理（ステップＳ１１３）を行う。また画像処理装置１００は、ユーザの入力操作に応じて、描画した補助線の精度向上処理（ステップＳ１１４）を行う。補助線の精度向上のための入力操作は、例えば表示部１１０に表示されている画像の拡大や縮小のための操作であり、画像の拡大の操作としては、例えば表示部１１０に対するピンチアウト操作や、入力部１０６に設けられている拡大のための操作があり、画像の縮小の操作としては、例えば表示部１１０に対するピンチイン操作や、入力部１０６に設けられている縮小のための操作がありうる。

表示部１１０への補助線の追加処理（ステップＳ１１１）及び補助線の描画処理（ステップＳ１１２）の例について説明する。図４は、本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。図４に示したのは、補助線の追加処理及び補助線の描画処理を行う際の画像処理装置１００の動作例である。

画像処理装置１００は、補助線の始点の指定を行う所定の操作（例えば、表示部１１０への指などの接触または近接）をユーザが行ったことを検出すると（ステップＳ１２１）、ユーザが設定しようとする補助線の始点を表示部１１０へ設定する。

図５は、ユーザが補助線の始点を指定する操作を行う様子を示す説明図である。図５は、補助線の始点の指定を行う所定の操作として、ユーザの手Ｕ１の指が表示部１１０の上辺の１点に接触する様子を示す説明図である。ユーザの手Ｕ１の指が表示部１１０の上辺の１点に接触したことを検出すると、制御部１１８は、ユーザの手Ｕ１の指が接触した位置を補助線の始点に設定する。

続いて画像処理装置１００は、補助線の長さや角度の調整を行う所定の操作（例えば、表示部１１０に対する補助線の始点の位置からのドラッグ操作）をユーザが行ったことを検出すると（ステップＳ１２２）、ユーザが設定しようとする補助線の長さや角度を表示部１１０へ設定する。

図６は、ユーザが補助線の長さや角度を調整する操作を行う様子を示す説明図である。図６は、補助線の長さや角度を調整する操作として、図５に示した位置からのユーザの手Ｕ１の指のドラッグ操作を行っている様子を説明図である。ユーザがドラッグ操作を行っていることを検出すると、制御部１１８は、そのドラッグ操作に応じて、補助線を始点の位置から直線で表示部１１０に描画する。

続いて画像処理装置１００は、補助線の終点の指定を行う所定の操作（例えば、表示部１１０への指などの接触または近接の解除）をユーザが行ったことを検出すると（ステップＳ１２３）、ユーザが設定しようとする補助線の終点を表示部１１０へ設定する。

図７は、ユーザが補助線の終点を指定する操作を行う様子を示す説明図である。図７は、補助線の終点の指定を行う所定の操作として、ユーザの手Ｕ１の指が表示部１１０から離れた様子を示す説明図である。ユーザの手Ｕ１の指が表示部１１０から離れたことを検出すると、制御部１１８は、ユーザの手Ｕ１の指が表示部１１０から離れた位置を補助線の終点に設定する。

画像処理装置１００は、上述の一連の動作を実行することで、ユーザの操作に応じて補助線を表示部１１０に描画することができる。もちろん、画像処理装置１００はユーザの操作に応じて複数の補助線を表示部１１０に描画することができる。ただ、補助線を増やしすぎると帰って構図決定の妨げとなる場合もあると考えられるので、画像処理装置１００は、ユーザの操作に応じて描画できる補助線の数に上限を設けても良い。画像処理装置１００は、ユーザの操作に応じて補助線を表示部１１０に描画することで、画像処理装置１００は、ユーザが撮影時に所望する補助線を表示部１１０に表示することができる。なお、図５〜図７にはユーザの操作に応じて描画される補助線のみが表示部１１０に表示されている状態が示されているが、上述したように、画像処理装置１００は、ユーザの操作に応じて補助線を表示部１１０に描画する際にスルー画像を表示部１１０に表示し続けていてもよい。

また、図５〜図７で示した例では、ユーザに補助線の始点を指定させて補助線の終点までドラッグさせることで表示部１１０に補助線を任意に描画させていたが、本開示は係る例に限定されるものではない。画像処理装置１００は、補助線の始点及び終点の２点をユーザに順次指定させることで表示部１１０に補助線を描画してもよい。

画像処理装置１００は、表示部１１０に一度描画した補助線を、ユーザの操作に応じて移動したり変形したりすることができる。続いて、表示部１１０への補助線の移動処理（ステップＳ１１３）の例について説明する。図８は、本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。図８に示したのは、補助線の平行移動処理を行う際の画像処理装置１００の動作例である。

画像処理装置１００は、平行移動対象の補助線の指定を行う所定の操作（例えば、表示部１１０への指などの接触または近接）をユーザが行ったことを検出すると（ステップＳ１３１）、ユーザが平行移動させようとする補助線を決定する。

図９は、ユーザが平行移動対象の補助線を指定する操作を行う様子を示す説明図である。図９は、平行移動対象の補助線の指定を行う所定の操作として、ユーザの手Ｕ１の指が表示部１１０に表示されている補助線上の１点に接触する様子を示す説明図である。ユーザの手Ｕ１の指が表示部１１０に表示されている補助線上の１点に接触したことを検出すると、制御部１１８は、ユーザの手Ｕ１の指が接触した位置にある補助線を平行移動対象に設定する。

続いて画像処理装置１００は、補助線の平行移動を行う所定の操作（例えば、補助線の接触位置からの表示部１１０に対するドラッグ操作）をユーザが行ったことを検出すると（ステップＳ１３２）、ユーザの操作に応じて表示部１１０に描画している補助線を平行移動させる。

図１０は、ユーザが補助線を平行移動させる操作を行う様子を示す説明図である。図１０は、補助線を平行移動させる操作として、図９に示した位置からのユーザの手Ｕ１の指のドラッグ操作を行っている様子を説明図である。ユーザがドラッグ操作を行っていることを検出すると、制御部１１８は、そのドラッグ操作に応じて、表示部１１０に描画している補助線を平行移動させる。

続いて画像処理装置１００は、補助線の平行移動を終了する所定の操作（例えば、表示部１１０への指などの接触または近接の解除）をユーザが行ったことを検出すると（ステップＳ１３３）、表示部１１０に描画している補助線の平行移動を終了する。

図１１は、ユーザが補助線の平行移動を終了する操作を行う様子を示す説明図である。図１１は、補助線の平行移動を終了する所定の操作として、ユーザの手Ｕ１の指が表示部１１０から離れた様子を示す説明図である。ユーザの手Ｕ１の指が表示部１１０から離れたことを検出すると、制御部１１８は、表示部１１０に描画している補助線の平行移動を終了する。

なお、図９〜図１１にはユーザの操作に応じて描画される補助線のみが表示部１１０に表示されている状態が示されているが、上述したように、画像処理装置１００は、ユーザの操作に応じて補助線を表示部１１０に描画する際にスルー画像を表示部１１０に表示し続けていてもよい。

図１２は、本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。図１２に示したのは、補助線の回転移動処理を行う際の画像処理装置１００の動作例である。

画像処理装置１００は、回転移動対象の補助線の指定を行う所定の操作（例えば、表示部１１０への指などの接触または近接）をユーザが行ったことを検出すると（ステップＳ１４１）、ユーザが移動させようとする補助線を決定する。図１３は、ユーザが移動対象の補助線を指定する操作を行う様子を示す説明図である。図１３は、移動対象の補助線の指定を行う所定の操作として、ユーザの手Ｕ１の２本の指がそれぞれ表示部１１０に表示されている補助線の両端に接触する様子を示す説明図である。ユーザの手Ｕ１の指が表示部１１０に表示されている補助線の両端に接触したことを検出すると、制御部１１８は、ユーザの手Ｕ１の指が接触した位置にある補助線を回転移動対象に設定する。

続いて画像処理装置１００は、補助線の回転移動を行う所定の操作（例えば、補助線の接触位置からの表示部１１０に対するドラッグ操作）をユーザが行ったことを検出すると（ステップＳ１４２）、ユーザの操作に応じて表示部１１０に描画している補助線を回転移動させる。図１４は、ユーザが補助線を回転移動させる操作を行う様子を示す説明図である。図１４は、補助線を回転移動させる操作として、図１３に示した位置からのユーザの手Ｕ１の指のドラッグ操作を行っている様子を説明図である。ユーザがドラッグ操作を行っていることを検出すると、制御部１１８は、そのドラッグ操作に応じて、表示部１１０に描画している補助線を回転移動させる。

続いて画像処理装置１００は、補助線の回転移動を終了する所定の操作（例えば、表示部１１０への指などの接触または近接の解除）をユーザが行ったことを検出すると（ステップＳ１４３）、表示部１１０に描画している補助線の回転移動を終了する。図１５は、ユーザが補助線の移動を終了する操作を行う様子を示す説明図である。図１５は、補助線の回転移動を終了する所定の操作として、ユーザの手Ｕ１の指が２本とも表示部１１０から離れた様子を示す説明図である。ユーザの手Ｕ１の指が２本とも表示部１１０から離れたことを検出すると、制御部１１８は、表示部１１０に描画している補助線の回転移動を終了する。なお、図１３〜図１５にはユーザの操作に応じて描画される補助線のみが表示部１１０に表示されている状態が示されているが、上述したように、画像処理装置１００は、ユーザの操作に応じて補助線を表示部１１０に描画する際にスルー画像を表示部１１０に表示し続けていてもよい。

ユーザによる補助線の回転移動の操作は係る例に限定されるものではない。例えば、ユーザが補助線の一端を指で接触した状態で別の指で補助線上の任意の場所を接触してドラッグ操作を行ったことを検出すると、画像処理装置１００は、その操作に基づいて表示部１１０に描画している補助線を回転移動させてもよい。

次に、表示部１１０へ描画した補助線の精度向上処理（ステップＳ１１４）の例について説明する。図１６は、本開示の実施の形態に係る画像処理装置１００の動作例を示す流れ図である。図１６に示したのは、表示部１１０へ描画した補助線の精度向上処理を行う際の画像処理装置１００の動作例である。

画像処理装置１００は、補助線の精度向上を行うために表示部１１０の画像を拡大する所定の操作（例えば、表示部１１０に対するピンチアウト操作）をユーザが行ったことを検出すると（ステップＳ１５１）、表示部１１０の画像を拡大する処理を行う。

図１７は、表示部１１０に対する拡大処理が行われた後の状態を示す説明図である。図１７には、表示部１１０に拡大前の元の画像ｐ１及び、補助線ｓ１が重畳されている拡大後の画像ｐ２が表示されている状態が示されている。なお、画像ｐ１は、撮像部１０２が撮像している画像（スルー画像）であってもよい。

続いて画像処理装置１００は、補助線の精度向上を行う所定の操作（例えば、補助線の接触位置からの表示部１１０に対するドラッグ操作）をユーザが行ったことを検出すると（ステップＳ１５２）、ユーザの操作に応じて表示部１１０に描画している補助線を平行移動させる。

図１８は、ユーザが補助線ｓ１を平行移動させる操作を行う様子を示す説明図である。図１８は、補助線ｓ１を平行移動させる操作として、図１７に示した位置からのユーザの手Ｕ１の指のドラッグ操作を行っている様子を説明図である。ユーザがドラッグ操作を行っていることを検出すると、制御部１１８は、そのドラッグ操作に応じて、表示部１１０に描画している補助線ｓ１を平行移動させる。もちろん、補助線の精度向上を行う所定の操作によって行われるのは補助線ｓ１の平行移動に限られず、補助線ｓ１の回転移動が行われても良い。

画像処理装置１００は、補助線の精度向上を終了するために表示部１１０の画像を縮小する（元の表示に戻す）所定の操作（例えば、表示部１１０に対するピンチイン操作）をユーザが行ったことを検出すると（ステップＳ１５３）、表示部１１０の画像を縮小して元の表示に戻す処理を行う。図１９は、表示部１１０に対する縮小処理が行われた後の状態を示す説明図である。図１９には、表示部１１０に補助線ｓ１が重畳されている元の画像ｐ１が表示されている状態が示されている。

画像処理装置１００は、このように表示部１１０に表示している画像の拡大処理を受け付けることで、ユーザに補助線の精度を向上させることが出来る。

以上説明したように、画像処理装置１００は、ユーザの操作に応じて、ユーザの撮像の補助となる補助線を表示部１１０に表示することが出来る。画像処理装置１００は、ユーザの操作に応じて補助線を表示部１１０に表示する際に、スルー画像に重畳することで、ユーザの構図決定を効果的に補助することが可能になる。

上述の説明では、操作体の一例としてユーザが指を使用して補助線を任意に描画する例を示したが、本開示は係る例に限定されるものではなく、画像処理装置１００は、ユーザの身体の一部では無く、スタイラスなどのデバイスによる補助線の描画を受け付けても良い。

上述の例では、画像処理装置１００は、ユーザの操作に応じて補助線を表示部１１０に描画していたが、本開示は係る例に限定されるものではない。例えば、撮像部１０２が撮像している画像に対する画像処理を行い、その画像処理の結果に応じて補助線を表示部１１０に表示してもよい。

例えば、撮像部１０２が撮像している画像に建物が含まれ、その建物の境界に補助線を合わせたい場合に、画像処理装置１００はユーザの操作に応じて補助線を表示部１１０に描画することも出来るが、画像処理によってその建物のエッジを検出し、そのエッジの位置に補助線を描画しても良い。

図２０は、画像処理装置１００による補助線の描画処理の例を示す説明図である。図２０に示したのは、撮像部１０２が撮像している画像ｐ１１に対する画像処理によって補助線を画像ｐ１１に重畳して描画する処理の一例である。画像処理装置１００は、撮像部１０２が撮像している画像ｐ１１にエッジ検出のための所定のフィルタを通して画像ｐ１２を生成する。そして画像処理装置１００は、画像ｐ１２に対してエッジ検出を行い、例えば直線部分が最も長いエッジに補助線ｓ１１を描画する。

画像処理装置１００は、このように描画した補助線ｓ１１に対しても、もちろんユーザの操作に応じて平行移動処理や回転移動処理、精度向上処理を行いうる。

画像処理装置１００は、ユーザに描画させた補助線を、記憶部１０８や、通信部１１２を通じて外部の装置に保存してもよい。画像処理装置１００は、補助線の保存を自動的に行っても良く、ユーザの所定の操作に応じて行っても良い。画像処理装置１００は、補助線を保存する際には、位置情報や向きの情報等と一緒に保存しても良い。

また、画像処理装置１００は、保存した補助線を、ユーザの所定の操作に応じて読み出してもよい。また画像処理装置１００は、補助線を読み出す際に、画像処理装置１００の現在位置情報や向きの情報を用いて読み出す補助線を決定しても良い。補助線の情報と一緒にその補助線を設定した画像処理装置１００の位置や向きの情報が保存されていれば、画像処理装置１００は、その位置や向きの情報に合致した、または似ていた補助線を読み出すことが出来る。画像処理装置１００は、補助線を読み出す際に、画像処理装置１００の現在位置情報や向きの情報を用いて読み出す補助線を決定することで、他のユーザが設定した補助線をユーザに使用させて、撮像の参考にさせることが可能になる。

また画像処理装置１００は、撮像した画像を記憶部１０８に保存する際に、ユーザが設定した補助線が重畳された状態の画像を保存しても良い。画像処理装置１００は、ユーザが設定した補助線が重畳された状態の画像を保存することで、補助線がどのように撮像画像に生かされているかをユーザに確認させることが出来る。

画像処理装置１００は、ユーザの入力部１０６を使用した所定の操作や、所定のジェスチャ操作に応じて、表示部１１０に描画した補助線に関係した別の補助線を表示させても良い。例えば、画像処理装置１００は、ユーザの入力部１０６を使用した所定の操作や、所定のジェスチャ操作に応じて、表示部１１０に描画した補助線から見て、表示部１１０の水平方向または垂直方向に線対称となる位置に、別の補助線を新たに描画しても良い。画像処理装置１００は、線対称となる位置に新たな補助線を描画することで、上下または左右のバランスが取れた構図での撮像の補助となりうる。

画像処理装置１００は、補助線として直線以外のものもユーザに表示部１１０に描画させることができる。画像処理装置１００は、例えば、補助線としてユーザに自由に線を表示部１１０に描画させても良く、また線を描画する操作の他に、正円や楕円を描画する操作、正三角形、正四角形その他の図形を描画する操作に応じて、補助線としてそれらの図形を表示部１１０に描画しても良い。また画像処理装置１００は、例えば、複数の線が補助線として表示部１１０に描画されている状態で、ユーザの操作によってそれぞれの線の端部が連結されると、その連結された線を一つの図形とした補助線を表示部１１０に描画しても良い。

画像処理装置１００は、撮像時の撮像モードに応じて補助線の色や線種、形状を変化させても良い。撮像モードとは、画像処理装置１００を使用して被写体を撮像する際に、撮像する被写体や撮像時の状況に応じて、絞り、シャッタ速度、ＩＳＯ感度、ホワイトバランス、色調や彩度、顔認識の有無、ストロボ発光の有無、スローシンクロの有無、等のパラメータを自動的に設定するためのものである。

例えば、ユーザが撮像モードとして風景の撮像に適したモードを選択した場合、画像処理装置１００は、補助線を直線ではなくフリーハンドでユーザに描画させるようにしてもよい。自然の風景は直線では無く曲線で構成されることが多いからである。また例えば、ユーザが撮像モードとして人物の撮像に適したモードを選択した場合、画像処理装置１００は、補助線を直線ではなく、人物の顔が収まるように正円や楕円などでユーザに描画させるようにしてもよい。

なお画像処理装置１００は、撮像時の撮像モードの他に、ユーザが設定したシャッタ速度や絞りの設定によって補助線の色や線種、形状を変化させても良い。

画像処理装置１００は、センサ部１０４が取得したセンサデータにより得られる姿勢や、三脚への固定の有無によって、ユーザに描画させる補助線の候補を変化させても良い。例えば、画像処理装置１００は、センサ部１０４が取得したセンサデータから、画像処理装置１００が縦向きであるか、横向きであるかに応じてユーザに描画させる補助線の候補を変化させても良い。

また画像処理装置１００は、撮像しようとする画像が静止画なのか動画なのかで、ユーザに描画させる補助線の線種や形状などを変化させても良い。撮像しようとする画像が静止画なのか動画なのかで、ユーザが所望する補助線の形状や形態は異なる場合もあるからである。

また画像処理装置１００は、撮像部１０２が撮像している画像の認識結果に基づいてユーザに描画させる補助線の線種や形状などを変化させても良い。撮像部１０２が撮像している画像の認識は制御部１１８が実行しうる。画像処理装置１００は、撮像部１０２が撮像している画像を認識して、撮像部１０２が撮像している画像に人物の顔が含まれていれば、補助線を直線ではなく、人物の顔が収まるように正円や楕円などでユーザに描画させるようにしてもよい。

また画像処理装置１００は、撮像部１０２に備えられている（レンズが着脱可能である場合には、画像処理装置１００に装着された）レンズが有する特性に応じてユーザに描画させる補助線の候補を変化させても良い。例えば画像処理装置１００は、撮像部１０２に備えられているレンズが、中心射影方式のレンズである通常のレンズか、等距離射影方式のレンズである魚眼レンズかに応じて、ユーザに描画させる補助線の候補を変化させても良い。

制御部１１８は、どのようなレンズが画像処理装置１００に装着されているかを、予め、またはレンズとの通信によって知りうる。例えば、魚眼レンズ等の、撮像される画像の歪みが大きくなるレンズが撮像部１０２に備えられていれば、画像処理装置１００は、直線ではなく円弧状の補助線を、ユーザの操作に応じて表示部１１０に描画してもよい。

上述した補助線の描画は、例えば、カメラと連携して撮像の指示を行うスマートフォンやタブレット端末などの携帯端末が行っても良い。例えば、カメラで撮像した画像を表示する携帯端末が、ユーザの操作に応じて画面上に補助線を描画する処理を行っても良い。

複数の画像処理装置１００を使用して同一の被写体を撮像する際に、他の画像処理装置１００との間で補助線を連動させてもよい。図２１は、４台の画像処理装置１００ａ〜１００ｄが同一の被写体を撮像している様子の一例を示す説明図である。

画像処理装置１００ａは、ユーザの操作に応じて表示部１１０に補助線を描画すると、その補助線の情報を他の画像処理装置１００ｂ〜１００ｄに送信しても良い。画像処理装置１００ａから補助線の情報を受信した画像処理装置１００ｂ〜１００ｄは、画像処理装置１００ａが描画した位置に合わせて補助線をそれぞれの表示部１１０に描画しても良い。

このように、補助線の情報を装置間で連動させることで、複数の画像処理装置１００を使用して同一の被写体を撮像する際に、被写体の位置合わせが容易になる。例えば、画像中の被写体の垂直方向の位置を合わせたい場合に、このように複数の画像処理装置１００ａ〜１００ｄで補助線の位置を連動させると、その位置合わせが容易となり得る。

上述した画像処理装置１００による補助線の描画処理は、例えば、医療用途にも用いられうる。例えば内視鏡により患者の体内を撮像しながら手術を行う内視鏡手術システムにおいて、上述した画像処理装置１００の処理を適用することで、内視鏡が撮像した画像を表示する画面に対し、術者の操作に応じて画面上に補助線の描画を行うことが可能になる。

画像処理装置１００は、ユーザの所定の操作に基づいて、表示部１１０に描画した補助線を１本ずつ、または全て消去してもよい。また画像処理装置１００は、ユーザの所定の操作に応じて、表示部１１０に描画した補助線を複製してもよい。ユーザがフリーハンドで描いた補助線を複数使用したい場合に、この補助線の複製機能は有益である。

＜２．まとめ＞
以上説明したように本開示の実施の形態によれば、ユーザの操作に応じて画面上に撮像の補助となる補助線を任意に描画する画像処理装置１００が提供される。本開示の実施の形態に係る画像処理装置１００は、例えば、表示部１１０に対するユーザの指などの接触または近接による操作を検出し、検出した操作の内容に応じた表示部１１０への補助線の描画を行う。

本開示の実施の形態に係る画像処理装置１００は、このようにユーザの操作に応じて画面上に撮像の補助となる補助線を任意に描画することで、撮像時にユーザが所望する補助線を表示することを可能とする。

本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアまたはハードウェア回路で構成することで、一連の処理をハードウェアまたはハードウェア回路で実現することもできる。

また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの一部又は全部は、たとえばインターネット等のネットワークを介して接続されるサーバ装置で実現されてもよい。また上述の説明で用いた機能ブロック図で示したそれぞれの機能ブロックの構成は、単独の装置で実現されてもよく、複数の装置が連携するシステムで実現されても良い。複数の装置が連携するシステムには、例えば複数のサーバ装置の組み合わせ、サーバ装置と端末装置との組み合わせ等が含まれ得る。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、ユーザが補助線の描画操作を行う入力装置は、メガネ型のウェアラブルデバイスやＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の、ユーザによって装着されるデバイスであってもよく、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて補助線の描画のために各種の入力が行われてもよい。また、ユーザが補助線の描画操作を行う入力装置は、ユーザの動きを検出可能なカメラであってもよい。当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて補助線の描画のための各種の入力が行われ得る。また、ユーザが補助線の描画操作を行う入力装置は、ユーザの声を収音可能なマイクロフォンであってもよい。当該マイクロフォンを介して音声によって補助線の描画のための各種の入力が行われ得る。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像時における構図決定の補助となる補助線の画面への表示態様を、画面に対するユーザの操作に応じて制御する制御部を備える、表示制御装置。
（２）
前記制御部は、前記画面に表示されるスルー画像に重畳して前記補助線を表示させる、前記（１）に記載の表示制御装置。
（３）
前記ユーザによる操作は、前記画面への操作体の接触または近接である、前記（１）または（２）に記載の表示制御装置。
（４）
前記制御部は、被写体の認識結果に基づいて補助線を前記画面に表示させる、前記（１）〜（３）のいずれかに記載の表示制御装置。
（５）
前記制御部は、撮像時におけるモードに応じて前記補助線の画面への表示を制御する、前記（１）〜（４）のいずれかに記載の表示制御装置。
（６）
前記制御部は、前記モードに応じて前記補助線の形状を変化させる、前記（５）に記載の表示制御装置。
（７）
前記制御部は、前記モードに応じて前記補助線の線種を変化させる、前記（５）または（６）に記載の表示制御装置。
（８）
前記制御部は、前記操作に対応して、他の装置に表示されている補助線の表示態様を制御する、前記（１）〜（７）のいずれかに記載の表示制御装置。
（９）
前記制御部は、検出した前記操作に応じて前記補助線を前記画面に表示させる際に、既に表示している補助線と関係した別の補助線を表示させる、前記（１）〜（８）のいずれかに記載の表示制御装置。
（１０）
前記制御部は、検出した前記操作に応じて前記補助線を前記画面に表示させる際に前記画面において線対称となるよう別の補助線を表示させる、前記（９）に記載の表示制御装置。
（１１）
前記制御部は、撮像時に使用されるレンズの特性に応じて前記補助線の画面への表示を制御する、前記（１）〜（１０）のいずれかに記載の表示制御装置。
（１２）
前記制御部は、撮像時に使用されるレンズが中心射影方式のレンズか中心射影方式のレンズで無いかに応じて前記補助線の画面への表示を制御する、前記（１１）に記載の表示制御装置。
（１３）
前記制御部は、撮像時の位置情報に基づいて前記補助線の画面への表示を制御する、前記（１）〜（１２）のいずれかに記載の表示制御装置。
（１４）
前記制御部は、他の装置で作成された補助線の情報を位置情報に基づいて取得して、取得した前記情報を用いて前記補助線の画面への表示を制御する、前記（１３）に記載の表示制御装置。
（１５）
前記制御部は、前記画面に対する所定のジェスチャ操作の検出に応じて、前記補助線の前記画面への表示を制御する、前記（１）〜（１４）のいずれかに記載の表示制御装置。
（１６）
撮像時における構図決定の補助となる補助線の画面への表示態様を、画面に対するユーザの操作に応じて制御することを含む、表示制御方法。
（１７）
撮像時における構図決定の補助となる補助線の画面への表示態様を、画面に対するユーザの操作に応じて制御することをコンピュータに実行させる、コンピュータプログラム。

１００ ：画像処理装置
１０２ ：撮像部
１０４ ：センサ部
１０６ ：入力部
１０８ ：記憶部
１１０ ：表示部
１１２ ：通信部
１１６ ：バス
１１８ ：制御部

Claims (17)

1. 撮像時における構図決定の補助となる補助線の画面への表示態様を、画面に対するユーザの操作に応じて制御する制御部を備える、表示制御装置。
2. 前記制御部は、前記画面に表示されるスルー画像に重畳して前記補助線を表示させる、請求項１に記載の表示制御装置。
3. 前記ユーザによる操作は、前記画面への操作体の接触または近接である、請求項１に記載の表示制御装置。
4. 前記制御部は、被写体の認識結果に基づく所定の前記補助線を前記画面に表示させる、請求項１に記載の表示制御装置。
5. 前記制御部は、撮像時におけるモードに応じて前記補助線の画面への表示を制御する、請求項１に記載の表示制御装置。
6. 前記制御部は、前記モードに応じて前記補助線の形状を変化させる、請求項５に記載の表示制御装置。
7. 前記制御部は、前記モードに応じて前記補助線の線種を変化させる、請求項５に記載の表示制御装置。
8. 前記制御部は、前記操作に対応して、他の装置に表示されている補助線の表示態様を制御する、請求項１に記載の表示制御装置。
9. 前記制御部は、検出した前記操作に応じて前記補助線を前記画面に表示させる際に、既に表示している補助線と関係した別の補助線を表示させる、請求項１に記載の表示制御装置。
10. 前記制御部は、検出した前記操作に応じて前記補助線を前記画面に表示させる際に前記画面において線対称となるよう別の補助線を表示させる、請求項９に記載の表示制御装置。
11. 前記制御部は、撮像時に使用されるレンズの特性に応じて前記補助線の画面への表示を制御する、請求項１に記載の表示制御装置。
12. 前記制御部は、撮像時に使用されるレンズが中心射影方式のレンズか中心射影方式のレンズで無いかに応じて前記補助線の画面への表示を制御する、請求項１１に記載の表示制御装置。
13. 前記制御部は、位置情報に基づいて前記補助線の画面への表示を制御する、請求項１に記載の表示制御装置。
14. 前記制御部は、他の装置で作成された補助線の情報を位置情報に基づいて取得して、取得した前記情報を用いて前記補助線の画面への表示を制御する、請求項１３に記載の表示制御装置。
15. 前記制御部は、前記画面に対する所定のジェスチャ操作の検出に応じて、前記補助線の前記画面への表示を制御する、請求項１に記載の表示制御装置。
16. 撮像時における構図決定の補助となる補助線の画面への表示態様を、画面に対するユーザの操作に応じて制御することを含む、表示制御方法。
17. 撮像時における構図決定の補助となる補助線の画面への表示態様を、画面に対するユーザの操作に応じて制御することをコンピュータに実行させる、コンピュータプログラム。