JP2016063472A - 携帯端末および携帯端末の制御方法 - Google Patents

Abstract

【課題】表示デバイスを持たないレンズ型カメラであっても、通信タイムラグのないライブビュー画像の表示を行うことができるようにする。【解決手段】撮像手段と、表示手段と、外部の撮像装置と無線通信を行う通信手段と、前記外部の撮像装置の撮像画像である第１の撮像画像および前記撮像手段が撮像した撮像画像である第２の撮像画像から被写体領域を検出する被写体領域検出手段と、前記第１の撮像画像と前記第２の撮像画像の被写体領域の位置を比較する位置比較手段と、前記第１の撮像画像と前記第２の撮像画像の被写体領域のサイズを比較する被写体領域サイズ比較手段と、前記第２の撮像画像を前記第１の撮像画像と同じ画角となるようにリサイズする撮像画像リサイズ手段とを有し、前記表示手段は、前記撮像画像リサイズ手段によってリサイズされた第２の撮像画像をライブビュー画像として表示する。【選択図】図１

Description

本発明は携帯端末および携帯端末の制御方法に関し、特に、無線通信可能な撮像装置の撮像画像を表示するために用いて好適な技術に関する。

近年、撮像装置に無線通信機能を搭載し、撮像画像をワイヤレスで他の機器に送信する技術が知られている。例えば、特許文献１には、第１の撮像装置が撮像した画像をワイヤレスで第２の撮像装置にリアルタイムに送信し、その画像を第２の撮像装置の表示部で常時確認することが可能な技術が記載されている。

また、撮像画像を他の機器に送信することを想定し、自身は表示部を持たないレンズスタイルカメラも知られている。レンズスタイルカメラでは、表示部を持つ携帯端末等の機器に装着して撮影するスタイルが主流となっており、ユーザは携帯端末上の表示部において、レンズスタイルカメラの撮像画像をリアルタイムに確認することが可能である。

図７は、レンズスタイルカメラ７００をアタッチメント７０２で携帯端末７０１の背面に装着している状態を示している。レンズスタイルカメラ７００は、携帯端末７０１にワイヤレスで撮像画像を随時送信し、携帯端末７０１は、受信した撮像画像をライブビュー画像として、随時更新しながら表示部に表示する。これにより、ユーザは、ライブビュー画像をリアルタイムに確認することが可能となる。

特開２００７−８１５３７号公報

しかしながら、特許文献１に記載の撮像装置では、第１の撮像装置の撮像画像を第２の撮像装置にワイヤレスで送信するため、第１の撮像装置が撮像してから第２の撮像装置が画像を表示するまでに通信タイムラグが発生する。そのため、ユーザが第２の撮像装置が受信した画像を見ながら撮影する場合、通信タイムラグ分遅延したタイミングでシャッターを押すこととなり、シャッターチャンスを逃す可能性が高くなる問題がある。

特に、前述したレンズスタイルカメラのような表示部を持たない撮像装置の場合、ユーザが確認可能なライブビュー画像は、常にワイヤレスで送信された撮像画像であるため、シャッターチャンスを逃す可能性はより高くなる。
本発明は前述の問題点に鑑み、通信タイムラグのないライブビュー画像の表示を行うことができるようにすることを目的とする。

本発明の携帯端末は、撮像手段と、表示手段と、外部の撮像装置と無線通信を行う通信手段と、前記外部の撮像装置の撮像画像である第１の撮像画像および前記撮像手段が撮像した撮像画像である第２の撮像画像から被写体領域を検出する被写体領域検出手段と、前記第１の撮像画像と前記第２の撮像画像の被写体領域の位置を比較する位置比較手段と、前記第１の撮像画像と前記第２の撮像画像の被写体領域のサイズを比較する被写体領域サイズ比較手段と、前記第２の撮像画像を前記第１の撮像画像と同じ画角となるようにリサイズする撮像画像リサイズ手段とを有し、前記表示手段は、前記撮像画像リサイズ手段によってリサイズされた第２の撮像画像をライブビュー画像として表示することを特徴とする。

本発明によれば、携帯端末に搭載されている撮像部が撮像した画像からライブビュー画像を作成し表示することで、通信タイムラグのないライブビュー画像の表示を行うことができる。

第１の実施形態における撮像装置及び携帯端末の構成例を示すブロック図である。 第１の実施形態における撮像装置及び携帯端末の外観を示す図である。 第１の実施形態における撮像画像とライブビュー画像の一例を示す図である。 第１の実施形態におけるスマートフォンの動作について説明するフローチャートである。 第２の実施形態における撮像画像とライブビュー画像の一例を示す図である。 第２の実施形態におけるスマートフォンの動作について説明するフローチャートである。 レンズスタイルカメラの一例を説明する図である。

以下に、本発明を実施するための形態について、添付の図面を用いて詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。また、各実施の形態を適宜組み合せることも可能である。

［第１の実施形態］
図１は、本発明の携帯端末を用いた通信システム全体の構成例を示すブロック図である。
なお、ここでは撮像装置の一例としてデジタルカメラ、携帯端末の一例としてスマートフォンについて述べるが、これに限られない。それぞれ、例えば携帯型のメディアプレーヤやいわゆるタブレットデバイス、パーソナルコンピュータ等の情報処理装置であってもよい。

まず、デジタルカメラＡ１００について説明する。
制御部Ａ１０１は、入力された信号や、後述のプログラムに従ってデジタルカメラＡ１００の各部を制御する。なお、制御部Ａ１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。

撮像部Ａ１０２は、例えば、光学レンズユニットと絞り・ズーム・フォーカス等制御する光学系と、光学レンズユニットを経て導入された光（映像）を電気的な映像信号に変換するための撮像素子等で構成される。撮像素子としては、一般的には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）や、ＣＣＤ（Charge Coupled Device Image Sensor）が利用される。

撮像部Ａ１０２は、制御部Ａ１０１に制御されることにより、撮像部Ａ１０２に含まれるレンズで結像された被写体光を、撮像素子により電気信号に変換し、ノイズ低減処理等を行い、デジタルデータを画像データとして出力する。本実施形態のデジタルカメラＡ１００では、画像データは、ＤＣＦ（Design rule for Camera File system）の規格に従って、記録媒体Ａ１１０に記録される。

不揮発性メモリＡ１０３は、電気的に消去・記録可能な不揮発性のメモリであり、制御部Ａ１０１で実行される後述のプログラム等が格納される。
作業用メモリＡ１０４は、撮像部Ａ１０２で撮像された画像データを一時的に保持するバッファメモリや、表示部Ｂ１０６の画像表示用メモリ、制御部Ａ１０１の作業領域等として使用される。

操作部Ａ１０５は、デジタルカメラＡ１００に対する指示をユーザから受け付けるために用いられる。操作部Ａ１０５は例えば、ユーザがデジタルカメラＡ１００の電源のＯＮ／ＯＦＦを指示するための電源ボタンや、撮像を指示するためのレリーズスイッチ、画像データの再生を指示するための再生ボタンを含む。さらに、後述の接続部Ａ１１１を介して外部機器との通信を開始するための専用の接続ボタン等の操作部材を含む。なお、不図示のレリーズスイッチは、ＳＷ１およびＳＷ２を有する。

レリーズスイッチが、いわゆる半押し状態となることにより、ＳＷ１がＯＮとなる。これにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の、静止画の撮像準備を行う指示を受け付ける。また、レリーズスイッチが、いわゆる全押し状態となることにより、ＳＷ２がＯＮとなる。これにより、静止画の撮像を行う指示を受け付ける。

記録媒体Ａ１１０は、撮像部Ａ１０２から出力された画像データを記録することができる。記録媒体Ａ１１０は、デジタルカメラＡ１００に着脱可能なように構成してもよいし、デジタルカメラＡ１００に内蔵されていてもよい。すなわち、デジタルカメラＡ１００は少なくとも記録媒体Ａ１１０にアクセスする手段を有していればよい。

接続部Ａ１１１は、外部装置と接続するためのインターフェースである。本実施形態のデジタルカメラＡ１００は、接続部Ａ１１１を介して、外部装置とデータのやりとりを行うことができる。なお、本実施形態では、接続部Ａ１１１は外部装置とＩＥＥＥ８０２．１１の規格に従った、いわゆる無線ＬＡＮにより通信するためのインターフェースを含む。制御部Ａ１０１は、接続部Ａ１１１を制御することで外部装置との無線通信を実現する。

近距離無線通信部Ａ１１２は、他機との非接触近距離通信を実現するための通信ユニットである。近距離無線通信部Ａ１１２は、無線通信のためのアンテナと無線信号を処理するための変復調回路や通信コントローラから構成される。近距離無線通信部Ａ１１２は、変調した無線信号をアンテナから出力し、またアンテナで受信した無線信号を復調することにより非接触近距離通信を実現する。ここでは、ＩＳＯ／ＩＥＣ １８０９２の規格（いわゆるＮＦＣ：Near Field Communication）に従った非接触通信を実現する。

近距離無線通信部Ａ１１２は、他のデバイスからデータ読み出し要求を受けると、不揮発性メモリＡ１０３に格納されているデータに基づき、応答データを出力する。本実施形態では、近距離無線通信部Ａ１１２は、後述のスマートフォンＢ１００の近距離無線通信部Ｂ１１２と近接・離反した際に、スマートフォンＢ１００の近接・離反の検出、スマートフォンＢ１００からの信号強度情報の受信等に利用される。
以上がデジタルカメラＡ１００の説明である。

次に、スマートフォンＢ１００について説明する。
制御部Ｂ１０１は、入力された信号や、後述のプログラムに従ってスマートフォンＢ１００の各部を制御する。なお、制御部Ｂ１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。

撮像部Ｂ１０２は、例えば、光学レンズユニットと絞り・ズーム・フォーカス等制御する光学系と、光学レンズユニットを経て導入された光（映像）を電気的な映像信号に変換するための撮像素子等で構成される。撮像素子としては、一般的には、ＣＭＯＳや、ＣＣＤが利用される。撮像部Ｂ１０２は、制御部Ｂ１０１に制御されることにより、撮像部Ｂ１０２に含まれるレンズで結像された被写体光を、撮像素子により電気信号に変換し、ノイズ低減処理等を行い、デジタルデータを画像データとして出力する。本実施形態のスマートフォンＢ１００では、画像データは、ＤＣＦの規格に従って、記録媒体Ｂ１１０に記録される。

不揮発性メモリＢ１０３は、電気的に消去・記録可能な不揮発性のメモリであり、制御部Ｂ１０１で実行される後述のプログラム等が格納される。
作業用メモリＢ１０４は、撮像部Ｂ１０２で撮像された画像データを一時的に保持するバッファメモリや、表示部Ｂ１０６の画像表示用メモリ、制御部Ｂ１０１の作業領域等として使用される。

操作部Ｂ１０５は、ユーザがスマートフォンＢ１００に対する指示をユーザから受け付けるために用いられる。操作部Ｂ１０５は例えば、ユーザがスマートフォンＢ１００の電源のＯＮ／ＯＦＦを指示するための電源ボタンや、画面遷移を指示するための操作ボタンを含む。また、後述する表示部Ｂ１０６に形成されるタッチパネルも操作部Ｂ１０５に含まれる。

表示部Ｂ１０６は、撮像した静止画像データの表示、対話的な操作のためのＧＵＩ（Graphical User Interface）表示等を行う。なお、表示部Ｂ１０６は必ずしもスマートフォンＢ１００が内蔵する必要はない。スマートフォンＢ１００は表示内容を制御する表示制御機能を少なくとも有していればよい。

記録媒体Ｂ１１０は、撮像部Ｂ１０２から出力された画像データを記録することができる。記録媒体Ｂ１１０は、スマートフォンＢ１００に着脱可能なように構成してもよいし、スマートフォンＢ１００に内蔵されていてもよい。すなわち、スマートフォンＢ１００は少なくとも記録媒体Ｂ１１０にアクセスする手段を有していればよい。

接続部Ｂ１１１は、外部装置と接続するためのインターフェースである。本実施形態のスマートフォンＢ１００は、接続部Ｂ１１１を介して、外部装置とデータのやりとりを行うことができる。なお、本実施形態では、接続部Ｂ１１１は外部装置とＩＥＥＥ８０２．１１の規格に従った、いわゆる無線ＬＡＮで通信するためのインターフェースを含む。制御部Ｂ１０１は、接続部Ｂ１１１を制御することで外部装置との無線通信を実現する。

近距離無線通信部Ｂ１１２は、他機との非接触近距離通信を実現するための通信ユニットである。近距離無線通信部Ｂ１１２は、無線通信のためのアンテナと無線信号を処理するための変復調回路や通信コントローラから構成される。近距離無線通信部Ｂ１１２は、変調した無線信号をアンテナから出力し、またアンテナで受信した無線信号を復調することにより非接触近距離通信を実現する。ここでは、ＩＳＯ／ＩＥＣ １８０９２の規格（いわゆるＮＦＣ）に従った非接触通信を実現する。

近距離無線通信部Ｂ１１２は、他のデバイスからデータ読み出し要求を受けると、不揮発性メモリＢ１０３に格納されているデータに基づき、応答データを出力する。本実施形態では、近距離無線通信部Ｂ１１２は、前述のデジタルカメラＡ１００の近距離無線通信部Ａ１１２と近接・離反した際に、デジタルカメラＡ１００の近接・離反の検出、デジタルカメラＡ１００からの信号強度情報の受信等に利用される。

公衆無線通信部Ｂ１１３は、基地局Ｃ１００を介して公衆網Ｄ１００を利用した通信を実現するためのインターフェースである。公衆無線通信部Ｂ１１３は、無線通信のためのアンテナと無線信号を処理するため変復調回路や通信コントローラから構成され、Ｗ−ＣＤＭＡ（ＵＭＴＳ）やＬＴＥ（Long Term Evolution）等の規格に従って公衆無線通信を実現する。
以上がスマートフォンＢ１００の説明である。

なお、図１では、デジタルカメラＡ１００とスマートフォンＢ１００とが１対１で通信し得ることを示す図を例に挙げて説明しているが、１対多での通信も可能である。 本実施形態における近距離無線通信の実現においては、各機器の互いの近距離無線通信部同士を近接させることにより通信を開始して接続される。なお、この近距離無線通信を実現するためには、必ずしも近距離無線通信部同士を接触させる必要はない。

近距離無線通信部は一定の距離だけ離れていても、通信することができるため、ここでは近距離無線通信可能な範囲まで近づければよい。以下の説明では、この近距離無線通信可能な範囲まで近づけることを「近接させる」と記載する。

また、互いの近距離無線通信部が近距離無線通信不可能な範囲にあれば、通信は開始されない。また、互いの近距離無線通信部が近距離無線通信可能な範囲にあって、機器同士が通信接続されている際に、互いの近距離無線通信部が近距離無線通信不可能な範囲に離れてしまった場合は、通信接続が解除される。なお、近距離無線通信部Ａ１１２及び近距離無線通信部Ｂ１１２が実現する非接触近距離通信はＮＦＣに限られるものではなく、他の無線通信を採用してもよい。例えば、近距離無線通信部Ａ１１２及び近距離無線通信部Ｂ１１２が実現する非接触近距離通信として、ＩＳＯ／ＩＥＣ １４４４３の規格に従った非接触近距離通信を採用してもよい。

図２は、デジタルカメラＡ１００とスマートフォンＢ１００の外観を示す図である。
本実施形態のデジタルカメラＡ１００とスマートフォンＢ１００は、例えばユーザによるメニュー操作を介して、互いの接続部同士の通信を行う指示を受け付け、ユーザによるパラメータの入力等を経て、無線ＬＡＮによる通信を確立することができる。

また、互いの近距離無線通信部を介して接続部同士の通信をするためのパラメータを共有することで、ユーザにパラメータを入力させることを必要とすることなく無線ＬＡＮによる通信を確立することも可能である。この技術は、いわゆるハンドオーバーと呼ばれる。
いずれの手順でも、無線ＬＡＮでの通信が確立した後は、無線ＬＡＮを介して、例えばデジタルカメラＡ１００をスマートフォンＢ１００でリモートコントロールすることができる。

次に、本実施形態における、スマートフォンＢ１００が撮像した画像からライブビュー画像を作成する方法について、図３を用いて説明する。
図３は、本実施形態におけるデジタルカメラＡ１００及びスマートフォンＢ１００の撮像画像、及びライブビュー画像の一例を示す図である。なお、ここではデジタルカメラＡ１００とスマートフォンＢ１００は、それぞれの撮像画像の中に同一の被写体を捉えている場合について説明する。

図３（ａ）はデジタルカメラＡ１００が撮像した画像であり、図３（ｂ）はスマートフォンＢ１００が撮像した画像を示す。本実施形態では、スマートフォンＢ１００が後述する処理を行う際、スマートフォンＢ１００内では、図３（ａ）（ｂ）に示す撮像画像は同じ大きさ、すなわち各辺長は同じ長さとして処理を行うこととする。また、図３（ａ）（ｂ）に示す撮像画像の上辺長をα、右辺長をβとする。

まず、スマートフォンＢ１００は、デジタルカメラＡ１００が撮像した図３（ａ）に示す画像を取得し、取得した撮像画像から被写体を検出し、被写体領域Ａ３０１を検出する。ここで、被写体とは、撮像画像内の前景にあたる人や動物等の全体あるいは一部のことを示し、例えば各画素の色情報や、複数の特徴点（目、口、鼻等）の位置関係等から、撮像画像内の被写体を検出する。また、被写体領域とは、例えば被写体検出時の色情報を基に、同じ色情報が連続した画素を検出し、更に画素間のコントラスト情報を基に被写体の全体像を求め矩形状に囲んだ領域とする。

次に、被写体領域Ａ３０１の中心位置Ａ３０２の座標と、被写体領域Ａ３０１の各辺長を算出する。ここで、中心位置Ａ３０２の座標とは、デジタルカメラＡ１００が撮像した画像の左下端を原点、下辺をＸ軸、左辺をＹ軸とする２次元平面上のＸＹ座標で表すものとする。

図３（ｃ）及び（ｅ）には、被写体領域Ａ３０１と、被写体領域Ａ３０１の中心位置Ａ３０２を示す。ここでは、中心位置Ａ３０２の座標を（Ｘａ，Ｙａ）、被写体領域Ａ３０１の上辺長をＬａ、被写体領域Ａ３０１の右辺長をＭａとする。

次に、スマートフォンＢ１００は、スマートフォンＢ１００が撮像した図３（ｂ）に示す画像から被写体を検出し、被写体領域Ｂ３０１を検出する。その後、被写体領域Ｂ３０１の中心位置Ｂ３０２の座標と、被写体領域Ｂ３０１の各辺長を算出する。算出方法は、被写体領域Ａ３０１の中心位置Ａ３０２の座標と、被写体領域Ａ３０１の各辺長の算出方法と同様とする。

図３（ｄ）及び（ｆ）には、被写体領域Ｂ３０１と、被写体領域Ｂ３０１の中心位置Ｂ３０２を示す。ここでは、中心位置Ｂ３０２の座標を（Ｘｂ，Ｙｂ）、被写体領域Ｂ３０１の上辺長をＬｂ、被写体領域Ｂ３０１の右辺長をＭｂとする。

次に、被写体領域Ａ３０１の各辺長と被写体領域Ｂ３０１の各辺長を比較し、被写体領域Ａ３０１と被写体領域Ｂ３０１とを比較する被写体領域サイズ比較を行い、大きさのずれを算出する。ここでは、被写体領域Ｂ３０１の上辺長は、被写体領域Ａ３０１の上辺長のＬｂ／Ｌａ倍、被写体領域Ｂ３０１の右辺長は、被写体領域Ａ３０１の右辺長のＭｂ／Ｍａ倍となっている。なお、本実施形態においては、被写体領域Ａ３０１と被写体領域Ｂ３０１の縦横比は等しい、すなわち、Ｌｂ／Ｌａ＝Ｍｂ／Ｍａとする。

次に、被写体領域の中心位置Ａ３０２と被写体領域の中心位置Ｂ３０２の座標を比較する位置比較を行い、被写体領域Ａ３０１と被写体領域Ｂ３０１の２次元平面上でのずれを算出する。ここでは、先に算出した被写体領域の大きさのずれも考慮して算出する。つまり、中心位置Ａ３０２と中心位置Ｂ３０２のＸ軸方向のずれは、Ｘｂ−Ｘａ・Ｌｂ／Ｌａとなり、Ｙ軸方向のずれは、Ｙｂ−Ｙａ・Ｌｂ／Ｌａとなる。

前述のようにして算出した、被写体領域Ａ３０１と被写体領域Ｂ３０１のズーム方向のずれ、及び２次元平面上でのずれより、スマートフォンＢ１００の撮像画像から、デジタルカメラＡ１００の撮像画像と同じ画角になる範囲を算出する。ここでは、図３（ｆ）に示すＢ３０３の範囲となるように、撮像画像リサイズ処理が行なわれる。

次に、スマートフォンＢ１００の撮像画像からＢ３０３の範囲を切り出し、切り出した範囲を、表示部Ｂ１０６の全面に表示できる大きさにリサイズし、表示部Ｂ１０６に表示する。図３（ｇ）には、スマートフォンＢ１００の撮像画像内から切り出す範囲を示す。図３（ｇ）に示すＢ３０３の範囲を切り出し、リサイズして表示部Ｂ１０６に表示することで、図３（ａ）に示すデジタルカメラＡ１００の撮像画像と同じ画角でライブビュー画像を表示することが可能となる。

また、制御部Ｂ１０１は、第２の撮像画像をリサイズする倍率を作業用メモリＢ１０４に記憶することにより、一度リサイズした後は、常に同じ倍率でリサイズし続けるようにすることが可能となる。
以上が、本実施形態における、スマートフォンＢ１００が撮像した画像からライブビュー画像を作成する方法である。

次に、本実施形態におけるスマートフォンＢ１００の動作について、図４のフローチャートを用いて説明する。
図４のフローチャートに示す処理は、スマートフォンＢ１００の制御部Ｂ１０１が入力信号やプログラムに従い、デジタルカメラＡ１００及びスマートフォンＢ１００の各部を制御することにより実現される。また、図４のフローチャートは、接続部Ａ１１１及び接続部Ｂ１１１を介して、デジタルカメラＡ１００とスマートフォンＢ１００の無線通信が確立し、各種情報の送受信が可能となった時点で開始される。

Ｓ４０１では、制御部Ｂ１０１は、デジタルカメラＡ１００がスマートフォンＢ１００に装着されているか否かを判断する装着判断処理を行う。装着されているか否かの判断は、例えばデジタルカメラＡ１００がスマートフォンＢ１００に近接し、近距離無線通信が可能である状態か否かの判断としてもよい。装着されていると判断した場合、処理はＳ４０２に進む。装着されていないと判断した場合、処理はＳ４１７に進む。
Ｓ４０２では、制御部Ｂ１０１は、デジタルカメラＡ１００が撮像した画像（以降、第１の撮像画像）を作業用メモリＢ１０４に取得する。

Ｓ４０３では、制御部Ｂ１０１は、第１の撮像画像内から被写体が検出できたか否かを判断する。被写体が検出できたと判断した場合、処理はＳ４０４に進む。被写体が検出できないと判断した場合、処理はＳ４１８に進む。
Ｓ４０４では、制御部Ｂ１０１は、Ｓ４０３で検出された被写体の被写体領域（以降、第１の被写体領域）を検出する、被写体領域検出処理を行う。

Ｓ４０５では、制御部Ｂ１０１は、第１の被写体領域の各辺長及び、第１の被写体領域の中心位置座標を算出する。
Ｓ４０６では、制御部Ｂ１０１は、撮像部Ｂ１０２を起動して機能を有効とし、撮像部Ｂ１０２が撮像した画像（以降、第２の撮像画像）を取得する。

Ｓ４０７では、制御部Ｂ１０１は、第２の撮像画像内に、Ｓ４０３で検出した被写体と同一の被写体が存在するか否かを判断する。同一の被写体が存在するか否かの判断は、例えば、Ｓ４０３で検出した被写体と色情報や、複数の特徴点の位置関係が一致する被写体が、第２の撮像画像内から検出できるか否かの判断とする。同一の被写体が存在すると判断した場合、処理はＳ４０８に進む。同一の被写体が存在しないと判断した場合、処理はＳ４１８に進む。

Ｓ４０８では、制御部Ｂ１０１は、Ｓ４０３で検出した被写体と同一の被写体の被写体領域（以降、第２の被写体領域）を検出する。
Ｓ４０９では、制御部Ｂ１０１は、第２の被写体領域の各辺長及び、第２の被写体領域の中心位置座標を算出する。

Ｓ４１０では、制御部Ｂ１０１は、第１の被写体領域と第２の被写体領域を比較する。ここでは、第１の被写体領域の各辺長と、第２の被写体領域の各辺長を比較し、各辺長のずれによって、第１の撮像画像と第２の撮像画像の大きさのずれを算出する。また、第１の被写体領域の中心位置座標と、第２の被写体領域の中心位置座標とを比較し、２つの座標のずれによって第１の撮像画像と第２の撮像画像の２次元平面上のずれを算出する。

Ｓ４１１では、制御部Ｂ１０１は、Ｓ４１０で算出した、第１の被写体領域と第２の被写体領域の大きさのずれ、及び中心位置座標のずれから、第２の撮像画像から第１の撮像画像と同じ画角となる範囲を算出する。

Ｓ４１２では、制御部Ｂ１０１は、第２の撮像画像からＳ４１１で算出した範囲を切り出す。
Ｓ４１３では、制御部Ｂ１０１は、Ｓ４１２で切り出した範囲を表示部Ｂ１０６の全面に表示できる大きさにリサイズする。
Ｓ４１４では、制御部Ｂ１０１は、Ｓ４１３でリサイズした撮像画像を表示部Ｂ１０６に表示する。

Ｓ４１５では、制御部Ｂ１０１は、操作部Ａ１０５あるいは操作部Ｂ１０５がライブビューを終了する操作を受け付けたか否かを判断する。ここで、ライブビューを終了する操作とは、例えばレリーズスイッチに対する撮像指示操作や、再生モードへのモード切り替え操作、電源をＯＦＦにする操作等とする。ライブビューを終了する操作を受け付けたと判断した場合、処理は終了する。ライブビューを終了する操作を受け付けていないと判断した場合、処理はＳ４１６に進む。

Ｓ４１６では、制御部Ｂ１０１は、デジタルカメラＡ１００がスマートフォンＢ１００に装着されているか否かを判断する。装着されていると判断した場合、処理はＳ４１２に戻る。装着されていないと判断した場合、処理はＳ４１８に進む。
Ｓ４１７では、制御部Ｂ１０１は、第１の撮像画像を作業用メモリＢ１０４に取得する。
Ｓ４１８では、制御部Ｂ１０１は、第１の撮像画像をライブビュー画像として表示部Ｂ１０６に表示する。

Ｓ４１９では、制御部Ｂ１０１は、操作部Ａ１０５あるいは操作部Ｂ１０５がライブビューを終了する操作を受け付けたか否かを判断する。ライブビューを終了する操作を受け付けたと判断した場合、処理は終了する。ライブビューを終了する操作を受け付けていないと判断した場合、処理はＳ４０１に戻る。
以上が、本実施形態におけるスマートフォンＢ１００の動作である。

なお、Ｓ４１５において、レリーズスイッチに対する撮像指示操作も、ライブビューを終了する操作と判断される操作の一例として記述したが、撮像指示操作を、ライブビューを終了する操作とせずにライブビューを続行してもよい。また、この場合、撮像指示操作直後に一旦ライブビューを中断し、撮像指示操作によって撮像された画像を表示部Ｂ１０６に一定時間表示する処理（レックビュー）を行い、レックビューが終了次第、ライブビューを再開してもよい。

また、本実施形態においては、撮像装置Ａ１００の撮像画像とスマートフォンＢ１００の撮像画像のサイズは同一であるとして説明したが、撮像画像のサイズが異なる場合には、それぞれの撮像画像のサイズに合わせた比率で前述した処理を行うようにしてもよい。
前述によれば、スマートフォンＢ１００の表示部Ｂ１０６に、通信タイムラグのないライブビュー画像を表示することが可能となる。

［第２の実施形態］
第１の実施形態では、デジタルカメラＡ１００の撮像画像、及びスマートフォンＢ１００の撮像画像から被写体を検出し、それぞれの被写体領域の大きさ及び、中心位置の座標のずれを算出することで、同じ画角となる範囲を自動で算出する方法について述べた。しかし、第１の実施形態では、スマートフォンＢ１００が撮像画像から被写体を検出できない場合は、スマートフォンＢ１００の撮像画像からライブビュー画像を作成することができず、通信タイムラグのないライブビュー画像を表示することができない。

これに対し、本実施形態では、撮像画像から被写体を検出できない場合には、ユーザにより指示された範囲を、スマートフォンＢ１００の撮像画像から切り出す。そして、表示部Ｂ１０６に表示することで、通信タイムラグのないライブビュー画像を表示する方法について述べる。なお、本実施形態は第１の実施形態と共通する部分が多いため、本実施形態特有の部分を中心に説明し、図１と同様の内容を示す箇所は同一の参照番号を用い、説明を省略する。

本実施形態における、スマートフォンＢ１００の撮像画像からライブビュー画像を作成する方法について、図５を用いて説明する。
図５は、本実施形態におけるデジタルカメラＡ１００及びスマートフォンＢ１００の撮像画像、及びライブビュー画像の一例を示す図である。

図５（ａ）はデジタルカメラＡ１００が撮像した画像であり、図５（ｂ）はスマートフォンＢ１００が撮像した画像を示す。ここでは、スマートフォンＢ１００の制御部Ｂ１０１は、これらの撮像画像から被写体を検出できなかったとする。
次に、デジタルカメラＡ１００の撮像画像とスマートフォンＢ１００の撮像画像を、スマートフォンＢ１００の表示部Ｂ１０６に並べて表示する。

図５（ｃ）は、デジタルカメラＡ１００の撮像画像とスマートフォンＢ１００の撮像画像が、表示部Ｂ１０６に並べて表示されている様子を示す。ユーザは、表示部Ｂ１０６に表示されたスマートフォンＢ１００の撮像画像に対し、ピンチ操作等で拡大縮小、スライド操作等で上下左右の位置調整を行い、並んで表示されているデジタルカメラＡ１００の撮像画像と同じ画角になるように画角調整を行う。

図５（ｄ）には、ユーザにより画角調整が行われ、デジタルカメラＡ１００の撮像画像と、スマートフォンＢ１００の撮像画像がほぼ同じ画角で表示されている様子を示す。ユーザが、表示部Ｂ１０６上に表示されている完了ボタンを押下することで画角が決定され、ユーザによる画角調整操作は完了される。

画角調整操作が完了すると、スマートフォンＢ１００は、ユーザによって指定された範囲をスマートフォンＢ１００の撮像画像から切り出し、表示部Ｂ１０６に表示する。ユーザによって指定された範囲を表示部Ｂ１０６に表示することで、図５（ａ）に示すデジタルカメラＡ１００の撮像画像と同じ画角でライブビュー画像を表示することが可能となる。
以上が、本実施形態における、スマートフォンＢ１００の撮像画像からライブビュー画像を作成する方法である。

次に、本実施形態におけるスマートフォンＢ１００の動作について、図６のフローチャートを用いて説明する。
図６のフローチャートに示す処理は、スマートフォンＢ１００の制御部Ｂ１０１が入力信号やプログラムに従い、デジタルカメラＡ１００及びスマートフォンＢ１００の各部を制御することにより実現される。また、図６のフローチャートは、接続部Ａ１１１及び接続部Ｂ１１１を介して、デジタルカメラＡ１００とスマートフォンＢ１００の無線通信が確立し、各種情報の送受信が可能となった時点で開始される。
Ｓ６０１〜Ｓ６０２は、図４のＳ４０１〜４０２と同様の処理が実行されるため、説明を省略する。

Ｓ６０３では、制御部Ｂ１０１は、第１の撮像画像内から被写体が検出できたか否かを判断する。被写体が検出できたと判断した場合、処理はＳ６０４に進む。被写体が検出できないと判断した場合、処理はＳ６２０に進む。
Ｓ６０４〜Ｓ６０６は、図４のＳ４０４〜４０６と同様の処理が実行されるため、説明を省略する。

Ｓ６０７では、制御部Ｂ１０１は、第２の撮像画像内に、Ｓ６０３で検出した被写体と同一の被写体が存在するか否かを判断する。同一の被写体が存在すると判断した場合、処理はＳ６０８に進む。同一の被写体が存在しないと判断した場合、処理はＳ６２１に進む。
Ｓ６０８〜Ｓ６１９は、図４のＳ４０８〜４１９と同様の処理が実行されるため、説明を省略する。

Ｓ６２０では、制御部Ｂ１０１は、スマートフォンＢ１００の撮像部Ｂ１０２を起動し、第２の撮像画像を取得する。
Ｓ６２１では、制御部Ｂ１０１は、第１の撮像画像と第２の撮像画像を表示部Ｂ１０６に並べて表示する。

Ｓ６２２では、制御部Ｂ１０１は、ユーザによる画角調整操作を受け付ける。
Ｓ６２３では、制御部Ｂ１０１が、ユーザによる画角調整操作が完了したか否かを判断する。画角調整操作が完了したと判断した場合、処理はＳ６１２に進む。画角調整操作が完了していないと判断した場合、Ｓ６２３を繰り返し、ユーザによる画角調整操作が完了するのを待つ。
前述によれば、スマートフォンＢ１００が撮像画像から被写体を検出できない場合にも、スマートフォンＢ１００の表示部Ｂ１０６に、通信タイムラグのないライブビュー画像を表示することが可能となる。

＜他の実施形態＞
前述の実施形態では、第２の撮像画像から、第１の撮像画像と同じ画角になる範囲を切り出し、切り出した画像をライブビュー画像とする場合について説明したが、第１の撮像画像と同じ画角になる範囲を示す方法はこれに限らない。例えば、第２の撮像画像上に、第１の撮像画像と同じ画角になる範囲に枠を重畳表示し、枠が重畳表示された第２の撮像画像をライブビュー画像としてもよい。

また、前述の実施形態において、ライブビュー画像を表示中に、デジタルカメラＡ１００に対してズーム操作が行われた場合には、表示されているライブビュー画像に対しても同じズーム倍率分で拡大あるいは縮小処理を行うようにする。ただし、デジタルカメラＡ１００のズーム倍率の限界と、スマートフォンＢ１００のズーム倍率の限界とは必ずしも一致しない。一般には、デジタルカメラＡ１００のほうが高倍率であることが多い。故に、デジタルカメラＡ１００がスマートフォンＢ１００の機能では及ばない倍率にズームした場合には、電子ズーム（ソフト的な画像の拡大処理）を行うことで対応する。

また、前述のように、デジタルカメラＡ１００とスマートフォンＢ１００の機能の差を画像処理で補完するにも限界がある。例えば、焦点があっているかどうかを確認する際に、電子ズーム倍率が大きくなると、どうしてもぼやけてしまい確認することができない場合も生じ得る。

このような問題を解決するために、例えば、ライブビュー全体のうち焦点を合わせる位置を中心とした所定の範囲の画像を、デジタルカメラＡ１００から送信してもらうようにしてもよい。このようにした場合、スマートフォンＢ１００では、スマートフォンＢ１００の撮像部Ｂ１０２で撮像した画像に、デジタルカメラＡ１００から受信した画像を合成したものを、ライブビュー画像として表示する。このようにすれば、ライブビュー全体をデジタルカメラＡ１００からスマートフォンＢ１００に送信するわけではないので、少なくともライブビュー全体を送信する場合に比べて遅延は少なくて済む。

また、ライブビュー全体のうち、スマートフォンＢ１００の撮像部Ｂ１０２の画像データを用いる部分に比べて、デジタルカメラＡ１００から送信された画像を用いる部分の更新レートを低くすることを許容してもよい。例えば、受信した時点で表示するようにすれば、自然に更新レートが低くなる。このようにすれば、少なくとも画像全体のうちの広範囲の部分はリアルタイムに移り変わりを把握でき、かつ、多少リアルタイム性は減少するものの、より確実なフォーカスチェックが可能となる。

なお、一旦フォーカスチェックが終わったならば、いつまでもデジタルカメラＡ１００からスマートフォンＢ１００へライブビュー画像の一部のための画像を送信しつづける必要はない。そのため、例えば、スマートフォンＢ１００で焦点を合わせるための指示が受け付けられた場合に、デジタルカメラＡ１００へ、前述のライブビュー画像の一部のための画像を送信する処理の開始を指示する。

そして、それから一定時間が経過したら前述の処理を停止してスマートフォンＢ１００の撮像部Ｂ１０２からの画像のみを利用したライブビュー画像の表示に戻るようにしてもよい。また、焦点を合わせた後に一定時間が経過しなくとも、撮像が行われた場合には、スマートフォンＢ１００の撮像部Ｂ１０２からの画像のみを利用したライブビュー画像の表示に戻るようにしてもよい。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

＜その他の実施形態＞
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又はコンピュータ読み取り可能な記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Ａ１００ デジタルカメラ
Ａ１０１ 制御部
Ａ１０２ 撮像部
Ａ１０３ 不揮発性メモリ
Ａ１０４ 作業用メモリ
Ａ１０５ 操作部
Ａ１１０ 記録媒体
Ａ１１１ 接続部
Ａ１１２ 近距離無線通信部
Ｂ１００ スマートフォン
Ｂ１０１ 制御部
Ｂ１０２ 撮像部
Ｂ１０３ 不揮発性メモリ
Ｂ１０４ 作業用メモリ
Ｂ１０５ 操作部
Ｂ１０６ 表示部
Ｂ１１０ 記録媒体
Ｂ１１１ 接続部
Ｂ１１２ 近距離無線通信部

Claims (8)

1. 撮像手段と、
   表示手段と、
   外部の撮像装置と無線通信を行う通信手段と、
   前記外部の撮像装置の撮像画像である第１の撮像画像および前記撮像手段が撮像した撮像画像である第２の撮像画像から被写体領域を検出する被写体領域検出手段と、
   前記第１の撮像画像と前記第２の撮像画像の被写体領域の位置を比較する位置比較手段と、
   前記第１の撮像画像と前記第２の撮像画像の被写体領域のサイズを比較する被写体領域サイズ比較手段と、
   前記第２の撮像画像を前記第１の撮像画像と同じ画角となるようにリサイズする撮像画像リサイズ手段とを有し、
   前記表示手段は、
   前記撮像画像リサイズ手段によってリサイズされた第２の撮像画像をライブビュー画像として表示することを特徴とする携帯端末。
2. 外部の撮像装置が装着されている否かを判断する装着判断手段を有し、
   前記装着判断手段が、外部の撮像装置が装着されていると判断した場合に、前記撮像手段を有効にすることを特徴とする請求項１に記載の携帯端末。
3. 前記装着判断手段は、外部の撮像装置が近接し、近距離無線通信が可能な状態であるか否かを判断することを特徴とする請求項２に記載の携帯端末。
4. 外部の撮像装置に対してズーム操作が行われた場合、
   前記撮像画像リサイズ手段は、リサイズした第２の撮像画像をさらに同じズーム倍率分で拡大してライブビュー画像とすることを特徴とする請求項１〜３の何れか１項に記載の携帯端末。
5. 前記撮像画像リサイズ手段は、第２の撮像画像をリサイズする倍率を記憶し、一度リサイズした後は、常に同じ倍率でリサイズし続けることを特徴とする請求項４に記載の携帯端末。
6. 前記被写体領域検出手段により、第１の撮像画像から被写体が検出されなかった場合、
   前記撮像画像リサイズ手段は、ユーザによって決定された画角で第２の撮像画像をリサイズし、ライブビュー画像とすることを特徴とする請求項１〜５の何れか１項に記載の携帯端末。
7. 撮像手段と、
   表示手段と、
   外部の撮像装置と無線通信を行う通信手段と有する携帯端末の制御方法であって、
   前記外部の撮像装置の撮像画像である第１の撮像画像および前記撮像手段が撮像した撮像画像である第２の撮像画像から被写体領域を検出する被写体領域検出工程と、
   前記第１の撮像画像と前記第２の撮像画像の被写体領域の位置を比較する位置比較工程と、
   前記第１の撮像画像と前記第２の撮像画像の被写体領域のサイズを比較する被写体領域サイズ比較工程と、
   前記第２の撮像画像を前記第１の撮像画像と同じ画角となるようにリサイズする撮像画像リサイズ工程と、
   前記撮像画像リサイズ工程においてリサイズされた第２の撮像画像をライブビュー画像として表示する表示工程とを有することを特徴とする携帯端末の制御方法。
8. 撮像手段と、
   表示手段と、
   外部の撮像装置と無線通信を行う通信手段と有する携帯端末の制御方法をコンピュータに実行させるプログラムであって、
   前記外部の撮像装置の撮像画像である第１の撮像画像および前記撮像手段が撮像した撮像画像である第２の撮像画像から被写体領域を検出する被写体領域検出工程と、
   前記第１の撮像画像と前記第２の撮像画像の被写体領域の位置を比較する位置比較工程と、
   前記第１の撮像画像と前記第２の撮像画像の被写体領域のサイズを比較する被写体領域サイズ比較工程と、
   前記第２の撮像画像を前記第１の撮像画像と同じ画角となるようにリサイズする撮像画像リサイズ工程と、
   前記撮像画像リサイズ工程においてリサイズされた第２の撮像画像をライブビュー画像として表示する表示工程とをコンピュータに実行させることを特徴とするプログラム。

Images