JP2017028638A - 撮像システム、撮像装置、撮像システムの制御方法、プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】 本発明は被写体側のユーザが撮像範囲内で確認できない場合、被写体側のユーザが有する携帯端末（スマートフォンなど）に撮像範囲内にいない旨の報知をして、被写体側のユーザに撮像範囲内へ移動するように促し、余分な周囲画像を撮像することなくユーザを撮像範囲へ誘導することができること
【解決手段】
撮像手段を有する撮像装置と、第１の顔情報を記憶する記憶手段を有する撮像装置と通信可能な携帯端末とを有する撮像システムにおいて、撮像装置は、撮像手段で撮像した画像から第２の顔情報を検出し、検出された第２の顔情報を携帯端末に送信する。携帯端末は、送信された第２の顔情報を受信し、受信した第２の顔情報と第１の顔情報とを照合する。照合の結果、第２の顔情報に第１の顔情報と類似する情報が含まれているかを判断し、第２の顔情報に第１の顔情報と類似する情報が含まれていないと判断された場合、ユーザに報知することを特徴とする。
【選択図】図３

Description

本発明は、撮像時に撮像範囲にいないユーザへ報知する撮像システム、撮像システムの制御方法およびプログラムに関するものである。

撮像装置で撮像する際に、被写体側のユーザは写っているつもりでも実際には撮影されないことが良くある。例えば、被写体側のユーザは撮像装置の撮影画角内に入っているつもりでも、実際は撮影画角から外れていて、撮像する側のユーザもその事に気付かず撮像されてしまう場合などである。

この問題を解決する方法として、特許文献１には、主撮影画像とその周囲画像である周囲撮影画像とを取得し、それらの画像から顔領域の配置を判定して、被写体全員の顔領域が主撮影画像に含まれない場合は、主撮影画像内への移動を促す報知をスピーカで実行する撮影制御技術が開示されている。

特開２００８−１３４４５２号公報

しかしながら、特許文献１に記載の撮影制御技術では、主撮影画像より広い範囲の周囲撮影画像を取得しなければならず、本来は不必要であるはずの周囲画像まで取得しなければならない。そのため、光学ズームでは主撮影画像より広角の範囲（周囲）をも撮影するが、主撮影画像は、より広角で撮影された画像のデジタルズーム画像を取得する形となってしまい、カメラ本来の精度での撮像画像を取得することができない。また、広角側の撮影をする場合（たとえば、広角一杯の撮影など）、より広角の画像である周囲画像を取得することができない。

本発明は上記の課題を解決するためになされたものであり、本発明は被写体側のユーザが撮像範囲内で確認できない場合、被写体側のユーザが有する携帯端末（スマートフォンなど）に撮像範囲内にいない旨の報知をして、被写体側のユーザに撮像範囲内へ移動するように促し、余分な周囲画像を撮像することなくユーザを撮像範囲へ誘導することができることを目的とする。

上記課題を解決するために、本発明は、撮像手段を有する撮像装置と、第１の顔情報を記憶する記憶手段を有する前記撮像装置と通信可能な携帯端末とを有する撮像システムにおいて、前記撮像装置は、前記撮像手段で撮像した画像から第２の顔情報を検出する顔情報検出手段と、前記顔情報検出手段で検出された第２の顔情報を前記携帯端末に送信する送信手段とを有し、前記携帯端末は、前記送信手段により送信された第２の顔情報を受信する受信手段と、前記記憶手段に記憶された第１の顔情報と、前記受信手段により受信した第２の顔情報とを照合する顔情報照合手段と、前記顔情報照合手段による照合の結果、前記第２の顔情報に前記第１の顔情報と類似する情報が含まれているかを判断する判断手段と、前記判断手段により、前記第２の顔情報に前記第１の顔情報と類似する情報が含まれていないと判断された場合、ユーザに報知する報知手段とを有することを特徴とする。

本発明によれば、被写体側のユーザが撮像範囲内で確認できない場合、被写体側のユーザが有する携帯端末（スマートフォンなど）に撮像範囲内にいない旨の報知をして、被写体側のユーザに撮像範囲内へ移動するように促し、余分な周囲画像を撮像することなくユーザを撮像範囲へ誘導することができる効果を有する。

本発明の実施形態に係る撮像装置のハードウェア構成を示すブロック図である。 本発明の実施形態に係る携帯端末のハードウェア構成を示すブロック図である。 本発明の実施形態を示すシステムの全体構成を示すシステム構成図である。 本発明における第１の制御処理手順の一例を示すフローチャートである。 本発明における第２の制御処理手順の一例を示すフローチャートである。 本発明における第３の制御処理手順の一例を示すフローチャートである。 本発明の携帯端末２００におけるタッチパネル２１０に表示される画面イメージを示す図である。 本発明の撮像装置１００におけるディスプレイ１１７に表示される画面イメージなどを示す図である。 本発明の９１３から９１６の携帯端末４台から撮像装置９０１に図６のステップＳ６０２の問合せがあった際のイメージを説明する図である。 本発明の１０１３から１０１６の携帯端末４台から撮像装置１００１に図６のステップＳ６０２の問合せがあった際のイメージを説明する図である。 本発明の携帯端末２００におけるタッチパネル２１０に表示される画面イメージを示す図である。 本発明の携帯端末２００が取得する撮像装置１００のリストの例である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。まず、図１を参照して、本発明を実施する撮像装置１００のハードウェア構成について説明する。

撮像装置１００は、いわゆるデジタルカメラから成り、撮影用のレンズ１０１、撮像素子（以下、「ＣＣＤ」と称する）１０２、カメラ信号処理部（以下、「ＡＤＣ」と称する）１０３、画像処理部１０４、システムコントローラ１１０、バッファメモリ１１１、フラッシュＲＯＭ１１２、インターフェース回路（以下、「Ｉ／Ｆ回路」と称する）１１３、カードホルダ１１４、メモリカード１１５、ディスプレイドライバ１１６、および操作部１２０を備える。

レンズ１０１は、レンズ等であり、対物レンズ、ズームレンズ、およびフォーカスレンズなどで構成される。ズームレンズおよびフォーカスレンズについては、不図示の駆動機構により光軸方向へ駆動される。撮像素子１０２は、レンズ１０１から入射した撮像光を結像し、電気信号（アナログ信号）に変換して出力するＣＣＤイメージセンサで構成される。

カメラ信号処理部（ＡＤＣ）１０３は、撮像素子１０２から受けた電気信号にデジタル変換やホワイトバランス調整などの信号処理を行なって、デジタル信号に変換する機能を有する。システムコントローラ１１０は、画像処理部１０４、バッファメモリ１１１、フラッシュＲＯＭ１１２、Ｉ／Ｆ回路１１３、ディスプレイドライバ１１６、サウンドドライバ１１８、ＬＥＤドライバ１２８、および操作部１２０に接続されている

画像処理部１０４は、前処理部１０５、ＹＣ処理部１０６、電子ズーム処理部１０７、圧縮部１０８、および伸長部１０９を備え、カメラ信号処理部１０３から出力されるデジタル信号から画像データを生成し、各種画像処理を行う機能を有する。

前処理部１０５は、入力される画像データに基づく画像のホワイトバランスを調整するホワイトバランス処理や画像のガンマ補正処理を行う機能を有する。ホワイトバランス処理は、画像の色合いを、実物の色合いに近くなるように調整したり、光源（蛍光灯や太陽光など）に合った適正な色に調整したりする処理である。ガンマ補正処理は、画像のコントラストを調整する処理である。なお、前処理部１０５は、ホワイトバランス処理およびガンマ補正処理以外の画像処理を実行することも可能である。

ＹＣ処理部１０６は、入力される画像データに基づく画像を、輝度情報「Ｙ」と、輝度信号と青色の色差情報「Ｃｂ」と、輝度信号と赤色の色差情報「Ｃｒ」とに分離する機能を有する。電子ズーム処理部１０７は、画像の一部（例えば中央部）を所定の大きさでトリミングし、トリミングした画像を信号処理で元画像の大きさに拡大する機能を有する。

電子ズーム処理部１０７は、例えば、撮影された１６００×１２００ドットの画像から中央の１０２４×７６８ドットの画像を切り出し、データ補間を行いながら１６００×１２００ドットのサイズに拡大することができる。

圧縮部１０８は、画像データをＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）方式などの圧縮形式によって圧縮する機能を有する。伸長部１０９は、圧縮されている画像データを伸長する機能を有する。例えば、画像データをＪＰＥＧ方式で圧縮する場合、まず、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理が行われる（ＤＣＴ処理）。次に、画像の階調やグラデーションを表現する段階を数値（量子化ビット数）で表現する量子化処理が行われる。最後に、ハフマン符号化処理で画像データが圧縮される。

具体的には、画像データの信号文字列が一定のビット毎に区切られ、出現頻度が高い文字列に対してより短い符号が与えてられてゆく。なお、圧縮処理を行わないで画像データを記録する方式の場合は、圧縮部１０８および伸長部１０９を省略することができる。また、画像データの圧縮形式は、ＪＰＥＧ方式に限らず、ＧＩＦ（Ｇｒａｐｈｉｃａｌ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）形式などであっても、同様に処理を行うことができる。

バッファメモリ１１１には、画像処理部１０４で画像処理が行われる際に、一時的に画像データが保存される。フラッシュＲＯＭ１１２には、撮像装置１００の各種設定情報や、後述する指定された構図情報等が保存される。Ｉ／Ｆ回路１１３は、システムコントローラ１１０から出力される画像データを、メモリカード１１５に記録可能なデータ形式に変換する。また、Ｉ／Ｆ回路１１３は、メモリカード１１５から読み出された画像データ等を、システムコントローラ１１０で処理可能なデータ形式に変換する。

カードホルダ１１４は、記録媒体であるメモリカード１１５を撮像装置１００に着脱可能にする機構を備えると共に、メモリカード１１５との間でデータ通信が可能な電気接点を備える。また、カードホルダ１１４は、撮像装置１００で利用される記録媒体の種類に応じた構造を有する。メモリカード１１５は、フラッシュメモリなどの半導体記憶素子を内蔵し、カードホルダ１１４に着脱可能なカード型の記録媒体である。メモリカード１１５には、撮像装置１００で撮影された画像データを記録することができる。

ディスプレイドライバ１１６は、システムコントローラ１１０から出力される画像データをディスプレイ１１７で表示可能な信号に変換する。具体的には、ディスプレイドライバ１１６は、システムコントローラ１１０から出力されるデジタルの画像データをアナログ画像信号に変換する処理を行い、次に画像サイズをディスプレイ１１７の表示可能エリアのサイズに適したサイズに変換する処理を行う。

サウンドドライバ１１８は、システムコントローラ１１０から出力される音声データをスピーカ２１９で鳴動可能な信号に変換する処理を行う。ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ドライバ１２８は、システムコントローラ１１０から出力される命令に従いランプ１２９の制御を行う。

操作部１２０は、電源スイッチ１２１、モードダイヤル１２２、撮影ボタン１２３、タッチパネルキー１２４、ズームボタン１２５、および閲覧（再生）ボタン１２６を備え、ユーザからの操作入力を受け付けて、操作内容に応じた信号をシステムコントローラ１１０に出力する。なお、操作部１２０には、図示の操作ボタン以外の操作ボタン類も含まれるが、それらの説明は省略する。

モードダイヤル（選択ボタン）１２２は、撮影動作のモードを切り替えるための回転可能なダイヤルである。ユーザはモードダイヤル１２２を操作することで、複数の撮影動作モードを選択することが可能である。なお、本発明の実施形態で、モードダイヤルは、ダイヤル式機構として記載をするが、例えば、ダイヤルではなくスライド式のボタンであってもよい。つまり、モードダイヤル１２２について、その機構はダイヤルに限定されず、カメラのモードを切り替えられるための機構を備えていることが本質である。

また、撮影動作モードの例として、構図を用いて撮影を行う場合、その構図の指示入力を受付けることが可能なモード等があるが、尚、このようなモードへの切替方法については、ダイヤルに限定されず、ディスプレイ１１７上のタッチパネル（不図示）などによる切替方法であってもよい。

閲覧ボタン１２６は、撮影した画像データを閲覧する閲覧モード（再生モード）に切り替えるためのボタンである。閲覧ボタン１２６が押下されると、撮影モードから閲覧モードに移行する。なお、閲覧モードへの切替方法については、前述のように、閲覧ボタン１２６の押下に限定されず、ディスプレイ１１７上のタッチパネルなどによる移行方法であってもよい。

閲覧モードでは、システムコントローラ１１０が、Ｉ／Ｆ回路１１３を介して、カードホルダ１１４に装着されているメモリカード１１５から設定情報と画像データを読み出す。設定情報は、現在装着されているメモリカード１１５に記録されている画像の枚数および記録されている画像データの容量などである。読み出される画像データは、例えば、画像１枚分の画像データまたはサムネイルデータである。なお、メモリカード１１５から読み出される画像データは、上述したように所定の圧縮形式で圧縮されている。

メモリカード１１５から読み出された画像データは、Ｉ／Ｆ回路１１３およびシステムコントローラ１１０を介して、ディスプレイドライバ１１６へ入力される。ディスプレイドライバ１１６は、入力された画像データをディスプレイ１１７に表示させる。

タッチパネルキー１２４は、ディスプレイ上に表示される操作キーであり、ユーザが撮像装置１００に対する所定の指示や機能選択を行うためのキーである。ユーザは、タッチパネルキー１２４により、撮像装置１００に対する各種設定情報やユーザ認証情報などの操作入力を行うことができる。

また、タッチパネルキー１２４により、ディスプレイ１１７にメニュー画面や撮像装置１００に対して各種設定情報を設定するための画面を表示したり、撮像装置１００が有する所定の機能を選択することができる。

さらに、タッチパネルキー１２４により、撮像装置１００で撮影された画像データをディスプレイ１１７上にプレビュー表示させることができる。プレビュー表示とは、撮像装置１００で撮影した画像を、その直後にディスプレイ１１７に表示させる機能である。

なお、プレビュー表示については、ディスプレイ１１７上に撮影した画像を１枚のみ表示する構成に限定されず、サムネイル画像を含む複数の画像を表示するように構成してもよい。また、プレビュー表示の切り替えについては、タッチパネルキー１２４の押下に限らず、他のボタンの押下などの一般的な方法を利用して切り替えられる構成にしてもよい。また、プレビュー表示画面で、プレビュー表示画像の削除や編集などが行えるように構成してもよい。

レンズ制御部１２７は、レンズ１０１のレンズに対して、ズーム、フォーカス、絞り等の制御を行う。また、撮像装置１００は、被写体を撮像して画像データを得る撮影モードと当該撮影モードで得た画像データを表示する閲覧（再生）モードとを備える。

なお、音声についてはマイクやスピーカを用いることで、撮像装置１００と同様に記録、及び再生が可能である。また、映像（動画）記録時には、通常音声記録も同時に行われ、圧縮部１０８および伸長部１０９で、映像と音声が多重化される。

また、撮像装置１００における撮影動作について図１を用いて説明する。まず、ユーザが電源スイッチ１２１を操作し、撮像装置１００の電源をＯＮにする。すると、撮像装置１００に内蔵されているバッテリー（不図示）から各回路へ電源供給されて、撮像装置１００の起動処理（レンズバリアを開く動作制御およびマイクロコンピューターのリセット処理など）が行われる。

撮像装置１００は、電源ＯＦＦ時に電源スイッチ１２１が押下されると電源ＯＮとなり、自動的に撮影モードとなるように構成されている。また、電源ＯＦＦ時に閲覧ボタンが押下されると電源ＯＮとなり、自動的に閲覧モードとなるように構成されている。

撮像装置１００が撮影モードに移行すると、光学画像がレンズ１０１を介して撮像装置１００内へ入射し、撮像素子（ＣＣＤ）１０２に結像される。ＣＣＤ１０２は、入射される光学画像を電気信号に変換して、カメラ信号処理部（ＡＤＣ）１０３へ出力する。ＡＤＣ１０３は、入力される電気信号（アナログ信号）をデジタル信号に変換する。ＡＤＣ１０３から出力されるデジタル信号は画像処理部１０４に入力される。

画像処理部１０４内の前処理部１０５では、入力されるデジタル信号に基づき画像データを生成し、ホワイトバランス処理およびガンマ補正処理などが行われる。画像処理部１０４内のＹＣ処理部１０６では、画像データが輝度信号Ｙと色差信号ＣｒおよびＣｂとに分離され、色差信号ＣｒおよびＣｂの情報量を減らす処理が行われる。

色差信号ＣｒおよびＣｂの情報量の削減処理は、例えば、画像の主走査方向の色情報を間引く「４：２：２ダウンサンプリング処理」や、画像の縦横方向の色情報を間引く「４：１：１ダウンサンプリング処理」などがある。なお、前処理部１０５およびＹＣ処理部１０６で画像処理を行う際は、画像データを一時的にバッファメモリ１１１に保存し、随時バッファメモリ１１１に保存されている画像データを読み出しながら画像処理が行われる。

画像処理部１０４から出力される画像データ（非圧縮）はシステムコントローラ１１０に入力される。システムコントローラ１１０は、画像処理部１０４から出力される画像データを、ディスプレイドライバ１１６へ出力する。

ディスプレイドライバ１１６は、入力される画像データ（デジタル信号）をアナログ画像信号に変換すると共に、アナログ画像信号に基づく画像のサイズをディスプレイ１１７で表示可能なサイズに調整する。

また、ディスプレイドライバ１１６は、ディスプレイ１１７に画像を表示させるよう制御する。このとき、ディスプレイ１１７に表示される画像は、ＣＣＤ１０２、ＡＤＣ１０３、および画像処理部１０４で、連続的に信号処理されて生成される画像（スルー画像）である。

ディスプレイ１１７にスルー画像が表示されている状態で、ユーザが希望のタイミングで撮影ボタン１２３を操作すると、システムコントローラ１１０は画像処理部１０４に制御信号を出力する。画像処理部１０４に制御信号が入力されると、圧縮部１０８は、前処理部１０５およびＹＣ処理部１０６で画像処理された画像データをバッファメモリ１１１へ保存し、圧縮処理を行う。

具体的には、画像データの高周波成分と低周波成分の割合を数値化する離散コサイン変換処理（ＤＣＴ処理）や、画像の階調やグラデーションを表現する段階を量子化ビット数で表現する量子化処理や、画像データの信号文字列を一定のビット毎に区切り、出現頻度が高い文字列に対して、より短い符号を与えてゆくハフマン符号化処理などが実行される。圧縮された画像データは、システムコントローラ１１０およびディスプレイドライバ１１６を介してディスプレイ１１７に表示される。また、圧縮された画像データは、カードホルダ１１４を介してメモリカード１１５に記録される。

撮影ボタン１２３が操作される前にズームボタン１２５が操作されると、システムコントローラ１１０は光学ズーム処理や電子ズーム処理を実行し、画像の大きさを拡大または縮小させることができる。そして、ズームボタン１２５の操作後、撮影ボタン１２３が操作されると、拡大または縮小された画像の画像データがメモリカード１１５へ記録される。

次に、図２を参照して、本発明に係る携帯端末２００のハードウェア構成について説明する。

本発明の携帯端末２００は、例えば、携帯情報端末（ＰＤＡ）や、スマートフォンのように、タッチパネル２１０などを備えている。タッチパネル２１０は、液晶パネルのような表示制御部と、タッチパッドのような位置入力制御部とを組み合わせた電子部品である。

ＣＰＵ２０１は、システムバス２０４に接続される各デバイスやコントローラを統括的に制御する。

また、ＲＯＭ２０２あるいはフラッシュメモリ２１４（記憶手段）には、ＣＰＵ２０１の制御プログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）やオペレーティングシステムプログラム（以下、ＯＳ）や、当該携帯端末２００が実行する機能を実現するために必要な、後述する各種プログラム等が記憶されている。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。

ＣＰＵ２０１は、処理の実行に際して必要なプログラム等をＲＡＭ２０３にロードして、プログラムを実行することで各種動作を実現するものである。また、携帯端末２００には、ＧＰＳ衛星からの信号を受信して現在位置情報を取得可能なＧＰＳ受信手段２１５（位置情報取得手段）が設けられており、ＣＰＵ２０１は、ＧＰＳ受信手段２１５からのＧＰＳ座標情報（位置情報）の取得制御を行う。

また、入力コントローラ２０５は、タッチパネル２１０、マイク２１１、カメラ２１２からの入力を制御する。タッチパネル２１０からはユーザのタッチ操作に関する入力を制御し、マイク２１１からは音声の入力を制御し、更にカメラ２１２（撮像手段）からは撮像された静止画、動画の入力を制御する。出力コントローラ２０６は、タッチパネル２１０への画像出力、スピーカー２１３への音声出力を制御する。

タッチパネル２１０は、ユーザからのタッチ操作を検知すると共に、前述した出力コントローラ２０６から送られた映像（画像）を表示する。タッチパネル２１０は、表示器と位置入力装置とが一体となった部品である。複数の箇所に対するタッチ操作（以下、マルチタッチ）も検知可能である。

メモリコントローラ（ＭＣ）２０７は、ブートプログラム、ブラウザソフトウエア、各種のアプリケーション、フォントデータ、ユーザファイル、編集ファイル、各種データ等を記憶するフラッシュメモリ２１４へのアクセスを制御する。本実施形態においては、フラッシュメモリとして説明を行うが、ハードディスク（ＨＤ）やフレキシブルディスク（ＦＤ）或いはＰＣＭＣＩＡカードスロットにアダプタを介して接続されるカード型メモリ等の記憶媒体であってもよい。

通信Ｉ／Ｆコントローラ２０９は、ネットワークを介して、外部機器と接続・通信するものであり、ネットワークでの通信制御処理を実行する。例えば、ＴＣＰ／ＩＰを用いたインターネット通信等が可能である。なお、携帯端末２００は、他にもＢｌｕｅｔｏｏｔｈ（登録商標）通信やや赤外線通信などの無線通信機能等を備えていてもよい。そして、このようなネットワークを介して、携帯端末２００は、撮像装置１００と通信を行うことができる。

尚、ＣＰＵ２０１は、例えばＲＡＭ２０３内の表示情報用領域へアウトラインフォントの展開（ラスタライズ）処理を実行することにより、タッチパネル２１０上での表示を可能としている。

本実施形態の携帯端末２００が後述する各種処理を実行するために用いられる各種プログラム等はフラッシュメモリ２１４に記録されており、必要に応じてＲＡＭ２０３にロードされることによりＣＰＵ２０１によって実行可能である。さらに、本実施形態に係わるプログラムが用いる定義ファイルや各種情報テーブルもフラッシュメモリ２１４に格納しておくことができる。

次に、図３のシステムブロック図を参照して、本発明のシステム構成を説明する。

図３は、本発明の一実施形態を示すシステムの全体構成を示すシステム構成図の一例である。

撮像装置１００は、図１で説明した撮像機能を有する装置の例である。なお、撮像装置１００は、図１により説明した撮像装置の機能の全てを有していなくても良い。

携帯端末２００ａ、ｂは、図２で説明したユーザが有するスマートフォンなどの携帯端末の例である。撮像装置１００と、携帯端末２００ａ、ｂは、無線ＬＡＮやＷｉ−Ｆｉ（登録商標）などによりお互いに通信可能である。携帯端末２００ａ、ｂは、顔画像などを保存・管理でき、撮像装置１００から画像情報を受信し、受信した撮像画像から顔画像などを抽出して、顔照合などの画像解析処理を行う。なお、前記顔画像の抽出や顔照合などの画像解析処理は、携帯端末２００で処理してもよいし、撮像装置１００で処理してもよい。

次に、図４のフローチャートを参照して、携帯端末２００が事前に顔情報と撮像装置の撮像情報を登録する処理の手順について説明する。

図４は、本発明の携帯端末２００における第１の制御処理手順の一例を示すフローチャートであり、図３に示した携帯端末２００のそれぞれのＣＰＵ２０１（図２の２０１）の制御の下、処理が実行される。なお、Ｓ４０１〜Ｓ４０５は各処理ステップを示す。

図４のフローチャートは、携帯端末２００において、本発明のアプリケーションを起動すると開始される。

図４のステップＳ４０１において、携帯端末２００のＣＰＵ２０１は、携帯端末２００の図示しない被写体チェック機能項目がＯＮにされたかを確認する。被写体チェック機能がＯＮされていれば、次のステップＳ４０２へと処理を移行する。

ステップＳ４０２において、携帯端末２００のＣＰＵ２０１は、携帯端末２００のフラッシュメモリ２１４にユーザの顔情報が登録されているかを判断する。顔情報が登録されていれば、ステップＳ４０４へと処理を遷移し、顔情報が登録されていなければ、ステップＳ４０３へと処理を遷移する。

ステップＳ４０３へと処理を遷移すると、携帯端末２００のＣＰＵ２０１は、ユーザに顔情報を登録するように促す画面を表示し、ユーザの顔情報を登録する。図７を参照して、顔情報の登録を促すイメージを説明する。

図７は、本発明の携帯端末２００におけるタッチパネル２１０に表示される画面イメージを示す図である。

図７の７００は、顔情報を登録する際の画面イメージを説明するための図であり、７０１は顔情報の登録を促すために携帯端末２００のタッチパネル２１０に表示される画面イメージである。７０１のように、タッチパネル２１０の下部７０２に「顔情報を登録してください。」というメッセージを表示し、ユーザの顔情報がカメラ２１２から入力されるのを待つ。

ユーザが携帯端末２００のカメラ２１２からユーザの顔情報を撮像し、顔情報が入力されると、７０３のイメージのように顔情報を表示し、ユーザの登録ボタン７０４の押下を待つ。７０３のような画面イメージで登録するとユーザが判断した場合は、ユーザにより登録ボタン７０４が押下され、携帯端末２００のＣＰＵ２０１は、撮像された顔画像の特徴部分を抽出し、顔情報として登録する。なお、顔情報の抽出や登録処理は既存の技術であるので説明は省略する。図４のフローチャートの説明に戻る。

ステップＳ４０３において、顔情報が登録されるか、もしくはステップＳ４０２において既に顔情報が登録されている場合、ステップＳ４０４へと処理を遷移する。ステップＳ４０４において、携帯端末２００のＣＰＵ２０１は、これから撮像処理が行われる撮像装置１００が選択されているかの判断を行う。撮像装置１００が選択されている場合は、次の携帯端末処理（図６）へと処理を遷移し、撮像装置１００が選択されていない場合は、ステップＳ４０５へと処理を遷移する。

ステップＳ４０５へと処理を遷移すると、携帯端末２００のＣＰＵ２０１は、ユーザに撮像装置１００を選択するように促す画面を表示し、撮像装置１００の選択を受け付ける。図７と図１２を参照して、撮像装置１００の選択を促すイメージ及びデータ構成を説明する。

図７の７１０は、撮像装置１００を選択する際の画面イメージを説明するための図であり、７１１は撮像装置１００の選択を促すために携帯端末２００のタッチパネル２１０に表示される画面イメージである。７１１のように、タッチパネル２１０上に携帯端末２００が検出した撮像装置１００のリストを表示し、ユーザからの撮像装置１００の選択の入力を待つ。撮像装置１００のリストは、撮像装置１００との無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）などの通信を元に、通信する撮像装置１００の情報を取得し、携帯端末２００のタッチパネル２１０に表示する（７１１）。複数の撮像装置１００との通信を元に取得する撮像装置１００の情報を図１２を参照して説明する。

図１２は、携帯端末２００が取得する撮像装置１００のリストの例である。無線通信などで情報を取得する撮像装置１００には、それぞれにユニークなデバイスＩＤが割り振られており、また、それぞれの撮像装置１００にはユーザが識別可能なように「カメラの名前」が定義されている。携帯端末２００は、各撮像装置１００から前記デバイスＩＤと「カメラの名前」を取得し、図７の７１１のようにタッチパネル２１０に表示する。

ユーザは表示された撮像装置リスト７１１から１台もしくは複数台を選択する。１代を選択した例が７１２のリスト表示例である。７１１では、７１２のように「ケンタのカメラ」が選択されたことを示しており、「ケンタのカメラ」７１２の選択後、７１３の表示イメージに遷移し、「ケンタのカメラ」が選択されていることを示している。以後、本発明の実施例では、７１３で選択された撮像装置と通信することを前提とする。図４のフローチャートの説明に戻る。

以上の処理により、図４の本発明のアプリケーションを起動時の処理を終了する。

次に、図５のフローチャートを参照して、撮像装置１００の本発明での撮像処理手順について説明する。

図５は、本発明の撮像装置１００における第２の制御処理手順の一例を示すフローチャートであり、図３に示した撮像装置１００のシステムコントローラ１１０（図１の１１０）の制御の下、処理が実行される。なお、Ｓ５０１〜Ｓ５０９は各処理ステップを示す。

図５のフローチャートは、撮像装置１００において、ユーザが撮像を開始しようとして撮像装置を起動すると開始される。

図５のステップＳ５０１において、撮像装置１００のシステムコントローラ１１０は、撮像装置１００の図示しない被写体チェック機能項目がＯＮにされているかを確認する。被写体チェック機能がＯＮされていれば、次の処理へと移行する。

次の処理は、並行処理になり、ステップＳ５０２〜Ｓ５０５は撮像処理、ステップＳ５０６は携帯端末からの問合せ受付処理となる。まず、ステップＳ５０２〜Ｓ５０５の撮像処理について説明する。

ステップＳ５０２において、撮像装置１００のシステムコントローラ１１０は、ユーザからのフォーカス合わせの指示を受け付ける。具体的には、ユーザが撮像装置のシャッタボタンの半押しをするなどの操作により、撮像画像の焦点を合わせる処理を行う。

次に、ステップＳ５０３において、撮像装置１００のシステムコントローラ１１０は、フォーカスの合った撮像画像の取得処理を行い、メモリカード１１５内に記憶する。

次に、ステップＳ５０４において、撮像装置１００のシステムコントローラ１１０は、取得した被写体画像情報から顔情報として検出する領域を特定し、顔情報を特定する。

次に、ステップＳ５０５において、撮像装置１００のシステムコントローラ１１０は、検出された顔情報の領域を被写体画像とは別に顔情報として取得し、メモリカード１１５内に記憶する。

以上のステップＳ５０２〜Ｓ５０５の撮像処理を図８を参照して、処理のイメージで説明する。

図８は、本発明の撮像装置１００におけるディスプレイ１１７に表示される画面イメージなどを示す図である。

図８の８００は、撮像装置１００において、フォーカスが合わされた状態に表示される画面イメージである。ステップＳ５０３において、ディスプレイ１１７上に表示されている画面８０５には、フォーカスがあっている画像が表示され、フォーカスが合っている画像情報をメモリカード１１５内に一時的に記憶する。

次に、ステップＳ５０４において、図８の８０５のような被写体画像を取得した撮像装置１００のシステムコントローラ１１０は、図８の８０１から８０４のように顔情報を検出する処理を行う。顔検出の方法としては、Ｖｉｏｌａ−Ｊｏｎｅｓ法など、様々なアルゴリズムが提案されているが、本発明の本質とは異なることから詳細な説明は割愛する。検出した結果の領域を８１０の８１１から８１４のように検出する。

次に、ステップＳ５０５において、検出された顔情報の領域をそれぞれメモリカード１１５内に記憶する。図８の例では、検出した結果の領域である８１１から８１４の範囲をメモリカード１１５などに記憶する。以上のステップＳ５０２〜Ｓ５０５の撮像処理を図８を参照して説明した。

一方、ステップＳ５０２〜Ｓ５０５の処理と並行して行われるステップＳ５０６の処理を以下で説明する。

ステップＳ５０６において、撮像装置１００のシステムコントローラ１１０は、携帯端末２００からの顔情報問合せ受付処理を実行する。撮像装置１００は、携帯端末２００から顔情報問合せを受け付けると、以後のステップＳ５０８で、ステップＳ５０５で取得した顔情報を携帯端末２００に送信する。携帯端末２００に取得した顔情報を送信するかどうかを判断するための判断基準を得るために、ステップＳ５０６は、ステップＳ５０２〜Ｓ５０５の処理の間、待機している処理になる。問合せを受け付けた撮像装置１００は、問合せを送信した携帯端末２００の識別情報（ＩＰアドレスやデバイスＩＤなど）を一時的に記憶しておき、ステップＳ５０８において、その識別情報の携帯端末２００に顔情報を送信する。以下に並行処理後の手順を説明する。

ステップＳ５０２〜Ｓ５０５が終了すると、次にステップＳ５０７へと処理を移行し、ステップＳ５０７において、撮像装置１００のシステムコントローラ１１０は、ステップＳ５０６の処理において、携帯端末２００から顔情報問合せを受け付けたかどうかを判断する。携帯端末２００から顔情報問合せを受け付けている場合は、ステップＳ５０８へと処理を移行し、顔情報問合せを受け付けていない場合は、ステップＳ５０９へと処理を移行し、通常の撮像処理を行う。

ステップＳ５０８へと処理を移行した場合、撮像装置１００のシステムコントローラ１１０は、ステップＳ５０６で記憶した携帯端末２００の識別情報から、その識別情報の携帯端末２００にステップＳ５０５で取得した顔情報を送信する処理を行う。

ステップＳ５０８の処理後、もしくはステップＳ５０７で顔情報問い合せを受け付けていない場合、ステップＳ５０９へと処理を移行し、通常の撮像処理を行い、撮像装置１００の処理を終える。

次に、図６のフローチャートを参照して、携帯端末２００において、ユーザが撮像装置の撮像範囲内にいない場合にその旨を報知する報知処理手順について説明する。

図６は、本発明の携帯端末２００における第３の制御処理手順の一例を示すフローチャートであり、図３に示した携帯端末２００ａ，ｂのＣＰＵ（図２の２０１）の制御の下、処理が実行される。なお、Ｓ６０１〜Ｓ６０６は各処理ステップを示す。

図６のフローチャートは、携帯端末２００において、ユーザが本発明を実行するアプリケーションを起動すると開始される。なお、事前に図４のフローチャートの処理は実行しているものとする。

まず、図６のステップＳ６０１において、携帯端末２００のＣＰＵ２０１は、携帯端末２００の図示しない被写体チェック機能項目がＯＮにされているかを確認する。被写体チェック機能がＯＮされていれば、次の処理へと移行する。

次にステップＳ６０２において、携帯端末２００のＣＰＵ２０１は、撮像装置１００に撮像されている顔情報を取得するために、撮像装置１００へ顔情報の問合せを行う。

顔情報の問合せは、撮像装置１００の処理手順である図５のステップＳ５０６で受信され、その後、ステップＳ５０８で顔情報が送信される。

ステップＳ６０３において、携帯端末２００のＣＰＵ２０１は、撮像装置１００のステップＳ５０８で送信された顔情報を取得（受信）する。

次に、ステップＳ６０４において、携帯端末２００のＣＰＵ２０１は、ステップＳ６０３で取得した顔情報と、ステップＳ４０３で登録されている顔情報とを比較する。顔情報の比較方法としては、顔の特徴点を直接幾何学的に比較する方法や、顔画像を統計的に数値化してその数値を登録されているテンプレートと比較する方法などが提案されているが、本発明の本質とは異なることから詳細な説明は割愛する。

ステップＳ６０４において、登録されている顔情報と撮像されて抽出された顔情報とを比較し、登録されている顔情報と一致もしくは類似する顔情報が抽出された顔情報にあるかどうかをステップＳ６０５で判断する。

比較の結果、一致する顔情報がある場合は、携帯端末２００のＣＰＵ２０１はステップＳ６０７へと処理を移行し、過去にステップＳ６０６で報知された情報を解除、もしくは何も報知せずに本発明の処理を終了する。この状態は、撮像されたいユーザが撮像範囲内に写っている（入っている）状態なので、携帯端末２００に何ら通知する必要はない。

一方、ステップＳ６０５において、登録されている顔情報が撮像されて抽出された顔情報に含まれていない場合、次のステップＳ６０６へと処理を遷移する。この状態は、撮像されたいユーザが撮像範囲内に写っていない（入っていない）状態であり、ステップＳ６０６の処理では、携帯端末２００はユーザに対して、撮像範囲内に入っていない旨の通知を行う処理を実行し、その後、携帯端末２００における本発明の一連の処理を終える。

ステップＳ６０６において、携帯端末２００のＣＰＵ２０１は、ユーザに撮影範囲に入っていないことを報知する。報知の例を図１１を参照して説明する。

図１１は、本発明の携帯端末２００におけるタッチパネル２１０に表示される画面イメージを示す図である。

図１１の１１００は、撮像された画像内に、携帯端末２００に登録されている顔情報と一致する顔情報が存在しない場合に表示されるタッチパネル２１０のイメージである。１１０１のように、携帯端末２００に登録されている顔情報を表示し、１１０２のように、撮像範囲内にないことをユーザに通知する。図１１を表示する際に、携帯端末２００を

以上の処理により、撮像されるユーザ（被写体側ユーザ）が撮像範囲に入っていない場合に、ユーザの所有する携帯端末２００に通知することにより、ユーザに撮影範囲に入るように促すことができ、撮影範囲に入ると通知されなくすることができる。

以上の処理の具体例を図９、図１０を参照して説明する。

図９は、９１３から９１６の携帯端末４台から撮像装置９０１に図６のステップＳ６０２の問合せがあった際のイメージを説明する図である。

図９の９１３〜９１６の携帯端末４台では、事前にそれぞれ顔情報９２３〜９２６と撮像装置９０１とが登録されている。

撮像装置９０１は、撮像された画像９１０から、ステップＳ５０４の顔検出処理により検出された顔情報９０２内の９０３〜９０５を抽出、取得し、各携帯端末９１３〜９１６に送信する（ステップＳ５０８）。

受信した携帯端末９１３〜９１６は、登録されているそれぞれの顔情報と受信した複数の顔情報とを比較し（ステップＳ６０４）、顔情報の特徴点が一致する顔情報がある場合（図９では、９０３〜９０５の例）はステップＳ６０７のように、ユーザには何も報知しない（９１３〜９１５のように何も通知しない）。

一方、９０６のように、９１６に対応する顔情報９２６が検出されなかった場合は、携帯端末９１６は、ユーザに報知するために、９２０の図面に記載のように音声や振動（ヴァイブレーション機能など）、図１１の１１００のような画面表示などの処理を行う。これらの処理により、例えば顔情報９２６のユーザが撮像装置９０１の画角から外れている場合に、携帯端末９１６への通知があることにより、画角に入っていないことを理解でき、顔情報９２６のユーザは撮像の画角に入る位置まで移動することができる。

顔情報９２６のユーザが撮像の画角内に入った場合のイメージを図１０を参照して説明する。

図１０は、１０１３から１０１６の携帯端末４台から撮像装置１００１に図６のステップＳ６０２の問合せがあった際のイメージを説明する図である。

１０１３〜１０１６の携帯端末４台でも、事前にそれぞれ顔情報１０２３〜１０２６と撮像装置１００１とが登録されている。

撮像装置１００１で撮像された画像１０１０から、ステップＳ５０４の顔検出処理で検出された顔情報１００２の内の１００３〜１００６を抽出、取得して各携帯端末１０１３〜１０１６に送信する。

受信した携帯端末１０１３〜１０１６は、図９と同じように、登録されているそれぞれの顔情報と受信した複数の顔情報とを比較し、顔情報の特徴点が一致する顔情報がある場合（図１０では、１００３〜１００６の例）はステップＳ６０７のように、ユーザには何も報知しない。すなわち、図９の９２６のユーザは、図１０の撮像画像１０１０では、１００６のように顔情報が検出されているので、１０２６と１００６との比較から、携帯端末１０１６もユーザへは通知されなくなる（ステップＳ６０７）。

以上の処理により、被写体側のユーザが撮像範囲内で確認できない場合、被写体側のユーザが有する携帯端末（スマートフォンなど）に撮像範囲内にいない旨の報知をして、被写体側のユーザに撮像範囲内へ移動するように促し、余分な周囲画像を撮像することなくユーザを撮像範囲へ誘導することができる。

上記実施形態では、撮像装置と携帯端末とに適用する場合を説明したが、携帯端末の構成を撮像装置に持たせることにより、撮像装置のみで実施することも可能である。なお、その際は携帯端末への撮像装置からの報知方法は、電子メールによる通知でも電子メッセージ機能でも良い。その際は撮像装置は携帯端末への報知方法（電子メールアドレスや電子メッセージ機能に必要なＩＰアドレス）などを記憶していても良い。

なお、特に図示しないが、記録媒体に記憶されるプログラム群を管理する情報、例えばバ−ジョン情報，作成者等も記憶され、かつ、プログラム読み出し側のＯＳ等に依存する情報、例えばプログラムを識別表示するアイコン等も記憶される場合もある。

さらに、各種プログラムに従属するデータも上記ディレクトリに管理されている。また、インスト−ルするプログラムやデータが圧縮されている場合に、解凍するプログラム等も記憶される場合もある。

本実施形態における図４，図５，図６に示す機能が外部からインスト−ルされるプログラムによって、ホストコンピュ−タにより遂行されていてもよい。そして、その場合、ＣＤ−ＲＯＭやフラッシュメモリやＦＤ等の記録媒体により、あるいはネットワークを介して外部の記録媒体から、プログラムを含む情報群を出力装置に供給される場合でも本発明は適用されるものである。

以上のように、前述した実施形態の機能を実現するソフトウェアのプログラムコ−ドを記録した記録媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュ−タ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコ−ドを読出し実行することによっても、本発明の目的が達成されることは言うまでもない。

この場合、記録媒体から読み出されたプログラムコ−ド自体が本発明の新規な機能を実現することになり、そのプログラムコ−ドを記憶した記録媒体は本発明を構成することになる。

プログラムコ−ドを供給するための記録媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ−ＲＯＭ，磁気テ−プ，不揮発性のメモリカ−ド，ＲＯＭ，ＥＥＰＲＯＭ，シリコンディスク等を用いることができる。

また、コンピュ−タが読み出したプログラムコ−ドを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコ−ドの指示に基づき、コンピュ−タ上で稼働しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコ−ドが、コンピュ−タに挿入された機能拡張ボ−ドやコンピュ−タに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコ−ドの指示に基づき、その機能拡張ボ−ドや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。また、本発明は、システムあるいは装置にプログラムを供給することによって達成される場合にも適応できることは言うまでもない。この場合、本発明を達成するためのソフトウェアによって表されるプログラムを格納した記録媒体を該システムあるいは装置に読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

さらに、本発明を達成するためのソフトウェアによって表されるプログラムをネットワーク上のサーバ，データベ−ス等から通信プログラムによりダウンロードして読み出すことによって、そのシステムあるいは装置が、本発明の効果を享受することが可能となる。

なお、上述した各実施形態およびその変形例を組み合わせた構成も全て本発明に含まれるものである。

１００ 撮像装置
２００ａ，ｂ 携帯端末

Claims (7)

1. 撮像手段を有する撮像装置と、第１の顔情報を記憶する記憶手段を有する前記撮像装置と通信可能な携帯端末とを有する撮像システムにおいて、
   前記撮像装置は、
   前記撮像手段で撮像した画像から第２の顔情報を検出する顔情報検出手段と、
   前記顔情報検出手段で検出された第２の顔情報を前記携帯端末に送信する送信手段とを有し、
   前記携帯端末は、
   前記送信手段により送信された第２の顔情報を受信する受信手段と、
   前記記憶手段に記憶された第１の顔情報と、前記受信手段により受信した第２の顔情報とを照合する顔情報照合手段と、
   前記顔情報照合手段による照合の結果、前記第２の顔情報に前記第１の顔情報と類似する情報が含まれているかを判断する判断手段と、
   前記判断手段により、前記第２の顔情報に前記第１の顔情報と類似する情報が含まれていないと判断された場合、ユーザに報知する報知手段と
   を有することを特徴とする撮像システム。
2. 前記記憶手段は、前記撮像装置を特定する情報を記憶しており、
   前記携帯端末は、
   前記記憶手段に記憶されている特定の情報を有する撮像装置に、前記第２の顔情報を受信するために顔情報の送信を命令する顔情報送信命令手段と、を有し、
   前記送信手段は、前記顔情報送信命令手段を受信して、前記顔情報検出手段で検出された前記第２の顔情報を前記携帯端末に送信することを特徴とする請求項１に記載の撮像システム。
3. 前記記憶手段には、複数の前記撮像装置を特定する情報を記憶しており、
   前記携帯端末は、
   前記記憶手段が有する複数の前記撮像装置を特定する情報から一つを選択する選択手段と、を有し、
   前記顔情報送信命令手段は、前記選択手段により選択された特定の情報を有する撮像装置に、顔情報の送信を命令することを特徴とする請求項２に記載の撮像システム。
4. 携帯端末と通信可能な撮像手段を有する撮像装置であって、
   第１の顔情報と、前記携帯端末と通信するための情報とを記憶する記憶手段と、
   前記撮像手段で撮像された画像から第２の顔情報を検出する顔情報検出手段と、
   前記記憶手段に記憶された第１の顔情報と、前記顔情報検出手段で検出された第２の顔情報とを照合する顔情報照合手段と
   前記顔情報照合手段による照合の結果、前記第２の顔情報に前記第１の顔情報と類似する情報が含まれているかを判断する判断手段と、
   前記判断手段により、前記第２の顔情報に前記第１の顔情報と類似する情報が含まれていないと判断された場合、前記記憶手段から取得される前記携帯端末と通信するための情報より、前記携帯端末に報知を命令する報知命令手段とを有することを特徴とする撮像装置。
5. 撮像工程を有する撮像装置と、第１の顔情報を記憶する記憶手段を有する前記撮像装置と通信可能な携帯端末とを制御する撮像システムの制御方法であって、
   前記撮像装置を、
   前記撮像工程で撮像した画像から第２の顔情報を検出する顔情報検出工程と、
   前記顔情報検出工程で検出された第２の顔情報を前記携帯端末に送信する送信工程として制御し、
   前記携帯端末を、
   前記送信工程により送信された第２の顔情報を受信する受信工程と、
   前記記憶手段に記憶された第１の顔情報と、前記受信工程により受信した第２の顔情報とを照合する顔情報照合工程と
   前記顔情報照合工程による照合の結果、前記第２の顔情報に前記第１の顔情報と類似する情報が含まれているかを判断する判断工程と、
   前記判断工程により、前記第２の顔情報に前記第１の顔情報と類似する情報が含まれていないと判断された場合、ユーザに報知する報知工程として制御することを特徴とする撮像システムの制御方法。
6. 請求項５に記載された撮像システムの制御方法を実行するためのプログラム。
7. 請求項６に記載された撮像システムの制御方法を実行するためのプログラムをコンピュータが読み取り可能に記憶した記憶媒体。

Images