JP2016092820A - 遠隔カメラ制御方法、遠隔撮影システムおよびサーバ - Google Patents

遠隔カメラ制御方法、遠隔撮影システムおよびサーバ Download PDF

Info

Publication number
JP2016092820A
JP2016092820A JP2015201922A JP2015201922A JP2016092820A JP 2016092820 A JP2016092820 A JP 2016092820A JP 2015201922 A JP2015201922 A JP 2015201922A JP 2015201922 A JP2015201922 A JP 2015201922A JP 2016092820 A JP2016092820 A JP 2016092820A
Authority
JP
Japan
Prior art keywords
remote
image data
camera
user terminal
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015201922A
Other languages
English (en)
Other versions
JP6567946B2 (ja
Inventor
山下 和彦
Kazuhiko Yamashita
和彦 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JP2016092820A publication Critical patent/JP2016092820A/ja
Application granted granted Critical
Publication of JP6567946B2 publication Critical patent/JP6567946B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators

Abstract

【課題】ユーザ端末が撮影スポット内に存在する場合に限り、撮影スポット内に設置された遠隔カメラを操作可能とする遠隔カメラ制御方法を提供する。
【解決手段】遠隔カメラ制御方法は、遠隔カメラと端末カメラとで同一時間帯に撮影することにより得られた第1の遠隔画像データと端末画像データとを取得するステップと、2つの画像データを照合し、同一の被写体を認めた場合に、ユーザ端末が撮影スポット内に存在するものとして、ユーザ端末を認証するステップと、ユーザ端末の認証がされた後、遠隔カメラで撮影された第2の遠隔画像データをユーザ端末に提供するステップとを含む。
【選択図】図2

Description

本開示は、観光地などの撮影スポットに設置される遠隔操作可能なカメラを用いて撮影を行うための遠隔カメラ制御方法、遠隔撮影システムおよびサーバに関する。
例えば、観光地やテーマパーク等における景観が優れている場所など、ユーザが撮影することを望む場所(以下「撮影スポット」という。)を撮影範囲とする状態にカメラを設置し、設置したカメラを用いた撮影をユーザに提供するサービスが検討されている。このサービスによれば、ユーザは自らの所有するカメラなどを用いて撮影するよりもブレのない綺麗な画像を得ることができるので、ユーザの満足度を高めることができる。
このような撮影は、撮影スポットを訪れた記念に行われるものであるから、撮影スポット内に存在するユーザに限って利用されることが望ましい。そこで、予めユーザの顔写真を登録しておき、登録された顔写真に写っている人と、設置したカメラに写っている人が同一人物であると認証された場合に限りサービスを提供する方法がある(例えば、特許文献1参照)。
特開2014−99763号公報
しかしながら、上述のように予め顔写真を登録する方法を用いた場合、例えば、他人の顔写真を登録すると、実際には撮影スポットの範囲に存在しないユーザにサービスが提供されてしまう恐れがある。
本開示に係る遠隔カメラ制御方法は、撮影スポットを撮影範囲に含む位置に設置され通信機能を備える遠隔カメラと、通信機能及び端末カメラを備えるユーザ端末とを含む遠隔撮影システムで用いられる遠隔カメラ制御方法であって、前記遠隔カメラと前記端末カメラとで同一時間帯に撮影することにより得られた第1の遠隔画像データと端末画像データとを取得するステップと、前記第1の遠隔画像データと前記端末画像データとを照合し、前記第1の遠隔画像データと前記端末画像データとで同一の被写体を認めた場合に、前記ユーザ端末が前記撮影スポット内に存在するものとして、前記ユーザ端末を認証するステップと、前記ユーザ端末の認証がされた後、前記遠隔カメラで撮影された第2の遠隔画像データを前記ユーザ端末に提供するステップとを含む。
上述の構成により、ユーザ端末が撮影スポット内に存在する場合に限り、遠隔カメラの操作を許可することが可能となる。
図1は、本開示の遠隔撮影システムの概要を示す模式図である。 図2は、本開示の遠隔カメラ制御方法の概要を示すフローチャートである。 図3は、遠隔撮影システムの構成を示すブロック図である。 図4Aは、カメラ管理サーバの機能構成例を示すブロック図である。 図4Bは、カメラ管理アプリのデータ構成例を示すブロック図である。 図5は、接続許可リストの一例を示す図である。 図6Aは、遠隔カメラの機能構成例を示すブロック図である。 図6Bは、認証アプリのデータ構成例を示すブロック図である。 図7Aは、ユーザ端末の機能構成例を示すブロック図である。 図7Bは、遠隔カメラ操作アプリのデータ構成例を示す模式図である。 図8は、遠隔カメラ制御処理の一例を示すシーケンス図である。 図9は、遠隔撮影システム1におけるユーザの振る舞いを説明する図である。 図10Aは、認証撮影プレビューの一例を示す図である。 図10Bは、遠隔カメラによる撮影画像の一例を示す図である。 図10Cは、遠隔撮影プレビューの一例を示す図である。 図11は、遠隔撮影システムの構成を示すブロック図である。 図12Aは、遠隔カメラの機能構成例を示すブロック図である。 図12Bは、認証接続アプリのデータ構成例を示すブロック図である。 図13は、接続許可リストの一例を示す図である。 図14Aは、ユーザ端末の機能構成例を示すブロック図である。 図14Bは、遠隔カメラ操作アプリのデータ構成例を示すブロック図である。 図15は、遠隔カメラ制御処理の一例を示すシーケンス図である。 図16は、遠隔撮影システム2におけるユーザの振る舞いを説明する図である。 図17Aは、遠隔カメラ操作アプリ起動時の表示例を示す図である。 図17Bは、認証撮影プレビューの一例を示す図である。 図17Cは、ユーザ端末の背面の構成例を示す図である。 図18Aは、カメラ管理サーバの機能構成例を示すブロック図である。 図18Bは、カメラ管理アプリのデータ構成例を示すブロック図である。 図18Cは、認証アプリのデータ構成例を示すブロック図である。 図19は、遠隔カメラの機能構成例を示すブロック図である。 図20は、遠隔カメラ制御処理の一例を示すシーケンス図である。 図21Aは、遠隔カメラ操作アプリ起動時の表示例を示す図である。 図21Bは、ユーザ端末の背面の構成例を示す図である。 図22Aは、端末画像データから抽出された特徴データを示す模式図である。 図22Bは、遠隔画像データから抽出された特徴データを示す模式図である。 図23は、複数の画像対に対する照合認証処理の一例を示すフローチャートである。
<概要>
まず、実施の形態について説明する前に、本開示の遠隔撮影システムの概要について説明する。遠隔撮影システムは、観光地、テーマパークなどにおける撮影スポットに設置されたカメラをユーザに使用させて、ユーザの満足する写真を撮影するサービスを提供するシステムである。
図1は、遠隔撮影システムの概要を示す模式図である。図1に示すように、各撮影スポットには、通信機能を有し、遠隔操作可能な遠隔カメラ10(10a、10b、……)が設置されている。各ユーザは、例えばスマートフォンなどの、通信機能を有しカメラを内蔵するユーザ端末20(20a、20b、……)を所持している。
遠隔カメラ10とユーザ端末20とは、それぞれが有する通信機能を用いて、指示や画像などの任意のデータを互いに送受信できるように接続される。遠隔カメラ10とユーザ端末20との間の接続形態は、特に問わない。例えば、所謂インターネットなどのネットワークを介した接続であってもよいし、所謂アドホックモードのように直接通信する形態での接続であってもよい。
また、図示していないが、遠隔カメラ10とユーザ端末20との接続を中継及び/又は管理するための、カメラ管理サーバ30が設置されてもよい。この場合、カメラ管理サーバ30の設置場所は、特に問わない。
図2は、本開示の遠隔カメラ制御方法の概要を示すフローチャートである。
本開示の遠隔カメラ制御方法は、遠隔カメラ10とユーザ端末20の備えるカメラ(以下、端末カメラと称す)とで同一時間帯に撮影することにより得られた遠隔画像データ(第1の遠隔画像データ)と端末画像データとを取得する同期撮影処理を有する(ステップS201)。ここで、同期撮影処理は、認証用の画像を撮影するものであるので、認証撮影処理とも称す。
また、本開示の遠隔カメラ制御方法は、認証撮影処理において取得された遠隔画像データと端末画像データとを照合し、遠隔画像データと端末画像データとで同一の被写体を認めた場合に、ユーザ端末20が撮影スポット内に存在するものとして、ユーザ端末20を認証するユーザ認証処理(ステップS202)とを有する。
そして、本開示の遠隔カメラ制御方法は、ユーザ認証処理の後、遠隔カメラ10で撮影された遠隔画像データ(第2の遠隔画像データ)を認証されたユーザ端末20へ提供する画像提供処理(ステップS203)を有する。
これにより、ユーザ端末20が撮影スポット内に存在する場合に限り、遠隔カメラ10で撮影された画像を認証されたユーザ端末20のユーザに提供することが可能となる。
以下、本開示に係る各実施の形態について図面を参照して説明していく。以下で説明する記載は、いずれも本開示の一例を示すものであり、数値、形状、構成要素、ステップ、ステップの順序などは、本開示を限定する主旨ではない。各実施の形態における構成要素のうち、上述の説明で記載していない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることも可能である。
<1.実施の形態1>
実施の形態1の遠隔撮影システム1の動作は、大きく分けて、起動処理、認証撮影処理、ユーザ認証処理、遠隔撮影処理に分けられる。
起動処理は、遠隔カメラ10とユーザ端末20とカメラ管理サーバ30との間の通信接続を確立する処理である。
認証撮影処理は、遠隔カメラ10とユーザ端末20とで同一の時間帯に同一の被写体の撮影を行って、ユーザ認証処理に用いられる2つの画像データを取得する処理である。
ユーザ認証処理は、認証撮影処理で取得された2つの画像データに対して、画像特徴照合を行い、2つの画像データで共通する被写体の特徴を有する場合に、ユーザ端末20を認証する処理である。
遠隔撮影処理は、ユーザ認証処理で認証されたユーザ端末の操作により遠隔カメラ10において撮影を行い、当該撮影において生成された遠隔画像データ(第2の遠隔画像データ)を、ユーザ端末20に提供する処理である。
以下、上述の動作を実現する構成、及び、上述の動作の詳細について、図面を参照して説明する。
<1−1.構成>
図3は、遠隔撮影システム1の構成を示す図である。遠隔撮影システム1は、図に示すように、少なくとも1つの遠隔カメラ10、少なくとも1つのユーザ端末20、及びカメラ管理サーバ30から構成される。遠隔カメラ10及びカメラ管理サーバ30は、ネットワークを介して通信を行う。また、ユーザ端末20は、携帯電話通信網あるいはネットワークを介してカメラ管理サーバ30と通信を行う。
<1−1−1.カメラ管理サーバ30>
カメラ管理サーバ30は、撮影スポットに設置されている遠隔カメラ10とユーザ端末20との間の通信を中継し、異なるネットワークに接続されている遠隔カメラ10とユーザ端末20とのデータの橋渡しを行う。また、カメラ管理サーバ30は、複数のユーザが同時に遠隔カメラ10を利用しないように接続を調停する。
カメラ管理サーバ30は、情報処理装置であり、一例としてパーソナルコンピュータで実現される。図4Aは、カメラ管理サーバの機能構成例を示すブロック図である。図に示すように、カメラ管理サーバ30は、機能構成として、通信部401、記憶部402及び制御部403を含んで構成される。
(通信部401)
通信部401は、無線通信及び有線通信を行うためのLSIで実現される。通信部401は、携帯電話通信網を介した無線通信を行う機能を有し、ユーザ端末20との間でデータの送受信を行う。また、通信部401は、インターネットなどのネットワークを介した有線通信又は無線通信を行う機能を有し、遠隔カメラ10あるいはネットワーク接続が可能なユーザ端末20との間でデータの送受信を行う。
(記憶部402)
記憶部402は、例えば、FeRAM(Ferroelectric Random Access Memory)などの不揮発性メモリで実現され、データを保持する機能を有する。記憶部402は、後述する接続許可リスト411を保持する。
(制御部403)
制御部403は、プロセッサ及びメモリを含んで構成されており、カメラ管理サーバ30の全体動作を制御する。ここで、制御部403の有する各機能は、メモリに記憶されているプログラムをプロセッサが実行することにより実現される。制御部403は、主要な機能として、接続情報受信機能412、および、遠隔カメラ10とユーザ端末20との間のデータ中継機能413を有する。また、カメラ管理アプリ410が予めインストールされており、制御部403の一機能として動作する。
以下、制御部403の各機能について説明する。
(接続情報受信機能412)
接続情報受信機能412は、カメラ管理アプリ410が、遠隔カメラ10とユーザ端末20との間の接続可否を制御するための、遠隔カメラ10及びユーザ端末20のID情報の取得等を行う機能である。
(データ中継機能413)
データ中継機能413は、遠隔カメラ10から受信したデータをユーザ端末20に送信し、また、ユーザ端末20から受信したデータを遠隔カメラ10に送信する機能である。
中継すべきデータとして、遠隔カメラ10が送信するデータには、ユーザ認証の結果、遠隔撮影時のプレビュー画像データ、遠隔撮影時の遠隔画像データなどがある。また、中継すべきデータとして、ユーザ端末20が送信するデータには、認証撮影時の撮影指示、認証撮影における端末画像データ、遠隔撮影時の撮影指示などがある。
(カメラ管理アプリ410)
カメラ管理アプリ410は、上述したようにカメラ管理サーバ30に予めインストールされているプログラムである。カメラ管理アプリ410は、図4Bに示すように、端末接続モジュール421を含んでいる。端末接続モジュール421は、制御部403の接続情報受信機能412を利用し、接続許可リスト411に基づいて、遠隔撮影システム1を利用しようとするユーザ端末20のアクセスを制御する。
(接続許可リスト411)
ここで、接続許可リスト411について説明する。図5は、接続許可リスト411の一例を示す図である。接続許可リスト411は、図の例では、遠隔カメラ10を識別するためのカメラIDと、ユーザ端末20を識別するためのユーザIDと、それらの組み合わせをいつ利用できるかの接続条件との3つの情報が関連付けられた情報のリストである。
図では、カメラIDが「CID01」の遠隔カメラ10と、ユーザIDが「TID01」のユーザ端末20の接続条件は「−」となっている。これは、ユーザIDが「TID01」のユーザ端末20が、日時に関係なく、カメラIDが「CID01」の遠隔カメラ10と接続することが可能であることを意味する。
また、カメラIDが「CID02」の遠隔カメラ10と、ユーザIDが「TID04」のユーザ端末20の接続条件は「11/03/15:00−11/03/16:00」となっている。これは、ユーザIDが「TID04」のユーザ端末20が、11月3日の15:00から16:00までの間であれば、カメラIDが「CID02」の遠隔カメラ10と接続することが可能であることを意味する。
なお、接続許可リスト411に記述されていない組み合わせや日時に、ユーザ端末20が遠隔カメラ10に接続しようとすると、カメラ管理サーバ30が接続を許可しない。従って、そのような場合、ユーザ端末20は、遠隔カメラ10とのユーザ認証を行うができない。
この接続許可リスト411は、カメラ管理サーバ30が、外部からの登録や削除等の操作が容易な形式のデータベース形式で保持することが望ましい。但し、上記の趣旨に沿った情報を得ることができれば、接続許可リスト411の運用方法については特に限定しない。例えば、システム管理者が、外部で作成された接続許可リスト411のデータをカメラ管理サーバ30にアップロードするという簡易な方法を用いてもよい。
また、接続許可リスト411は、使用希望の遠隔カメラ10のカメラID、使用するユーザ端末20のユーザID、及び、接続条件をユーザから取得することで作成される。これらの情報の取得方法は、専用の端末を使用して取得する方法、インターネット等を介して取得する方法などが考えられるが、これらの方法については、特に限定しない。
カメラIDは、遠隔撮影システム1に接続される全ての遠隔カメラ10にユニークな識別子であり、予め設定しておくものとする。
ユーザIDは、遠隔撮影システム1に接続される可能性のある全てのユーザ端末20、又は、遠隔撮影システム1を利用する全てのユーザにユニークな識別子である。ユーザIDは、例えば、ユーザ端末20の型番とシリアル番号で構成される識別子を用いてもよいし、接続許可リスト411を作成する際に識別子を割り当ててもよい。また、遠隔撮影システム1のユーザ登録をする際に識別子を割り当ててもよい。なお、ユーザ端末20毎にユニークではなく、ユーザ毎にユニークなIDを用いた場合は、ユーザが所有する複数のユーザ端末20のいずれを使用して接続することも可能である。接続権限を持たない端末を排除することができるID体系であれば、どのようなものを用いても、本実施の形態の趣旨からはずれるものではない。
<1−1−2.遠隔カメラ10>
次に、遠隔カメラ10の構成について説明する。遠隔カメラ10は、撮影スポットの画像を撮影するための撮像装置である。
図6Aは、遠隔カメラ10の機能構成例を示すブロック図である。図に示すように、遠隔カメラ10は、機能構成として、撮影カメラ601、通信部602、記憶部603、および、制御部604を含む。
(撮影カメラ601)
撮影カメラ601は、制御部604からの撮影指示を受け付けて撮影を行って画像データを生成する。撮影カメラ601は、プレビュー画像データ、認証撮影時の第1の遠隔画像データに対応する遠隔画像データ611、遠隔撮影時の第2の遠隔画像データに対応する遠隔画像データ等を生成する。なお、動画の取得を行う場合には、連続撮影をおこない複数の画像データを生成し、静止画像の取得を行う場合は、1ショット撮影を行い1枚の画像データを生成する。
(通信部602)
通信部602は、無線通信及び有線通信を行うためのLSIで実現される。通信部602は、インターネットなどのネットワークを介した有線通信又は無線通信を行う機能を有し、カメラ管理サーバ30との間でデータの送受信を行う。
(記憶部603)
記憶部603は、例えば、FeRAMなどの不揮発性メモリで実現され、データを保持する機能を有する。記憶部603は、撮影カメラ601で撮影されて生成された遠隔画像データ611、および、ユーザ端末20から通信部602を介して取得された端末画像データ612を、後述するユーザ認証処理を行う間、一時的に記憶する。
(制御部604)
制御部604は、プロセッサ及びメモリを含んで構成されており、遠隔カメラ10の全体動作を制御する。ここで、制御部604の有する各機能は、メモリに記憶されているプログラムをプロセッサが実行することにより実現される。制御部604は、主要な機能として、撮影制御機能613、および、画像送受信機能614を有する。また、遠隔カメラ10には、認証アプリ610が予めインストールされており、制御部604の一機能として動作する。
以下、制御部604の各機能について説明する。
(撮影制御機能613)
撮影制御機能613は、撮影カメラ601を用いた撮影を制御する機能であり、プレビュー画像データ、認証撮影時の遠隔画像データ611、遠隔撮影時の遠隔画像データを生成するための制御を行う機能である。
(画像送受信機能614)
画像送受信機能614は、通信部602を用いて、外部との画像データの送受信の制御を行う機能である。具体的には、カメラ管理サーバ30を介し、認証撮影時におけるユーザ端末20からの端末画像データ612の受信、遠隔撮影時におけるユーザ端末20へのプレビュー画像データの送信、及び、遠隔撮影時における認証されたユーザ端末20への遠隔画像データの送信を行う。
(認証アプリ610)
認証アプリ610は、上述したように遠隔カメラ10に予めインストールされているプログラムである。認証アプリ610は、図6Bに示すように、画像特徴抽出モジュール620、特徴照合モジュール621、認証判定モジュール622を含んでいる。
画像特徴抽出モジュール620は、遠隔画像データ611と端末画像データ612とから特徴データを抽出する。特徴照合モジュール621は、抽出された特徴データを照合する。認証判定モジュール622は、2つの画像データにおいて共通する特徴を有するか否かに応じて、認証成功か認証失敗かを示す認証結果を生成する。
(遠隔画像データ611)
遠隔画像データ611は、撮影カメラ601で撮影されて生成された画像データである。データ形式は、画像処理で一般的に用いられているYUV形式などの輝度信号と色差信号に分離された形式、あるいは、撮影カメラ601が生成するRAW形式などが考えられる。データ形式は、端末画像データ612との照合に十分な、画像サイズ、画像品質を満たしていれば、特に限定はしない。
(端末画像データ612)
端末画像データ612は、ユーザ端末20で撮影されて生成され、通信部602を介して取得された画像データである。データ形式は、照合を行うために、遠隔画像データ611と同一条件のものが望ましい。
<1−1−3.ユーザ端末20>
次に、ユーザ端末20の構成について説明する。ユーザ端末20は、携帯型の情報処理端末であり、一例としていわゆるスマートフォンやタブレット端末で実現されている。
図7Aは、ユーザ端末20の機能構成例を示すブロック図である。図に示すように、ユーザ端末20は、機能構成として、表示部701、撮影指示入力部702、端末カメラ703、通信部704、記憶部705、及び制御部706を含む。
(表示部701)
表示部701は、ディスプレイ及びディスプレイ制御LSIで実現されている。ディスプレイは、一例として液晶ディスプレイである。ディスプレイ制御LSIは、どのような画像を表示すべきかを示す画像データを取得して、画像データにより示される画像をディスプレイに表示させる機能を有する。
(撮影指示入力部702)
撮影指示入力部702は、タッチパッドで実現され、静電容量の変化によってユーザによる接触操作を検知し、接触操作により示されるユーザからの指示を制御部706に通知する機能を有する。撮影指示入力部702は、ユーザが、液晶ディスプレイに表示されたカーソルを移動させたり、アイコン等の表示物を選択したりするなどのユーザ指示を入力するために用いられる。
(端末カメラ703)
端末カメラ703は、制御部706からの撮影指示を受け付けて撮影を行って画像データを生成する。端末カメラ703は、認証撮影時のプレビュー画像データ、端末画像データ等を生成する。なお、動画の取得を行う場合には、連続撮影をおこない複数の画像データを生成し、静止画像の取得を行う場合は、1ショット撮影を行い1枚の画像データを生成する。実施の形態1において、端末カメラ703は、ユーザ端末20の表示部701と同じ面に配置されている。
(通信部704)
通信部704は、無線通信を行うためのLSIで実現されている。通信部704は、例えば、携帯電話通信、無線LAN通信などの無線通信を行う機能を有し、カメラ管理サーバ30との間でデータの送受信を行う。
(記憶部705)
記憶部705は、例えば、FeRAMなどの不揮発性メモリで実現され、データを保持する機能を有する。記憶部705には、遠隔カメラ10で撮影されて生成された遠隔画像データ711が保存される。
(制御部706)
制御部706は、プロセッサ及びメモリを含んで構成されており、ユーザ端末20の全体動作を制御する。制御部706の有する各機能は、メモリに記憶されているプログラムをプロセッサが実行することにより実現される。制御部706は、撮影指示入力部702から入力されるユーザ指示、および、カメラ管理サーバ30からの通信によって取得されるデータに応じた機能を実行する。制御部706は、主要な機能として、撮影制御機能712、画像送受信機能713、遠隔操作機能714、画像表示機能715を有する。また、遠隔カメラ操作アプリ710が予めインストールされており、制御部706の一機能として動作する。
以下、制御部706の各機能について説明する。
(a)撮影制御機能712
撮影制御機能712は、端末カメラ703を用いた撮影を制御する機能であり、プレビュー画像データ、認証撮影時の端末画像データを生成するための制御を行う機能である。
(b)画像送受信機能713
画像送受信機能713は、通信部704を用いて、外部との画像データの送受信の制御を行う機能である。具体的には、カメラ管理サーバ30を介し、認証撮影時における遠隔カメラ10への端末画像データの送信、及び、遠隔撮影時における遠隔カメラ10からのプレビュー画像データ、遠隔画像データ711の受信を行う。
(c)遠隔操作機能714
遠隔操作機能714は、通信部704を用いて、カメラ管理サーバ30を介して遠隔カメラ10の制御を行うための機能であり、本実施の形態では撮影指示の発行を行う。
(d)画像表示機能715
画像表示機能715は、端末カメラ703で生成されたプレビュー画像及び端末画像データ、並びに、遠隔カメラ10から受信したプレビュー画像及び遠隔画像データ711などの表示を行う。
(e)遠隔カメラ操作アプリ710
遠隔カメラ操作アプリ710は、上述したようにユーザ端末20に予めインストールされているプログラムである。遠隔カメラ操作アプリ710は、図7Bに示すように、接続制御モジュール720、Local撮影モジュール721、Remote撮影モジュール722を含んでいる。
接続制御モジュール720は、カメラ管理サーバ30との間で、通信接続を確立する。Local撮影モジュール721は、端末カメラ703で生成されたプレビュー画像データを表示部701に表示する。Remote撮影モジュール722は、遠隔カメラ10から受信したプレビュー画像データを表示部701に表示する。
(遠隔画像データ711)
遠隔画像データ711は、遠隔カメラ10で撮影されて生成され、通信部704を介して取得された画像データであり、記憶部705に保存される。データ形式は、例えば、スマートフォンやパーソナルコンピュータにおいて写真データとして一般的に用いられているJPEGなどの形式で保存される。
<1−2.動作>
以下、遠隔撮影システム1の動作について、図8、図9、図10A〜Cを用いて説明する。
上述したように、遠隔撮影システム1の動作は、大きく分けて、起動処理、認証撮影処理、ユーザ認証処理、遠隔撮影処理に分けられる。
以下、図8を参照しつつ、各処理について順番に説明する。
<1−2−1.起動処理>
遠隔撮影システム1の起動処理について説明する。
まず、カメラ管理サーバ30がカメラ管理アプリ410を起動する(ステップS800)。カメラ管理サーバ30は、ユーザ端末20からの接続開始要求に対して、いつでも対応する必要があるため、カメラ管理サーバ30の起動時にカメラ管理アプリ410を起動しておく。
ユーザは、撮影スポットに到着すると、図9に示しているように遠隔カメラ10の撮影範囲になる位置にいることを確認し、ユーザ端末20を操作して、予めインストールされている遠隔カメラ操作アプリ710を起動させる(ステップS801)。
遠隔カメラ操作アプリ710を起動すると、最初に接続制御モジュール720が動作し、遠隔カメラ10への接続処理が実行される(ステップS802)。接続処理において、接続制御モジュール720は、カメラ管理サーバ30に対して、接続開始要求と共にユーザ端末20のユーザIDを送信する。ユーザが複数の遠隔カメラ10の利用申請をしていて、カメラ管理サーバ30の接続許可リスト411に複数の遠隔カメラに対する登録をしている場合、接続したい遠隔カメラ10のカメラIDも併せて送信する。カメラIDの指定は、ユーザ端末20の表示部にカメラIDのリストを表示してユーザに選択させる方法、GPSなどの位置情報から該当する遠隔カメラ10のカメラIDを取得する方法、撮影時刻から利用可能な遠隔カメラのカメラIDを取得する方法などが可能である。
カメラ管理サーバ30がユーザ端末20からの接続開始要求を受信すると、カメラ管理アプリ410の端末接続モジュール421は、受信したユーザ端末20のユーザIDを用いて接続判定処理を行う(ステップS803)。接続判定処理では、接続許可リスト411から、ユーザID及び現在時刻で絞り込まれる項目を検索する。なお、カメラIDを受信している場合は、さらにカメラIDでの絞込みを行う。
該当する項目が接続許可リスト411にあった場合は接続成功、なかった場合は接続失敗と判定する。なお、複数の項目が該当した場合は、接続すべき遠隔カメラ10を特定できないため、接続失敗扱いとする。また、該当する遠隔カメラ10が、他のユーザ端末によって接続されている場合も接続失敗扱いとする。但し、遠隔カメラ10が複数ユーザに対する同時撮影に対応していれば、接続成功扱いとしてもよい。
ステップS803の接続判定結果は、ユーザ端末20に通知される(ステップS804)と共に、認証撮影処理を開始するか否かの判定(ステップS805)に用いられる。ここで、カメラ管理サーバ30は、接続成功となった場合に限り、遠隔カメラ10に対して認証撮影開始要求を発行する(ステップS806)。
ユーザ端末20は、カメラ管理サーバ30からの接続判定結果に応じて以降の処理を選択する(ステップS807)。接続成功の場合は、認証撮影処理を開始し、接続失敗の場合は遠隔カメラ操作アプリを終了する(ステップS829)。
以上が、遠隔撮影システム1の起動処理となる。
<1−2−2.認証撮影処理>
次に、遠隔撮影システム1の認証撮影処理について説明する。
遠隔カメラ10は、カメラ管理サーバ30からの認証開始要求を受けると、認証アプリ610を起動して、ユーザ端末20からの撮影指示を受付可能な状態へ遷移する(ステップS808)。
ユーザ端末20は、認証撮影プレビューを開始する(ステップS809)。認証撮影プレビューは、遠隔カメラ操作アプリ710のLocal撮影モジュール721によって動作する。ユーザ端末20は、認証撮影プレビューにおいて、撮影制御機能における撮影で得られるプレビュー画像データの生成と画像表示機能による表示部701へのプレビュー画像の表示とを繰り返しながら、撮影指示入力部702から入力されるユーザの撮影指示を待つ。ユーザ端末20の表示部701には、例えば図10Aに示すように、プレビュー画像が表示される。
ユーザは、表示部701を見て、自身の顔が映っていることを確認し、撮影指示入力部702をタッチして、撮影指示を入力する(ステップS810)。
ユーザから撮影指示が入力されると、ユーザ端末20では、撮影制御機能が端末カメラ703を駆動して認証に用いられる端末画像データを生成し(ステップS813)、カメラ管理サーバ30を介して、遠隔カメラ10に送信する(ステップS814)。
また、ユーザから撮影指示が入力されると、ユーザ端末20の遠隔操作機能により、カメラ管理サーバ30を介して、遠隔カメラ10に撮影指示が送信される(ステップS811)。
遠隔カメラ10は、ユーザ端末20からの撮影指示を受信すると、撮影制御機能が撮影カメラ601を駆動して認証に用いられる遠隔画像データ611を生成する(ステップS812)。図10Bは、この時生成される遠隔画像データ611の一例である。
生成された遠隔画像データ611は、記憶部603に一時的に保存される。また、ユーザ端末20から受信した端末画像データ612は、記憶部603に一時的に保存される。
なお、ユーザ端末20が撮影スポット内に存在することを認証するためには、ステップS812とステップS813とのタイムラグは、数分以内であることが好ましく、数秒以内であることがさらに好ましい。遠隔撮影システム1では、ステップS812とステップS813とのタイムラグは、例えば、5秒以内であるとする。ステップS812により得られる遠隔画像データおよびステップS813により得られる端末画像データを撮像した時刻の差は前述のタイムラグ以内となる。遠隔カメラ10による遠隔画像データの撮影時刻、ユーザ端末20による端末画像データの撮影時刻の差がタイムラグ以内となるように遠隔カメラ10、およびユーザ端末20のそれぞれで撮影がされることを同一時間帯で、遠隔カメラ10、ユーザ端末20で撮影されるという。よって、ステップS811は、カメラ管理サーバ30を介して、遠隔カメラ10に同一時間帯での撮影指示が送信されることになる。
以上が遠隔撮影システム1の認証撮影処理となる。
<1−2−3.ユーザ認証処理>
次に、遠隔撮影システム1のユーザ認証処理について説明する。
遠隔カメラ10の認証アプリ610は、記憶部603に一時的に保存された、遠隔画像データ611と端末画像データ612とを照合する画像照合処理を行う(ステップS815)。画像照合処理は、画像特徴抽出モジュール620による遠隔画像データ611と端末画像データ612とから特徴データを抽出する特徴抽出ステップ、及び、特徴照合モジュール621による抽出された特徴データを付き合わせる特徴照合ステップを含む。
遠隔撮影システム1では、例えば、顔の特徴データによる照合を行う。特徴抽出ステップでは、例えば、2つの画像データの中から顔と判定できる領域を検出し、それぞれ検出した顔領域に対して顔の特徴データを抽出する。そして、特徴照合ステップでは、それぞれの画像データから抽出された顔の特徴データによる照合を行う。遠隔画像データ611と端末画像データ612とで同一人物(つまり、同一の被写体)が写っている場合に顔の特徴データが一致することになる。これにより、ユーザ端末20を操作しているユーザが、遠隔カメラ10の撮影範囲内にいることを確認することができる。
顔の特徴データが一致するか否かに応じて、遠隔カメラ10の認証アプリ610は、認証判定モジュール622により認証成功か認証失敗かを判定する認証判定処理を行う(ステップS816)。認証判定モジュール622は、例えば、特徴データの差分(距離)が閾値より小さい場合に一致したとみなす。
なお、遠隔画像データ611及び端末画像データ612には、ユーザ端末20のユーザだけではなく、他の人物も同時に写っている可能性がある。そこで、遠隔撮影システム1では、遠隔画像データ611及び端末画像データ612に写る全ての顔の組み合わせについて照合を行い、いずれかの顔の特徴データが一致すると、認証成功と判定する。
遠隔カメラ10は、この認証結果を、カメラ管理サーバ30を介して、ユーザ端末20に送信する(ステップS817)。その後、遠隔カメラ10は、認証アプリ610を終了し(ステップS820)、遠隔撮影処理へと移行する。
なお、認証が成功した場合には、認証結果の通知と同時に、ユーザ端末20への遠隔カメラ10の操作権限の付与を行う。また、認証処理に用いた、遠隔画像データ611と端末画像データ612は、この時点で不要となるため、記憶部603から消去される。
ユーザ端末20は、遠隔カメラ10からの認証結果を受信すると、認証が成功したか否かを確認し(ステップS818)、認証が成功した場合、遠隔撮影処理へと移行する。
もし、認証が失敗していた場合は、再認証を行うことが可能であり、再認証指示がユーザから入力された場合は、ステップS809に戻って再度認証撮影をやり直す(ステップS819)。
ここで、認証失敗には、いくつかの要因が考えられる。例えば、ユーザの顔が遠隔カメラ10の方向を向いていない場合、ユーザがサングラス等をしていて顔の特徴データが抽出できない場合などである、このような場合には、条件を合うように撮影し直して再認証を行うことが可能である。また、ユーザから認証を諦める旨の入力があった場合には、ステップS829に進み遠隔カメラ操作アプリ710を終了する。
なお、画像データから人物の顔を検出し、顔の特徴データを抽出するアルゴリズムや、複数の顔の特徴データの照合を行うアルゴリズムは、特許文献1で採用されているものをはじめ、多くの先行技術が開示されているため、ここでの詳細な説明は割愛する。また、どのようなアルゴリズムを採用するかは、本開示の趣旨に合うものであれば、特定のアルゴリズムに限定されるものではなく、任意に採用することができる。
以上が遠隔撮影システム1のユーザ認証処理となる。
<1−2−4.遠隔撮影処理>
次に、遠隔撮影システム1の遠隔撮影処理を説明する。
まず初めに、遠隔カメラ10とユーザ端末20とは、遠隔撮影プレビューを開始する。
遠隔撮影プレビューにおいて、遠隔カメラ10は、撮影制御機能によるプレビュー画像データ(第2の遠隔画像データ)の生成(ステップS821)と、画像送受信機能によるプレビュー画像データのユーザ端末20への送信(ステップS822)を行うと共に、ユーザ端末20からの撮影指示を受け付け可能な状態に遷移する。
プレビュー画像データは、ユーザが撮影位置などの確認をするために用いるため、静止画ではなく動画として見せることが望ましい。また、ネットワークの転送レートに応じて、画像サイズや転送レートを選ぶことになる。しかしながら、プレビュー画像データが動画であるか静止画であるかついて、並びに、プレビュー画像データの画像サイズ及び転送レートについては特に限定はしない。
遠隔撮影プレビューにおいて、ユーザ端末20は、画像送受信機能により遠隔カメラ10からプレビュー画像データを受信し、画像表示機能によって受信したプレビュー画像データを表示部701に表示する(ステップS823)。ユーザ端末20の表示部701には、例えば図10Cに示すように、プレビュー画像が表示される。
これにより、ユーザは、このプレビュー画像を見ながら、構図の変更、すなわち、被写体のポーズや立ち位置の変更を行うことができる。ユーザは、構図が決まると、撮影指示入力部702をタッチして、遠隔撮影の撮影指示を入力する(ステップS824)。このような操作により、ユーザは、設置された遠隔カメラ10を、あたかも自分のカメラであるかのように、ユーザ端末20を用いて操作することができる。ユーザから撮影指示が入力されると、遠隔カメラ操作アプリのRemote撮影モジュール722は、カメラ管理サーバ30を介して、遠隔カメラ10に撮影指示を送信する(ステップS825)。
遠隔カメラ10は撮影指示を受信すると、撮影制御機能により遠隔画像データを生成する(ステップS826)。そして、生成された遠隔画像データは、画像送受信機能により、カメラ管理サーバ30を介して、ユーザ端末20に送信される(ステップS827)。
ユーザ端末20のRemote撮影モジュール722は、遠隔カメラ10から受信した遠隔画像データ711を記憶部705に記録する(ステップS828)。また、ユーザ端末20のRemote撮影モジュール722は、遠隔カメラ10から受信した遠隔画像データ711を、画像表示機能により表示部701に表示してもよい。
その後、ユーザ端末20は、遠隔カメラ操作アプリ710を終了する(ステップS829)。
以上が遠隔撮影システム1の遠隔撮影処理となる。
<1−3.まとめ>
遠隔撮影システム1によれば、ユーザ端末20を持つユーザが遠隔カメラ10の撮影スポット内に存在する場合に限り、ユーザ端末20に対して遠隔カメラ10の操作権限が与えられる。その結果、撮影スポット内に存在するユーザは遠隔カメラ10を用いた撮影が可能となり、逆に、撮影スポット内に存在しないユーザによる遠隔カメラ10の遠隔操作を防止することができる。
<2.実施の形態2>
次に、実施の形態2に係る遠隔撮影システム2について説明する。
<2−1.遠隔撮影システム1との違い>
まず初めに、実施の形態2に係る遠隔撮影システム2と実施の形態1に係る遠隔撮影システム1との違いについて簡単に説明する。
遠隔撮影システム2は、カメラ管理サーバ30を含まない。遠隔撮影システム1においてカメラ管理サーバ30の実行していた処理は、遠隔撮影システム2では遠隔カメラ10が実行する。
遠隔撮影システム1において、認証撮影処理における被写体(対象物)は、ユーザ自身の顔であった。遠隔撮影システム2において、認証撮影処理における対象物は、遠隔カメラ10が指定する。指定された対象物を示す情報は、遠隔カメラ10からユーザ端末20に送信され、認証撮影プレビューの際に、ユーザ端末20の表示部701に表示される。
遠隔撮影システム1において、画像特徴照合は、人物の顔の特徴データを照合するものであった。遠隔撮影システム2において、画像特徴照合は、人物の身なり(服装)の特徴データを照合するものである。つまり、遠隔撮影システム2において、認証撮影処理における被写体(対象物)は、人物の身なりである。
以下、上述の特徴を有する遠隔撮影システム2の構成、及び、動作について、図面を参照して説明する。遠隔撮影システム1と同様の構成については、説明を割愛する。
<2−2.構成>
遠隔撮影システム2は、図11に示すように、少なくとも1つの遠隔カメラ10、及び少なくとも1つのユーザ端末20から構成される。遠隔カメラ10とユーザ端末20とは、携帯電話通信網あるいはネットワークを介して通信を行う。
<2−2−1.遠隔カメラ10>
図12Aは、遠隔撮影システム2に係る遠隔カメラ10の機能構成例を示すブロック図である。図に示すように、記憶部603は、遠隔撮影システム1の構成に加えて、新たに、接続許可リスト1211を保持する。また、制御部604は、遠隔撮影システム1の構成に加えて、主要な機能として、新たに、接続情報受信機能1212、および、対象物情報送信機能1213を有する。さらに、遠隔カメラ10には、認証接続アプリ1210が予めインストールされており、制御部604の一機能として動作する。
(接続情報受信機能1212)
接続情報受信機能1212は、認証接続アプリ1210が、ユーザ端末20との間の接続可否を制御するための、ユーザ端末20のID情報の取得等を行う機能である。
(対象物情報送信機能1213)
対象物情報送信機能1213は、認証撮影時に遠隔カメラ10からユーザ端末20へプレビュー画像データを送信する際に、認証撮影の対象物(被写体)を示すための対象物情報をユーザ端末20に送信する機能である。対象物情報は、例えば、プレビュー画像における位置(座標)及び大きさの情報である。
(認証接続アプリ1210)
認証接続アプリ1210は、上述したように、遠隔カメラ10に予めインストールされているプログラムである。認証接続アプリ1210は、図12Bに示すように、端末接続モジュール1221を含んでいる。端末接続モジュール1221は、制御部604の接続情報受信機能1212を利用し、接続許可リスト1211に基づいて、遠隔撮影システム2を利用しようとするユーザ端末20のアクセスを制御する。
(接続許可リスト1211)
ここで、接続許可リスト1211について説明する。図13は、接続許可リスト1211の一例を示す図である。
接続許可リスト1211は、図の例では、ユーザ端末20を識別するためのユーザIDと、いつ利用できるかの接続条件との2つの情報が関連付けられたリストである。
図では、ユーザIDが「TID01」のユーザ端末20の接続条件は「−」となっている。これは、ユーザIDが「TID01」のユーザ端末20が、日時に関係なく、遠隔カメラ10と接続することが可能であることを意味する。
また、ユーザIDが「TID04」のユーザ端末20の接続条件は「11/02/15:00−11/02/15:10」及び「11/03/15:00−11/03/16:00」となっている。これは、ユーザIDが「TID04」のユーザ端末20が、11月2日の15:00から15:10までの間、あるいは、11月3日の15:00から16:00までの間であれば、遠隔カメラ10と接続することが可能であることを意味する。
なお、接続許可リスト1211に記述されていないユーザIDと日時に、ユーザ端末20が遠隔カメラ10に接続しようとしても端末接続モジュール1221は許可しない。従って、そのような場合、ユーザ端末20は、遠隔カメラ10とのユーザ認証を行うができない。
なお、接続許可リスト1211の運用方法および作成方法については、遠隔撮影システム1の接続許可リスト411と同様であり、特に限定しない。また、ユーザIDについても、遠隔撮影システム1と同様である。
<2−2−2.ユーザ端末20>
図14Aは、遠隔撮影システム2に係るユーザ端末20の機能構成例を示すブロック図である。図に示すように、制御部706は、遠隔撮影システム1の構成に加えて、主要な機能として、新たに、対象物情報受信機能1411を有する。
(対象物情報受信機能1411)
対象物情報受信機能1411は、認証撮影時に遠隔カメラ10がユーザ端末20にプレビュー画像を送信する際に、認証撮影の対象物(被写体)を示すための対象物情報を遠隔カメラ10から受信する機能である。上述したように、対象物情報は、例えば、プレビュー画像における位置(座標)及び大きさの情報である。
<2−3.動作>
以下、遠隔撮影システム2の動作について、図15、16、17を用いて説明する。
遠隔撮影システム1と同様に、遠隔撮影システム2の動作は、大きく分けて、起動処理、認証撮影処理、ユーザ認証処理、遠隔撮影処理に分けられる。
以下、図15を参照しつつ、各処理について順番に説明する。なお、遠隔撮影処理については、カメラ管理サーバ30の仲介がないことを除いて、遠隔撮影システム1と同様の処理を行うので説明を省略する。
<2−3−1.起動処理>
遠隔撮影システム2の起動処理について説明する。
まず、遠隔カメラ10が認証接続アプリ1210を起動する(ステップS1500)。遠隔カメラ10は、ユーザ端末20からの接続開始要求に対して、いつでも対応する必要があるため、遠隔カメラ10の起動時に認証接続アプリ1210を起動しておく。
ユーザは、撮影スポットに到着すると、図16に示しているように遠隔カメラ10の撮影範囲が見える位置にいることを確認し、ユーザ端末20を操作して、予めインストールされている遠隔カメラ操作アプリ710を起動させる(ステップS1501)。
遠隔カメラ操作アプリ710を起動すると、最初に接続制御モジュール720が動作し、遠隔カメラ10への接続処理が実行される(ステップS1502)。接続処理において、接続制御モジュール720は、遠隔カメラ10に対して、接続開始要求と共にユーザ端末20のユーザIDを送信する。
遠隔カメラ10がユーザ端末20からの接続開始要求を受信すると、認証接続アプリ1210の端末接続モジュール1221は、受信したユーザ端末20のユーザIDを用いて接続判定処理を行う(ステップS1503)。
ステップS1503の接続判定結果は、ユーザ端末20に通知される(ステップS1504)と共に、認証撮影処理を開始するか否かの判定(ステップS1505)に用いられる。
ユーザ端末20は、遠隔カメラ10からの接続判定結果に応じて以降の処理を選択する(ステップS1506)。接続成功の場合は、認証撮影処理を開始し、接続失敗の場合は遠隔カメラ操作アプリを終了する(ステップS1529)。
以上が、遠隔撮影システム2の起動処理となる。
<2−3−2.認証撮影処理>
次に、遠隔撮影システム2の認証撮影処理を説明する。
遠隔カメラ10は、まず初めに、撮影制御機能613による遠隔画像データ611の生成(ステップS1507)し、記憶部603に一時的に記憶する。
次に、遠隔カメラ10は、認証接続アプリ1210による対象物指定処理(ステップS1508)を行う。対象物指定処理において、認証接続アプリ1210の画像特徴抽出モジュール620は、例えば、遠隔画像データ611から人物及び人物の身なり(服装)の領域を検出し、服装の色などの特徴データを抽出する。特徴照合モジュール621は、抽出された特徴データに基づき、他の被写体との判別が容易な対象物を特定する。例えば、複数の人物を検出した場合、それぞれの人物同士の特徴データを照合し、他の人物との特徴データの差が最も大きい人物を対象物として指定する。そして、特徴照合モジュール621は、遠隔画像データ611における、指定した対象物の領域を示す情報(例えば、位置情報及び大きさ情報)を対象物情報として生成する。遠隔撮影システム2において、対象物は、認証撮影の実行ごとに指定される。従って、遠隔撮影システム2において、対象物は、認証撮影の実行ごとに変化することになる。
遠隔カメラ10は、画像送受信機能614及び対象物情報送信機能1213により遠隔画像データ611及び対象物情報をユーザ端末20への送信する(ステップS1509)。
認証撮影処理において、ユーザ端末20は、遠隔カメラ操作アプリ710のLocal撮影モジュール721による認証撮影プレビューを開始する(ステップS1510)。
認証撮影プレビューにおいて、Local撮影モジュール721は、撮影制御機能712における撮影で得られるプレビュー画像データの生成と画像表示機能による表示部701へのプレビュー画像の表示とを繰り返す。これにより、図17A、図17Bに示すように、端末カメラ703で撮影されたプレビュー画像データが、表示部701のLocal画像表示領域1701に表示される。なお、図17Cに示すように、端末カメラ703は、遠隔撮影システム2においては、ユーザ端末20の背面(表示部701の裏側の面)に配置されている。
また、ユーザ端末20は、認証撮影プレビューと並行して、遠隔カメラ10から受信した遠隔画像データ及び対象物情報の表示を行う(ステップS1511)。ユーザ端末20は、画像送受信機能713及び対象物情報受信機能1411により遠隔カメラ10から遠隔画像データ及び対象物情報を受信し、画像表示機能715によって受信した遠隔画像データ及び対象物情報を表示部701に表示する。ユーザ端末20と遠隔カメラ10とが正しく接続されると、図17Bに示すように、表示部701のRemote画像表示領域1702に、遠隔カメラ10から受信した遠隔画像データが表示される。図の丸印(○)1703は、対象物を示すポインタであり、対象物情報で示される位置に、対象物情報で示される大きさで、遠隔画像データに重ねて表示される。
ユーザは、表示部701を見て、図17Bのように、Local画像表示領域1701に、Remote画像表示領域1702内の丸印(○)1703で指定された対象物が写っていることを確認し、撮影指示入力部702をタッチして、撮影指示を入力する(ステップS1512)。
ユーザから撮影指示が入力されると、ユーザ端末20では、撮影制御機能が端末カメラ703を駆動して認証に用いられる端末画像データを生成し(ステップS1513)、遠隔カメラ10に送信する(ステップS1514)。
遠隔カメラ10は、ユーザ端末20から受信した端末画像データ612を、記憶部603に一時的に保存する。
以上が、遠隔撮影システム2の認証撮影処理となる。
<2−3−3.ユーザ認証処理>
次に、遠隔撮影システム2のユーザ認証処理を説明する。
遠隔カメラ10の認証接続アプリ1210は、記憶部603に一時的に保存された、遠隔画像データ611と端末画像データ612とを照合する画像照合処理を行う(ステップS1515)。画像照合処理は、画像特徴抽出モジュール620による遠隔画像データ611と端末画像データ612とから特徴データを抽出する特徴抽出ステップ、及び、特徴照合モジュール621による抽出された特徴データを付き合わせる特徴照合ステップを含む。
遠隔撮影システム2では、例えば、人物の身なり(服装)の特徴データによる照合を行う。特徴抽出ステップでは、例えば、上述の対象物指定処理と同様の手法で端末画像データ612から特徴データを抽出する。そして、特徴照合ステップでは、上述の対象物指定処理で抽出された対象物の特徴データと、端末画像データ612から抽出された特徴データの照合を行う。
特徴データが一致するか否かに応じて、遠隔カメラ10の認証接続アプリ1210は、認証判定モジュール622により認証成功か認証失敗かを判定する(ステップS1516)。
遠隔カメラ10は、この認証結果を、ユーザ端末20に送信する(ステップS1517)。
遠隔カメラ10は、認証成功か認証失敗かに応じて処理を選択し(ステップS1518)、認証が成功した場合には遠隔撮影処理へ移行する。また、認証失敗の場合はステップS1507に戻り認証撮影処理をやり直す。なお、認証処理に用いた、遠隔画像データ611と端末画像データ612は、この時点で不要となるため、記憶部603から消去される。
ユーザ端末20は、遠隔カメラ10からの認証結果を受信すると、認証が成功したか否かを確認し(ステップS1519)、認証が成功した場合、遠隔撮影処理へと移行する。
もし、認証が失敗していた場合は、再認証を行うことが可能であり、再認証指示がユーザから入力された場合は、ステップS1509に戻って再度認証撮影処理をやり直す(ステップS1520)。また、ユーザから認証を諦める旨の入力があった場合には、ステップS1529に進み遠隔カメラ操作アプリ710を終了する。
なお、撮影された画像から、人物や人物の服装の領域を検出するアルゴリズムや、服装の形や色での照合を行うアルゴリズムは、多くの先行技術が開示されているため、ここでの詳細な説明は割愛する。また、どのようなアルゴリズムを採用するかは、本開示の趣旨に合うものであれば、特定のアルゴリズムに限定されるものではなく、任意に採用することができる。
以上が遠隔撮影システム2のユーザ認証処理となる。
<2−4.まとめ>
遠隔撮影システム2によれば、ユーザ端末20を持つユーザが遠隔カメラ10の撮影スポット内に存在する場合に限り、ユーザ端末20に対して遠隔カメラ10の操作権限が与えられる。その結果、撮影スポット内に存在するユーザは遠隔カメラ10を用いた撮影が可能となり、逆に、撮影スポット内に存在しないユーザによる遠隔カメラ10の遠隔操作を防止することができる。
<3.実施の形態3>
以下、実施の形態3に係る遠隔撮影システム3について説明する。
<3−1.遠隔撮影システム1との違い>
まず初めに、実施の形態3に係る遠隔撮影システム3と実施の形態1に係る遠隔撮影システム1との違いについて簡単に説明する。
遠隔撮影システム1において、認証撮影処理における撮影指示は、ユーザ端末20からカメラ管理サーバ30を介して遠隔カメラ10に送信していた。遠隔撮影システム3において、認証撮影処理における撮影指示は、カメラ管理サーバ30からユーザ端末20および遠隔カメラ10に送信する。
遠隔撮影システム1において、遠隔カメラ10が画像照合処理及びユーザ認証処理を実行していた。遠隔撮影システム3において、画像照合処理及びユーザ認証処理は、カメラ管理サーバ30が実行する。
遠隔撮影システム1において、画像照合処理は、人物の顔の特徴データを照合するものであった。遠隔撮影システム3において、画像特徴照合は、人物の身ぶり(動き)の特徴データを照合するものである。つまり、遠隔撮影システム3において、認証撮影処理における被写体(対象物)は、人物の身ぶりである。
以下、上述の特徴を有する遠隔撮影システム3の構成、及び、動作について、図面を参照して説明する。遠隔撮影システム1と同様の構成については、説明を割愛する。
<3−2.構成>
遠隔撮影システム3は、遠隔撮影システム1と同様に、少なくとも1つの遠隔カメラ10、少なくとも1つのユーザ端末20、及びカメラ管理サーバ30から構成される。ユーザ端末20は、遠隔撮影システム1と同様の機能構成を有する。
<3−2−1.カメラ管理サーバ30>
図18Aは、遠隔撮影システム3に係るカメラ管理サーバ30の機能構成例を示すブロック図である。図に示すように、記憶部402は、遠隔撮影システム1の構成に加えて、新たに、遠隔画像データ1811及び端末画像データ1812を保持する。また、制御部403は、遠隔撮影システム1の構成に加えて、主要な機能として、新たに画像送受信機能を有する。さらに、カメラ管理サーバ30には、新たに、認証アプリ1810が予めインストールされており、制御部403の一機能として動作する。カメラ管理アプリ410は、図18Bに示すように、端末接続モジュール421を含んでいる。
(画像送受信機能)
画像送受信機能は、通信部401を用いて外部との画像データの送受信の制御を行う機能である。例えば、ユーザ端末20からの認証処理用の端末画像データの受信、および、遠隔カメラ10からの遠隔画像データの受信を行う。
(認証アプリ1810)
認証アプリ1810は、上述したように、カメラ管理サーバ30に予めインストールされているプログラムである。認証アプリ1810は、図18Cに示すように、認証撮影要求モジュール1820、画像特徴抽出モジュール1821、特徴照合モジュール1822、認証判定モジュール1823を含んでいる。
認証撮影要求モジュール1820は、遠隔カメラ10及びユーザ端末20に対して撮影指示を送信する。画像特徴抽出モジュール1821は、遠隔画像データ1811と端末画像データ1812とから特徴データを抽出する。特徴照合モジュール1822は、抽出された特徴データを照合する。認証判定モジュール1823は、2つの画像データにおいて共通する特徴を有するか否かに応じて、認証成功か認証失敗かを示す認証結果を生成する。
<3−2−2.遠隔カメラ10>
図19は、遠隔撮影システム3に係る遠隔カメラ10の機能構成例を示すブロック図である。図に示すように、遠隔撮影システム1と比較して、記憶部603を備えず、また、認証アプリ610がインストールされていない。
<3−3.動作>
以下、遠隔撮影システム3の動作について、図20、図21A、21B、図22A、22B、図23を用いて説明する。
遠隔撮影システム1と同様に、遠隔撮影システム3の動作は、大きく分けて、起動処理、認証撮影処理、ユーザ認証処理、遠隔撮影処理に分けられる。
以下、図20を参照しつつ、各処理について順番に説明する。なお、起動処理及び遠隔撮影処理については、遠隔撮影システム1と同様の処理を行うので説明を省略する。
<3−3−1.認証撮影処理>
遠隔撮影システム3の認証撮影処理を説明する。
遠隔カメラ10は、まず、撮影制御機能によるプレビュー画像データの生成(ステップS2009)と、画像送受信機能によるプレビュー画像データのユーザ端末20への送信(ステップS2010)を行い、カメラ管理サーバ30からの撮影指示を待つ。
ユーザ端末20は、まず、認証撮影プレビューを開始し(ステップS2011)、カメラ管理サーバ30からの撮影指示を待つ。認証撮影プレビューは、遠隔カメラ操作アプリ710のLocal撮影モジュール721によって動作するLocalプレビュー、及び、Remote撮影モジュール722によって動作するRemoteプレビューに分けられる。
Localプレビューにおいて、Local撮影モジュール721は、撮影制御機能によるプレビュー画像データの生成と画像表示機能による表示部701へのプレビュー画像の表示とを繰り返す。Localプレビューでは、例えば図21Aに示すように、表示部701のLocal画像表示領域2101にプレビュー画像が表示される。
Remoteプレビューにおいて、Remote撮影モジュール722は、画像送受信機能により遠隔カメラ10からプレビュー画像データを受信し、画像表示機能によって受信したプレビュー画像データを表示部701に表示する。Remoteプレビューでは、例えば図21Aに示すように、表示部701のRemote画像表示領域2102にプレビュー画像が表示される。
ユーザは、表示部701の2つのプレビュー画像を見て、遠隔カメラ10と同じ対象を概ね同じ方向から撮影するように、ユーザ端末20の向きを調整する。なお、図21Bに示すように、端末カメラ703は、遠隔撮影システム3においては、ユーザ端末20の背面(表示部701の裏側の面)に配置されている。
カメラ管理サーバ30は、認証アプリ1810を起動し(ステップS2008)、ユーザ端末20と遠隔カメラ10のそれぞれに、撮影指示を送信する(ステップS2012、S2013)。
撮影指示を受信したユーザ端末20は、撮影制御機能が端末カメラ703を駆動し、認証に必要な端末画像データを生成し(ステップS2014)、カメラ管理サーバ30に送信する(ステップS2015)。
同様に、撮影指示を受信した遠隔カメラ10は、撮影制御機能が撮影カメラ601を駆動し、認証に必要な遠隔画像(第1の遠隔画像データ)データを生成し(ステップS2016)、カメラ管理サーバ30に送信する(ステップS2017)。
カメラ管理サーバ30の画像送受信機能は、遠隔カメラ10から受信した遠隔画像データ1811、及び、ユーザ端末20から受信した端末画像データ1812を、それぞれ記憶部402に一時的に保存する。
以上が遠隔撮影システム3の認証撮影処理となる。
<3−3−2.ユーザ認証処理>
遠隔撮影システム3のユーザ認証処理を説明する。
カメラ管理サーバ30の認証アプリ1810は、記憶部402に一時保存された、遠隔画像データ1811と端末画像データ1812を用いた画像照合認証を行う(ステップS2018)。カメラ管理サーバ30では、2つの画像データにおける対象物の動きを検出し、2つの画像データにおいて対象物が同様の動きをしていれば、遠隔カメラ10と、ユーザ端末20が同じ撮影スポットを撮影していると判断する。遠隔撮影システム3では、例えば、撮影スポットで踊っているピエロの動きを比較し、同じように動いているかどうかで判定する。
カメラ管理サーバ30は、認証が完了するまで、ステップS2012〜S2018の処理を繰り返す(ステップS2019)。
カメラ管理サーバ30は、認証が完了すると、遠隔画像データ1811と端末画像データ1812を記憶部402から消去し、認証アプリ1810を終了する(ステップS2020)。その後、カメラ管理サーバ30は、認証結果を遠隔カメラ10及びユーザ端末20に通知する(ステップS2021,S2022)。
ユーザ端末20は、カメラ管理サーバ30からの認証結果を受信すると、認証が成功したか否かを確認し(ステップS2023)、認証成功の場合に遠隔撮影処理へ移行し、認証失敗の場合に遠隔カメラ操作アプリ710を終了する(ステップS2032)。
以上が遠隔撮影システム3のユーザ認証処理となる。
<3−3−3.複数の画像対に対する照合認証処理>
次に、図20のステップS2012からステップS2019の処理についてさらに詳細に説明する。
ここで、ステップS2012からステップS2017までの処理で同時に取得された遠隔画像データ1811と端末画像データ1812との対を画像対と称す。
ステップS2018の画像照合認証は、画像対から特徴データを抽出する特徴抽出ステップ、抽出された特徴データを付き合わせる特徴照合ステップ、認証成功か認証失敗かを判定する認証判定ステップを含む。
特徴抽出ステップでは、画像対それぞれの画像データの中から人物と判定できる領域を検出し、当該人物の姿勢を示す特徴データを抽出する。図22A及び図22Bは、複数の画像対から抽出された人物の姿勢の特徴データを示したものである。図22Aは端末画像データ1812から抽出された人物の姿勢の特徴データを、図22Bは遠隔画像データ1811から抽出された人物の姿勢の特徴データを、それぞれ示している。このような線画化された特徴データは、例えば、画像データから人物の複数の関節点を検出し、検出した複数の関節点を人体の骨格モデルに基づき接続することで得られる。
特徴照合ステップでは、これらの線画化された特徴データを照合し、2つの画像データに写る人物が同じ姿勢を取っているかどうかを判定する。また、遠隔撮影システム3では、対象物の動きが一致しているかどうかを判定するため、一定時間(例えば200ミリ秒)おきに撮影された複数の画像対に対して、それぞれ照合を行う。図22A、図22Bに示すように、対象物の姿勢は、時間と共に変化していくものである。従って、複数の画像対で、特徴データが一致することが、ユーザがその時間に撮影スポット内に存在することの証明になる。
認証判定ステップでは、一定時間(例えば、5秒)内に撮影された画像対のうち、閾値(例えば、5枚)を超える画像対において、特徴データが一致した場合に認証成功と判定する。例えば、閾値を5枚とした場合、図22Aの2201から2205までの5枚分の特徴データが、図22Bの2211から2215の5枚分の特徴データそれぞれと一致することで、認証成功となる。
図23は、上記複数の画像対に対する照合認証処理のフローチャートである。
まず、カメラ管理サーバ30の認証アプリ1810は、経過時間T1の計測を開始する(ステップS2301)。
認証アプリ1810は、特徴データが一致した画像対の数を示す変数Countを0に設定する(ステップS2302)。
認証アプリ1810は、遠隔カメラ10及びユーザ端末20に対して撮影指示を送信し、そのレスポンスとして遠隔カメラ10及びユーザ端末20から画像対(遠隔画像データ1811及び端末画像データ1812)を取得する(ステップS2303)。
画像対の画像それぞれに対して、画像特徴抽出モジュール1821により、人物検出および人物の姿勢の特徴データの抽出(線画化)が行われ(ステップS2304及びステップS2305)、特徴照合モジュール1822により画像対の特徴データが照合される(ステップS2306)。
認証判定モジュール1823は、照合結果を確認し(ステップS2307)、画像対の特徴データが一致した場合はCountに1を加え(ステップS2308)、Countが閾値Th(例えば、Th=5)になった場合(ステップS2309においてYes)に、認証成功と判定する(ステップS2310)。
ステップS2309において、CountがTh未満の場合は、T2時間(例えばT2=200ミリ秒)待機してからステップS2303に戻り、画像対の取得を再度行う。
ステップS2307の判定で画像対の特徴データが一致しなかった場合、ステップS2301において計測を開始した経過時間T1がT3(例えば、T3=5秒)を超えているか否かを判定する(ステップS2311)。T3が超過しても、閾値Th分の画像対の特徴データが一致しなかった場合は認証失敗として終了する(ステップS2312)。また、経過時間T1がT3内であれば、T2時間待機してからステップS2302に戻る。
このように複数の撮影画像から対象物の動きを判定することで、ユーザ端末20を操作しているユーザが、遠隔カメラ10の撮影範囲内にいることを確認することができる。
なお、撮影された画像データから、人物の姿勢を検出するアルゴリズムや、人物の動きが一致するかを判定するアルゴリズムは、多くの先行技術が開示されているため、ここでの詳細な説明は割愛する。また、どのようなアルゴリズムを採用するかは、本開示の趣旨に合うものであれば、なんらか特定のアルゴリズムに限定されるものではなく、任意に採用することができる。
<3−4.まとめ>
遠隔撮影システム3によれば、ユーザ端末20を持つユーザが遠隔カメラ10の撮影スポット内に存在する場合に限り、ユーザ端末20に対して遠隔カメラ10の操作権限が与えられる。その結果、撮影スポット内に存在するユーザは遠隔カメラ10を用いた撮影が可能となり、逆に、撮影スポット内に存在しないユーザによる遠隔カメラ10の遠隔操作を防止することができる。
<4.変形例>
以上、本開示に係る遠隔撮影システムの3つの実施の形態を説明したが、例示した遠隔撮影システムを以下のように変形することも可能であり、本開示が上述の実施の形態で示した通りの遠隔撮影システムに限られないことは勿論である。
(1)上述の実施の形態では、画像照合処理をユーザ端末20以外の装置で実行している例を示したが、画像照合処理は、ユーザ端末20で実行されてもよい。
(2)上述の実施の形態では、ユーザ端末20、遠隔カメラ10、カメラ管理サーバ30などの各装置を識別するための識別子等については特に説明はしなかった。しかしながら、各装置は、例えば、装置IDや、IPアドレスなどにより識別され、通信相手となる装置の識別子等についても予め認識しており、これらの識別子等を用いてお互いに通信できるものとする。
(3)上述の実施の形態では、遠隔撮影処理における遠隔カメラ10による撮影は、静止画を撮影するものであっても、動画を撮影するものであってもよい。
(4)上述の実施の形態では、遠隔カメラ操作アプリ710のRemote撮影モジュール722による遠隔カメラ10の制御は、撮影指示のみが記載されているが、これに限られるものではない。遠隔カメラ操作アプリ710のRemote撮影モジュール722による遠隔カメラ10の制御は、例えば、パン、チルト、ズームといった画角の操作、フォーカス、絞りなどのカメラ独自の設定機能の操作を含めてもよい。
(5)上述の実施の形態では、遠隔撮影処理時、ユーザ端末20の制御により遠隔カメラ10で撮影をする際に、撮影指示入力部702のタッチに同期して撮影を行うものとして説明したが、これに限られるものではない。例えば、セルフタイマー機能付きカメラのように、タッチから数秒経過後に撮影されるように遅延を入れてもよい。これにより、タッチ後にポーズを取って撮影するといったことが可能である。
(6)上述の実施の形態1では、認証撮影処理時、ユーザ端末20と遠隔カメラ10との接続完了後に、ユーザが撮影指示入力部702をタッチすることで、ユーザが明示的に撮影指示を入力していたが、これに限られるものではない。例えば、遠隔カメラ操作アプリ710は、遠隔カメラ10(またはカメラ管理サーバ30)との接続が確立した際に、ユーザの明示的な入力なしで、端末カメラ703による撮影処理や遠隔カメラ10への撮影指示の送信処理を実行してもよい。
(7)上述の実施の形態2および3では、認証撮影処理時、遠隔カメラ10においてパン、チルト、ズームといった画角の操作を行うことは、特に記載していない。しかしながら、認証撮影処理時、対象物をわかりやすく示すために、遠隔カメラ10においてパン、チルト、ズームといった画角の操作を行ってもよい。
(8)上述の実施の形態3では、認証撮影処理時、ユーザ端末20による撮影は自動的に行われ、ユーザに通知されないため、ユーザはいつ認証のための撮影を行ったのかわからない。この撮影の撮影タイミングをユーザに通知する構成としてもよい。例えば、ユーザ端末20は、スピーカを備え、撮影に同期してシャッター音を出すことで、ユーザに撮影タイミングを通知することができる。
また、各実施形態における遠隔撮影処理時においても同様に、遠隔カメラ10の撮影と同期してユーザ端末20からシャッター音を出してユーザに撮影タイミングを通知してもよい。
(9)上述の実施形態では、認証撮影処理とは別に遠隔撮影処理を行って、ユーザに提供される画像の撮影を行っていたが、ユーザに提供される画像は、これに限られるものではない。ユーザに提供される画像は、例えば、認証撮影処理時に、遠隔カメラ10で撮影された画像であってもよい。
(10)上述の実施形態では、ユーザ認証処理において、画像から特徴データを抽出して照合を行っていたが、ユーザ認証処理において、特徴データの抽出は必須ではない。例えば、一方の画像の全領域又は一部領域の画素値と、他方の画像の全領域又は一部領域の画素値とで、非類似度又は類似度を計算し、非類似度又は類似度と閾値との比較により、2つの画像において同一の被写体が写っているか否かを判断してもよい。非類似度としては、例えば、SAD(Sum of Absolute Differences)やSSD (Sum of Squared Differences)等が利用可能である。また、類似度としては、例えば、NCC(Normalized Cross Correlation)が利用可能である。
(11)上述の実施形態では、ユーザに提供される画像はユーザ端末20に送信されていたが、ユーザに提供される画像のユーザへの提供方法はこの限りではない。例えば、ユーザに提供される画像のユーザへの提供方法は、ユーザIDを用いてアクセス可能な形で画像を公開するといった方法や、ユーザIDに紐付けられた送信先に画像を送信するといった方法でもよい。
(12)上述の実施形態3では、複数の画像対に対する照合認証処理を行っている。この複数の画像対に対する照合認証処理は、ユーザ端末20と遠隔カメラ10の内部時計のずれを検出するように変形することが可能である。
例えば、遠隔カメラ10は、撮影した遠隔画像データをカメラ管理サーバ30に送信する際に、遠隔画像データに撮影時刻を示すメタデータを付加して送信する。同様に、ユーザ端末20は、撮影した端末画像データをカメラ管理サーバ30に送信する際に、端末画像データに撮影時刻を示すメタデータを付加して送信する。そして、カメラ管理サーバ30は、特徴データが一致した画像対の画像データそれぞれに付加されている撮影時刻を比較することにより、ユーザ端末20と遠隔カメラ10の内部時計のずれを検出する。
ここで、画像対で特徴データが一致する場合、2つの画像データは、同一時刻に撮影されていることがいえる。従って、ユーザ端末20と遠隔カメラ10との内部時計が一致していれば、特徴データが一致する画像対に付加されているメタデータの示す撮影時刻も一致するはずである。逆に、ユーザ端末20と遠隔カメラ10との内部時計がずれていれば、特徴データが一致する画像対に付加されているメタデータの示す撮影時刻もずれているはずである。これにより、ユーザ端末20と遠隔カメラ10の内部時計のずれを検出できる。
このようにしてユーザ端末20と遠隔カメラ10の内部時計のずれを検出することにより、それ以後のユーザ端末20と遠隔カメラ10の処理の同期精度を向上することが可能である。例えば、遠隔撮影処理時に、遠隔カメラ10の撮影と同期してユーザ端末20からシャッター音を出す場合などに有用である。
(13)上述の実施形態で示した接続情報受信機能、撮影制御機能、画像送受信機能、遠隔操作機能、画像表示機能、対象物情報送信機能、対象物情報受信機能等に係る各処理などを、各装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ICカード、ハードディスク、光ディスク、フレキシブルディスク、ROM、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。
(14)上述の実施形態で示した各機能構成要素(通信部401、撮影カメラ601、通信部602、表示部701、撮影指示入力部702、端末カメラ703、通信部704など)は、その機能を実行する回路として実現されてもよいし、1又は複数のプロセッサによりプログラムを実行することで実現されてもよい。
なお、上述の各機能構成要素は典型的には集積回路であるLSIとして実現される。これらは個別に1チップされてもよいし、一部又は全てを含むように1チップ化されてもよい。ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
(15)上述の実施形態及び各変形例を、部分的に組み合せてもよい。
<5.補足>
以下、本開示の一実施形態としての遠隔撮影システム、遠隔カメラ制御方法の構成について説明する。
(a)本開示に係る遠隔カメラ制御方法は、撮影スポットを撮影範囲に含む位置に設置され通信機能を備える遠隔カメラと、通信機能及び端末カメラを備えるユーザ端末とを含む遠隔撮影システムで用いられる遠隔カメラ制御方法であって、前記遠隔カメラと前記端末カメラとで同一時間帯に撮影することにより得られた第1の遠隔画像データと端末画像データとを取得するステップと、前記第1の遠隔画像データと前記端末画像データとを照合し、前記第1の遠隔画像データと前記端末画像データとで同一の被写体を認めた場合に、前記ユーザ端末が前記撮影スポット内に存在するものとして、前記ユーザ端末を認証するステップと、前記ユーザ端末の認証がされた後、前記遠隔カメラで撮影された第2の遠隔画像データを前記ユーザ端末に提供するステップとを含む。
(b)本開示に係るカメラ制御方法は、前記遠隔カメラとに対して、前記端末カメラの撮影の時間帯と同一時間帯での撮影を指示するステップを更に含み、前記認証するステップにおいて、前記同一時間帯に撮影された前記第1の遠隔画像データと前記端末画像データとを照合する。
(c)本開示に係るカメラ制御方法は、前記指示するステップは、使用者により入力された撮影指示を前記ユーザ端末から受け付けるステップと、前記ユーザ端末から受け付けた撮影指示を前記遠隔カメラへ送信するステップとを含む。
(d)本開示に係るカメラ制御方法は、前記指示するステップは、前記ユーザ端末における前記遠隔カメラを操作するためのプログラムを実行するステップと、前記ユーザ端末と前記遠隔カメラとの接続を確立するステップと、前記接続を確立したとき前記ユーザ端末から前記前記遠隔カメラへ撮影指示を送信するステップとを含む。
(e)本開示に係るカメラ制御方法は、さらに、前記ユーザ端末において、前記遠隔撮影システム内の他の装置で発行された前記同一時間帯での撮影の指示を受信するステップを含み、前記取得するステップは、前記受信した指示に応じて前記同一時間帯での撮影を行って前記端末画像データを取得する。
(f)本開示に係るカメラ制御方法は、さらに、前記ユーザ端末において、前記同一時間帯での撮影における撮影タイミングを使用者に通知するステップを含む。
(g)本開示に係るカメラ制御方法は、さらに、前記撮影スポット内に存在する対象物を指定するステップを含み、前記認証するステップにおいて、前記指定された対象物の特徴を照合する。
(h)本開示に係るカメラ制御方法は、前記対象物を指定するステップにおいて、指定する対象物を前記同一時間帯での撮影を実行する毎に変更する。
(i)本開示に係るカメラ制御方法は、さらに、前記同一時間帯での撮影の実行の際、前記指定された対象物を前記ユーザ端末の備える表示部に表示するステップを含む。
(j)本開示に係るカメラ制御方法は、さらに、前記同一時間帯での撮影の実行の際、前記遠隔カメラで撮影された第1の遠隔画像データを前記ユーザ端末の備える表示部に表示するステップを含む。
(k)本開示に係るカメラ制御方法は、前記第1の遠隔画像データの表示と並行して、前記端末カメラで撮影された端末画像データを前記ユーザ端末の備える表示部に表示するステップを更に含む。
(l)本開示に係るカメラ制御方法は、さらに、前記認証されたユーザ端末に対して、前記遠隔カメラの操作権限を付与するステップを含む。
(m)本開示に係るカメラ制御方法は、さらに、前記操作権限を付与されたユーザ端末が前記遠隔カメラを操作している際に、前記遠隔カメラで撮影されている第2の遠隔画像データを、前記ユーザ端末の備える表示部に表示するステップを更に含む。
(n)本開示に係るカメラ制御方法は、前記認証するステップにおいて、前記被写体は、人物の顔であってもよい。
(o)本開示に係るカメラ制御方法は、前記認証するステップにおいて、前記被写体は、人物の身なりであってもよい。
(p)本開示に係るカメラ制御方法は、前記認証するステップにおいて、前記被写体は、人物の身ぶりであってもよい。
(q)本開示に係るカメラ制御方法は、前記遠隔撮影システムは、通信機能を有するサーバを備え、前記取得するステップ、前記認証するステップおよび前記提供するステップのうちの少なくとも1つは前記サーバが備えるプロセッサを用いて行われる。
(r)本開示に係る遠隔撮影システムは、撮影スポットを撮影範囲に含む位置に設置され通信機能を備える遠隔カメラと、通信機能及び端末カメラを備えるユーザ端末とを含む遠隔撮影システムであって、前記遠隔カメラは、当該遠隔カメラと前記端末カメラとで同一時間帯に撮影することにより得られた第1の遠隔画像データと端末画像データとを取得する取得部と、前記第1の遠隔画像データと前記端末画像データとを照合し、前記第1の遠隔画像データと前記端末画像データとで同一の被写体を認めた場合に、前記ユーザ端末が前記撮影スポット内に存在するものとして、前記ユーザ端末を認証する認証部と、前記ユーザ端末の認証がされた後、前記遠隔カメラで撮影した第2の遠隔画像データを前記ユーザ端末へ送信する送信部とを備える。
(s)本開示に係るサーバは、撮影スポットを撮影範囲に含む位置に設置され通信機能を備える遠隔カメラと、通信機能及び端末カメラを備えるユーザ端末とを含む遠隔撮影システムにおけるサーバであって、前記遠隔カメラと前記端末カメラとで同一時間帯に撮影することにより得られた第1の遠隔画像データと端末画像データとを取得する取得部と、前記第1の遠隔画像データと前記端末画像データとを照合し、前記第1の遠隔画像データと前記端末画像データとで同一の被写体を認めた場合に、前記ユーザ端末が前記撮影スポット内に存在するものとして、前記ユーザ端末を認証する認証部と、前記ユーザ端末の認証がされた後、前記遠隔カメラで撮影された第2の遠隔画像データを前記ユーザ端末へ送信する送信部とを備える。
本開示に係る遠隔カメラ制御方法により、撮影スポットにいるユーザに限り、手持ちの携帯端末を用いて撮影スポットに設置されているカメラを利用した撮影を行うサービスが提供される。従って、本開示に係る遠隔カメラ制御方法は、観光地やテーマパークなどにおける記念撮影用のシステムとして好適である。
1,2,3 遠隔撮影システム
10 遠隔カメラ
20 ユーザ端末
30 カメラ管理サーバ
401 通信部
402 記憶部
403 制御部
410 カメラ管理アプリ
411 接続許可リスト
421 端末接続モジュール
601 撮影カメラ
602 通信部
603 記憶部
604 制御部
610 認証アプリ
611 遠隔画像データ
612 端末画像データ
620 画像特徴抽出モジュール
621 特徴照合モジュール
622 認証判定モジュール
701 表示部
702 撮影指示入力部
703 端末カメラ
704 通信部
705 記憶部
706 制御部
710 遠隔カメラ操作アプリ
711 遠隔画像データ
720 接続制御モジュール
721 Local撮影モジュール
722 Remote撮影モジュール
1211 接続許可リスト
1221 端末接続モジュール
1701 Local画像表示領域
1702 Remote画像表示領域
1703 対象物を指定するポインタ
1810 認証アプリ
1811 遠隔画像データ
1812 端末画像データ
1820 認証撮影要求モジュール
1821 画像特徴抽出モジュール
1822 特徴照合モジュール
1823 認証判定モジュール
2101 Local画像表示領域
2102 Remote画像表示領域

Claims (19)

  1. 撮影スポットを撮影範囲に含む位置に設置され通信機能を備える遠隔カメラと、通信機能及び端末カメラを備えるユーザ端末とを含む遠隔撮影システムで用いられる遠隔カメラ制御方法であって、
    前記遠隔カメラと前記端末カメラとで同一時間帯に撮影することにより得られた第1の遠隔画像データと端末画像データとを取得するステップと、
    前記第1の遠隔画像データと前記端末画像データとを照合し、前記第1の遠隔画像データと前記端末画像データとで同一の被写体を認めた場合に、前記ユーザ端末が前記撮影スポット内に存在するものとして、前記ユーザ端末を認証するステップと、
    前記ユーザ端末の認証がされた後、前記遠隔カメラで撮影された第2の遠隔画像データを前記ユーザ端末に提供するステップと
    を含む遠隔カメラ制御方法。
  2. 前記遠隔カメラに対して、前記端末カメラの撮影の時間帯と同一時間帯での撮影を指示するステップを更に含み、
    前記認証するステップにおいて、前記同一時間帯に撮影された前記第1の遠隔画像データと前記端末画像データとを照合する
    請求項1に記載の遠隔カメラ制御方法。
  3. 前記指示するステップは、使用者により入力された撮影指示を前記ユーザ端末から受け付けるステップと、前記ユーザ端末から受け付けた撮影指示を前記遠隔カメラへ送信するステップとを含む
    請求項2に記載の遠隔カメラ制御方法。
  4. 前記指示するステップは、前記ユーザ端末における前記遠隔カメラを操作するためのプログラムを実行するステップと、前記ユーザ端末と前記遠隔カメラとの接続を確立するステップと、前記接続が確立したとき、前記ユーザ端末から前記遠隔カメラへ前記撮影の指示を送信するステップとを含む
    請求項2に記載の遠隔カメラ制御方法。
  5. 前記遠隔カメラ制御方法は、さらに、
    前記ユーザ端末において、前記遠隔撮影システム内の他の装置で発行された前記同一時間帯での撮影の指示を受信するステップを含み、前記取得するステップは、前記受信した指示に応じて前記同一時間帯での撮影を行って前記端末画像データを取得する
    請求項2に記載の遠隔カメラ制御方法。
  6. 前記遠隔カメラ制御方法は、さらに、
    前記ユーザ端末において、前記同一時間帯での撮影における撮影タイミングを使用者に通知するステップを更に含む
    請求項5に記載の遠隔カメラ制御方法。
  7. 前記遠隔カメラ制御方法は、さらに、
    前記撮影スポット内に存在する対象物を指定するステップを更に含み、
    前記認証するステップにおいて、前記指定された対象物の特徴を照合する
    請求項2に記載の遠隔カメラ制御方法。
  8. 前記対象物を指定するステップにおいて、指定する対象物を前記同一時間帯での撮影を実行する毎に変更する
    請求項7に記載の遠隔カメラ制御方法。
  9. 前記遠隔カメラ制御方法は、さらに、
    前記同一時間帯での撮影の実行の際、前記指定された対象物を前記ユーザ端末の備える表示部に表示するステップを更に含む
    請求項7に記載の遠隔カメラ制御方法。
  10. 前記遠隔カメラ制御方法は、さらに、
    前記同一時間帯での撮影の実行の際、前記遠隔カメラで撮影された第1の遠隔画像データを前記ユーザ端末の備える表示部に表示するステップを更に含む
    請求項2に記載の遠隔カメラ制御方法。
  11. 前記遠隔カメラ制御方法は、さらに、
    前記第1の遠隔画像データの表示と並行して、前記端末カメラで撮影された端末画像データを前記ユーザ端末の備える表示部に表示するステップを更に含む
    請求項10に記載の遠隔カメラ制御方法。
  12. 前記遠隔カメラ制御方法は、さらに、
    前記認証されたユーザ端末に対して、前記遠隔カメラの操作権限を付与するステップを更に含む
    請求項2に記載の遠隔カメラ制御方法。
  13. 前記遠隔カメラ制御方法は、さらに、
    前記操作権限を付与されたユーザ端末が前記遠隔カメラを操作している際に、前記遠隔カメラで撮影されている第2の遠隔画像データを、前記ユーザ端末の備える表示部に表示するステップを更に含む
    請求項12に記載の遠隔カメラ制御方法。
  14. 前記認証するステップにおいて、前記被写体は、人物の顔である
    請求項2に記載の遠隔カメラ制御方法。
  15. 前記認証するステップにおいて、前記被写体は、人物の身なりである
    請求項2に記載の遠隔カメラ制御方法。
  16. 前記認証するステップにおいて、前記被写体は、人物の身ぶりである
    請求項2に記載の遠隔カメラ制御方法。
  17. 前記遠隔撮影システムは、通信機能を有するサーバを備え、
    前記取得するステップ、前記認証するステップおよび前記提供するステップのうちの少なくとも1つは前記サーバが備えるプロセッサを用いて行われる請求項1に記載の遠隔カメラ制御方法。
  18. 撮影スポットを撮影範囲に含む位置に設置され通信機能を備える遠隔カメラと、通信機能及び端末カメラを備えるユーザ端末とを含む遠隔撮影システムであって、
    前記遠隔カメラは、
    当該遠隔カメラと前記端末カメラとで同一時間帯に撮影することにより得られた第1の遠隔画像データと端末画像データとを取得する取得部と、
    前記第1の遠隔画像データと前記端末画像データとを照合し、前記第1の遠隔画像データと前記端末画像データとで同一の被写体を認めた場合に、前記ユーザ端末が前記撮影スポット内に存在するものとして、前記ユーザ端末を認証する認証部と、
    前記ユーザ端末の認証がされた後、前記遠隔カメラで撮影した第2の遠隔画像データを前記ユーザ端末へ送信する送信部と、を備える
    遠隔撮影システム。
  19. 撮影スポットを撮影範囲に含む位置に設置され通信機能を備える遠隔カメラと、通信機能及び端末カメラを備えるユーザ端末とを含む遠隔撮影システムにおけるサーバであって、
    前記遠隔カメラと前記端末カメラとで同一時間帯に撮影することにより得られた第1の遠隔画像データと端末画像データとを取得する取得部と、
    前記第1の遠隔画像データと前記端末画像データとを照合し、前記第1の遠隔画像データと前記端末画像データとで同一の被写体を認めた場合に、前記ユーザ端末が前記撮影スポット内に存在するものとして、前記ユーザ端末を認証する認証部と、
    前記ユーザ端末の認証がされた後、前記遠隔カメラで撮影された第2の遠隔画像データを前記ユーザ端末へ送信する送信部と
    を備えるサーバ。
JP2015201922A 2014-11-04 2015-10-13 遠隔カメラ制御方法、遠隔撮影システムおよびサーバ Active JP6567946B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014224435 2014-11-04
JP2014224435 2014-11-04

Publications (2)

Publication Number Publication Date
JP2016092820A true JP2016092820A (ja) 2016-05-23
JP6567946B2 JP6567946B2 (ja) 2019-08-28

Family

ID=55854140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015201922A Active JP6567946B2 (ja) 2014-11-04 2015-10-13 遠隔カメラ制御方法、遠隔撮影システムおよびサーバ

Country Status (3)

Country Link
US (1) US9716820B2 (ja)
JP (1) JP6567946B2 (ja)
CN (1) CN105578032A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111601034A (zh) * 2020-05-06 2020-08-28 维沃移动通信有限公司 一种摄像头模组控制方法及电子设备
KR102209717B1 (ko) * 2019-10-23 2021-01-29 조영일 셀프 촬영 장치 및 셀프 촬영 장치의 동작 방법
WO2021019987A1 (ja) * 2019-07-30 2021-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6470637B2 (ja) * 2015-06-08 2019-02-13 キヤノン株式会社 制御装置、制御方法、及びプログラム
CN106303230B (zh) * 2016-08-05 2020-04-03 浙江大华技术股份有限公司 一种视频处理方法及装置
JP7017596B2 (ja) * 2020-03-17 2022-02-08 本田技研工業株式会社 情報処理装置、情報処理システム、情報処理方法およびプログラム
CN112135052B (zh) * 2020-09-24 2022-06-14 张晏铭 基于桌面云的摄影系统和方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024229A (ja) * 2000-07-03 2002-01-25 Fuji Photo Film Co Ltd 本人画像提供システム
JP2003348390A (ja) * 2002-05-29 2003-12-05 Sony Corp 情報処理装置および方法、情報処理システム、記録媒体、並びにプログラム
JP2014099763A (ja) * 2012-11-14 2014-05-29 Nippon Telegr & Teleph Corp <Ntt> 撮影サービスシステム及び撮影制御方法
JP2014120927A (ja) * 2012-12-17 2014-06-30 Nikon Systems Inc 撮像装置、撮像装置のプログラム、及びリモート撮影システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961467B2 (en) * 2001-10-17 2005-11-01 Intel Corporation Identifying image content
US9819490B2 (en) * 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024229A (ja) * 2000-07-03 2002-01-25 Fuji Photo Film Co Ltd 本人画像提供システム
JP2003348390A (ja) * 2002-05-29 2003-12-05 Sony Corp 情報処理装置および方法、情報処理システム、記録媒体、並びにプログラム
JP2014099763A (ja) * 2012-11-14 2014-05-29 Nippon Telegr & Teleph Corp <Ntt> 撮影サービスシステム及び撮影制御方法
JP2014120927A (ja) * 2012-12-17 2014-06-30 Nikon Systems Inc 撮像装置、撮像装置のプログラム、及びリモート撮影システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021019987A1 (ja) * 2019-07-30 2021-02-04 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
KR102209717B1 (ko) * 2019-10-23 2021-01-29 조영일 셀프 촬영 장치 및 셀프 촬영 장치의 동작 방법
CN111601034A (zh) * 2020-05-06 2020-08-28 维沃移动通信有限公司 一种摄像头模组控制方法及电子设备

Also Published As

Publication number Publication date
CN105578032A (zh) 2016-05-11
JP6567946B2 (ja) 2019-08-28
US9716820B2 (en) 2017-07-25
US20160127634A1 (en) 2016-05-05

Similar Documents

Publication Publication Date Title
JP6567946B2 (ja) 遠隔カメラ制御方法、遠隔撮影システムおよびサーバ
JP6393360B2 (ja) 撮影制御方法、撮影制御システム及び撮影制御サーバ
JP6455763B2 (ja) 遠隔撮影方法及び遠隔撮影制御装置
CN103365957B (zh) 基于邻近度和连接的照片共享
JP6459059B2 (ja) カメラ制御方法及びカメラ制御システム
EP2840558A2 (en) Electronic device communicating with external cameras
US9344631B2 (en) Method, system and apparatus for selecting an image captured on an image capture device
CN109557999A (zh) 亮屏控制方法、装置及存储介质
CN109905602B (zh) 智能拍摄设备控制的方法、设备、产品及计算机存储介质
JP2021102344A (ja) 画像処理装置及びプログラム
JP7480884B2 (ja) 情報処理装置、認証装置、情報処理方法、及び、プログラム
CN106462681A (zh) 电子装置的控制方法和用户注册方法
JP2021149827A (ja) 施設予約システム、電子データ提供方法、情報処理端末、情報処理方法、情報処理装置、データ送信方法、プログラム
JP6729680B2 (ja) サービス提供システム、サービス授受システム、サービス提供方法、及びプログラム
JP2020188507A (ja) 遊戯画像撮影システムおよび画像処理装置
CN107872617A (zh) 拍摄控制方法、拍摄控制系统以及拍摄控制服务器
JP2011009898A (ja) 画像配布システム、撮像装置、受信装置、サーバ
JP2018011275A (ja) サービス提供システム、サービス授受システム、サービス提供方法、及びプログラム
WO2017170237A1 (ja) サービス提供システム、サービス授受システム、サービス提供方法、及びプログラム
CN108885653B (zh) 服务提供系统、服务递送系统、服务提供方法和程序
JP2020091876A (ja) 情報処理装置、情報処理方法、プログラムならびに情報処理サーバ
JP2020091731A (ja) 情報処理装置、情報処理方法、プログラムならびに情報処理サーバ
JP2015184730A (ja) 転送サーバ、管理サーバ、写真シール作成装置、ユーザ端末、画像管理方法、ユーザ端末の制御方法、制御プログラム、および記録媒体
JP6311383B2 (ja) 写真撮影編集装置、その制御方法、制御プログラムおよび該制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP7119445B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190801

R150 Certificate of patent or registration of utility model

Ref document number: 6567946

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250