JP2016213869A - 画像撮影方法 - Google Patents

画像撮影方法 Download PDF

Info

Publication number
JP2016213869A
JP2016213869A JP2016137937A JP2016137937A JP2016213869A JP 2016213869 A JP2016213869 A JP 2016213869A JP 2016137937 A JP2016137937 A JP 2016137937A JP 2016137937 A JP2016137937 A JP 2016137937A JP 2016213869 A JP2016213869 A JP 2016213869A
Authority
JP
Japan
Prior art keywords
camera
image
user
session
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016137937A
Other languages
English (en)
Other versions
JP6436398B2 (ja
Inventor
陽司 柴原
Yoji Shibahara
陽司 柴原
敏康 杉尾
Toshiyasu Sugio
敏康 杉尾
徹 松延
Toru Matsunobu
徹 松延
悠樹 丸山
Yuki Maruyama
悠樹 丸山
西 孝啓
Takahiro Nishi
孝啓 西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JP2016213869A publication Critical patent/JP2016213869A/ja
Application granted granted Critical
Publication of JP6436398B2 publication Critical patent/JP6436398B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/146Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • H04L65/1086In-session procedures session scope modification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/141Setup of application sessions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Abstract

【課題】画像が意図せず必要以上に拡散されることを抑制する。
【解決手段】画像撮影方法は、複数のカメラで同一の被写体103が撮影されることで得られる複数の画像、又は前記複数の画像から生成される画像、である共有画像を複数のカメラの複数のユーザで共有するための画像撮影方法であって、複数のカメラの一つである対象カメラが所定時間より長い撮影期間で被写体103を撮影したかを判定する判定ステップ(S401)と、対象カメラが所定時間より長い撮影期間で被写体103を撮影したと判定された場合(S402でYes)、対象カメラのユーザに共有画像の閲覧を許可する許可ステップ(S403)とを含む。
【選択図】図9

Description

本発明は、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は当該複数の画像から生成される画像、である共有画像を複数のカメラの複数のユーザで共有するための画像撮影方法に関する。
旅行先又はイベント参加先などで、その場に居る人同士で画像(静止画及び動画)を共有する方法として、被写体の類似度又は位置情報が近傍であること等をサーバが判定し、その場限りの一時的な共有グループを作る方法がある(特許文献1)。また、複数のカメラからの画像を統合し、仮想現実空間を構築、又は被写体の3次元再構成を行う応用に際しては、複数のカメラの位置関係を知る必要がある(非特許文献1)。また、複数のカメラ画像を用いないカメラ位置推定の方法として、発光素子の点滅をカメラで撮影し推定する方法がある(特許文献2)。また、カメラ間の撮像時間ずれを補正する方法として、フラッシュ照明又は画像内の扉の開閉動作などの特定の視覚イベントに基づいて複数のカメラの同期をとる方法がある(特許文献3)。
特許第5271693号公報 特開2002−314994号公報 国際公開第2013/094115号
動画像からのカメラ位置・姿勢推定とその応用http://www.science−plaza.or.jp/about/sankangaku/forum19/satou.pdf
特許文献1に記載のような、その場限りの見知らぬユーザ間によって撮影された画像の共有では、これらの画像が意図せず必要以上に拡散される可能性があるという課題がある。
そこで本発明は、画像が意図せず必要以上に拡散されることを抑制できる画像撮影方法又は画像撮影システムを提供することを目的とする。
本発明の一態様に係る画像撮影方法は、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影方法であって、前記複数のカメラの一つである対象カメラが所定時間より長い撮影期間で前記被写体を撮影したかを判定する判定ステップと、前記対象カメラが前記所定時間より長い撮影期間で前記被写体を撮影したと判定された場合、前記対象カメラのユーザに前記共有画像の閲覧を許可する許可ステップとを含む。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明は、画像が意図せず必要以上に拡散されることを抑制できる画像撮影方法又は画像撮影システムを提供できる。
実施の形態1に係る全体構成図である。 実施の形態1に係る画像撮影方法のシーケンス図である。 実施の形態1に係るセッション生成処理のシーケンス図である。 実施の形態1に係るセッション参加処理のシーケンス図である。 実施の形態1に係る参加資格の確認処理のフローチャートである。 実施の形態1に係るユーザが閲覧可能な共有画像を示す図である。 実施の形態1に係るユーザが閲覧可能な共有画像の別の例を示す図である。 実施の形態1に係るユーザが閲覧可能な共有画像の別の例を示す図である。 実施の形態1に係る画像撮影方法のフローチャートである。 実施の形態2に係る追加ユーザのカメラ位置推定処理のシーケンス図である。 実施の形態2に係る全体構成の俯瞰図である。 実施の形態2に係る既存ユーザのカメラで撮影された画像の一例を示す図である。 実施の形態2に係る既存ユーザのカメラで撮影された画像の一例を示す図である。 実施の形態3に係るワイド時の画像の一例を示す図である。 実施の形態3に係るズーム時の画像の一例を示す図である。 実施の形態3に係るワイド時の画像から推定される方向を示す図である。 実施の形態3に係るズーム時の画像から推定される方向を示す図である。 実施の形態3に係る複数の画像から追加ユーザの位置を推定する処理を説明するための図である。
(本発明の基礎となった知見)
本発明者は、「背景技術」の欄において記載した画像撮影方法に関し、以下の問題が生じることを見出した。
特許文献1に記載のような、その場限りの見知らぬユーザ間によって撮影された画像の共有では、これらの画像が意図せず必要以上に拡散される可能性がある。また、被写体のプライバシー侵害を助長してしまう可能性もある。
また、仮想現実空間又は3次元再構成の応用においては、複数カメラ画像間の対応関係を求める処理が行われる。その際には、カメラの位置関係(カメラの位置及び姿勢)の情報が必要になる。
このカメラの位置関係は、例えば、画像中の特徴点を用い、複数のカメラ画像間で対応点を導出し、その結果を用いて推定することで得られる。しかし、ノイズ等により十分な精度で位置を推定できないことがある。または、正しく推定できる場合でも処理時間が長くなるという問題がある。カメラ位置推定の精度が悪い場合、又は処理時間が長い場合には、カメラ位置関係情報に基づく処理により得られる対応関係の導出結果も精度が悪くなり、その処理の処理時間も長くなる。
本発明の一態様に係る画像撮影方法及び画像撮影システムは、サーバ側における認証の仕組みにより、無制限な撮影や画像の拡散を防ぐとともに、撮影時においては撮影中であることを分かりやすく提示することにより、被写体のプライバシー侵害を防ぐ。また、当該画像撮影方法及び画像撮影システムは、従来とは別の方法又は手段によって、カメラ位置関係の情報を上記応用の対応関係導出処理の参考値(又は対応関係導出処理の初期値)として用いることで、対応関係導出の精度を向上させる。
本発明の一態様に係る画像撮影方法は、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影方法であって、前記複数のカメラの一つである対象カメラが前記被写体を撮影したかを判定する判定ステップと、前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて、前記対象カメラのユーザに前記共有画像の閲覧を許可する許可ステップとを含む。
これによれば、当該画像撮影方法は、実際に撮影を行っていないユーザが共有画像を閲覧することを防止できるので、画像が意図せず必要以上に拡散されることを抑制できる。
例えば、前記対象カメラが前記被写体を撮影した期間を判定し、前記許可ステップでは、前記対象カメラのユーザに、異なる期間において撮影又は生成された複数の前記共有画像のうち、前記対象カメラが前記被写体を撮影したと判定された期間において撮影された画像又は当該画像から生成された画像の閲覧を許可してもよい。
例えば、前記対象カメラが前記被写体を撮影した期間を判定し、前記許可ステップでは、前記対象カメラが前記被写体を撮影したと判定された期間内において、前記対象カメラのユーザによる前記共有画像の閲覧を許可してもよい。
例えば、前記判定ステップでは、前記対象カメラの位置情報及び前記対象カメラで撮影された画像に前記被写体が写っているかに応じて、前記対象カメラが前記被写体を撮影したかを判定してもよい。
例えば、前記画像撮影方法は、さらに、新たなユーザが、前記共有画像を共有するためのセッションへ参加することを認証する認証ステップと、前記新たなユーザが、既に前記セッションに参加している参加済みユーザのカメラで検知可能なイベントを行うイベント実行ステップと、前記参加済みユーザの位置及び当該参加済みユーザのカメラで検知された前記イベントに基づき、前記新たなユーザの位置を推定する位置推定ステップとを含んでもよい。
これによれば、当該画像撮影方法は、容易に新たなユーザの位置を推定できる。
例えば、前記イベントは、前記新たなユーザのカメラがフラッシュを発光することであってもよい。
例えば、前記イベントは、前記新たなユーザが特定のアクションを行うことであってもよい。
例えば、前記画像撮影方法は、さらに、第1カメラが、前記共有画像を共有するためのセッションを生成するセッション生成ステップと、前記第1カメラが、前記セッションに関するセッション情報をサーバに送信する第1送信ステップと、前記サーバが、第2カメラに前記セッション情報を送信する第2送信ステップとを含んでもよい。
これによれば、当該画像撮影方法は、他のユーザにセッションが作成されたことを通知できる。
例えば、前記第2送信ステップでは、前記サーバは、複数のカメラから、前記第1カメラの近傍に位置する前記第2カメラを抽出してもよい。
また、本発明の一態様に係る画像撮影システムは、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影システムであって、前記複数のカメラの一つである対象カメラが前記被写体を撮影したかを判定する判定部と、前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて、前記対象カメラのユーザに前記共有画像の閲覧を許可する許可部とを備える。
これによれば、当該画像撮影システムは、実際に撮影を行っていないユーザが共有画像を閲覧することを防止できるので、画像が意図せず必要以上に拡散されることを抑制できる。
また、本発明の一態様に係るサーバは、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影システムに含まれるサーバであって、前記複数のカメラの一つである対象カメラが前記被写体を撮影したかを判定する判定部と、前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて、前記対象カメラのユーザに前記共有画像の閲覧を許可する許可部とを備える。
これによれば、当該サーバは、実際に撮影を行っていないユーザが共有画像を閲覧することを防止できるので、画像が意図せず必要以上に拡散されることを抑制できる。
また、本発明の一態様に係る画像撮影装置は、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影システムに含まれる画像撮影装置であって、前記複数のカメラの一つである対象カメラと、前記共有画像を表示する表示部と、前記共有画像を少なくとも一時的に保持する記憶部とを備え、前記対象カメラが前記被写体を撮影したと判定された場合、前記対象カメラが前記被写体を撮影した期間に応じて設定された、前記共有画像の閲覧許可期間に限り、前記共有画像を外部から受信し、受信された前記共有画像を前記記憶部に保持する。
これによれば、当該画像撮影装置は、実際に撮影を行っていないユーザが共有画像を閲覧することを防止できるので、画像が意図せず必要以上に拡散されることを抑制できる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
(実施の形態1)
本実施の形態は、大きく分けて、セッション参加方法、及びカメラキャリブレーション方法とから成る。以下、順にこれらを説明する。
不特定多数のユーザ(特にほぼ初対面に近い場合)の複数カメラの画像を用いる仮想現実又は3次元再構成の応用を行う場合には、プライバシーの侵害又は肖像権の侵害などに特に注意が必要である。どのような撮影が許されるのかは撮影時の状況により左右されるが、複数カメラによる撮影時においても、単一のデジタルカメラ又はスマートフォンでの撮影と同程度の使用が認められる方法が必要である。
画像(静止画と動画を含む)を共有する、又は、画像を基に生成された仮想現実又は3次元再構成されたコンテンツを共有する場合、これらを共有するグループを生成する。これらグループのことをセッションと呼ぶ。
まず、本実施の形態に係る画像撮影システムの構成を説明する。図1は、本実施の形態に係る画像撮影システムの構成を示す図である。図1に示す画像撮影システム100は、セッション作成ユーザのカメラ101と、セッションに参加するユーザのカメラ102と、管理サーバ104とを含む。
なお、カメラ101及びカメラ102は、例えば、デジタルスチルカメラ又はデジタルビデオカメラ等のカメラに限らず、スマートフォン又は携帯端末等のカメラを内蔵した端末であってもよい。
カメラ101及びカメラ102は、ネットワークを介して、管理サーバ104と接続されている。また、カメラ101及び102は、被写体103の近傍に位置しており、被写体103を撮影する。なお、被写体103は、人物又は物等に限らず、運動会等の特定のシーンであってもよい。
なお、ここでは、説明の簡略化のため2台のカメラ101及び102を示しているが、カメラの台数は3以上であってもよい。
次に、画像撮影システムによる画像撮影処理の全体の流れを説明する。図2は、本実施の形態に係る画像撮影処理の全体の流れを示す図である。また、ここでは、被写体103の近傍に、カメラ101、102A及び102Bが存在する場合の動作を説明する。
まず、カメラ101は、セッションを作成する(S101)。次に、カメラ102Aが作成されたセッションに参加する(S102)。セッションに参加しているカメラ101及びカメラ102は、被写体103を撮影し、得られた画像(静止画又は動画像)を管理サーバ104にアップロードする(S103)。
管理サーバ104は、アップロードされた画像、及びカメラから送信された位置情報等を用いて、カメラの位置及び向きを推定する(S104)。例えば、管理サーバ104は、画像中の特徴点を用い、複数のカメラ画像間で対応点を導出し、その結果を用いて、各カメラの位置及び向きを推定する。
次に、管理サーバ104は、推定された各カメラの位置及び向きと、アップロードされた画像とを用いて、共有画像を生成する(S105)。ここで共有画像とは、アップロードされた画像を用いて生成された仮想現実又は3次元再構成されたコンテンツである。
なお、共有画像は、アップロードされた画像を用いて生成された画像(コンテンツ)に限らず、アップロードされた画像(静止画又は動画像)そのものであってもよい。
また、管理サーバ104は、生成された共有画像を、セッションに参加しているカメラ101及び102Aへ配信する(S106)。
ここで、カメラ102Bが新たにセッションに参加する(S107)。その後、上記と同様に、カメラ101、102A及び102Bは、被写体103を撮影し、得られた画像を管理サーバ104にアップロードする(S108)。管理サーバ104は、各カメラからアップロードされた画像、及びカメラ102Bから送信された位置情報等を用いて、新たに追加されたカメラ102Bの位置及びカメラの向きを推定する(S109)。なお、この処理の詳細は、実施の形態2及び3で説明する。
次に、管理サーバ104は、推定された各カメラの位置及び向きと、アップロードされた画像とを用いて、共有画像を生成する(S110)。管理サーバ104は、生成された共有画像を、セッションに参加しているカメラ101、102A及び102Bへ配信する(S111)。
以下、セッション生成処理(図2のS101)について説明する。例えば、このセッション生成処理に対応したソフトウェア(アプリケーションプログラム)が事前に装置にインストールしてあるとする。図3は、本実施の形態に係るセッション作成処理の流れを示す図である。
まず、カメラ101は、セッションを開始したいユーザであるセッション作成ユーザの操作に従い、上記ソフトウェアを起動し、「セッションの作成」を行なう(S201)。
次に、カメラ101は、セッション生成ユーザの操作に従い、セッション説明情報を作成する。セッション説明情報は、何を撮影するのか示す文字、又は、被写体103が撮影された画像の縮小画像などである。カメラ101(上記ソフトウェア)は、作成されたセッション説明情報を管理サーバ104に送信する(S202)。
管理サーバ104は、その被写体103を撮影可能な、被写体103の近くに存在するカメラであって、対応ソフトウェアがインストールされているカメラを検出し、当該カメラへ、セッションが生成されたことを通知する(S203)。なお、当該セッションの生成ユーザとは異なる別のユーザを第2のユーザと呼ぶ。
管理サーバ104は、以下に例示する方法で、通知対象のカメラ(端末)を特定する。
管理サーバ104は、GPS(Global Positioning System)による位置情報、3G/LTE基地局の位置情報、又は、WiFi(登録商標)アクセスポイントの位置情報等を複数のカメラからそれぞれから受信し、受信した位置情報等に基づいてカメラ101の位置より所定の距離内にある別のカメラを抽出し、抽出されたカメラへセッション説明情報を送信する(参加条件1)。なお、複数のカメラそれぞれが撮影した映像に別のカメラ又は同一の被写体が写りこんでいることもあるため、管理サーバ104は、受信した複数のカメラの撮影映像に対して特徴点マッチングなどの画像処理を行うことにより各カメラの位置情報を算出することができる。このように、管理サーバ104は、撮影画像に対する画像処理により算出された位置情報に基づいて、カメラ101の位置より所定の距離内にある別のカメラを抽出してもよい。さらに、管理サーバ104は、位置情報と撮影映像両方を用いて、この位置判定を行ってもよい。
または、管理サーバ104は、カメラ101と近距離通信(NFC(Near Field Communication)、BlueTooth(登録商標)又はWiFi等)が行われている他のカメラであって、対応したソフトウェアがインストールされているカメラへセッション説明情報を送信する(参加条件2)。具体的には、管理サーバ104は、セッション識別用の特定コードを発行し、当該特定コードをカメラ101(のソフトウェア)へ送信する。ここで、特定コードとは、文字列又は数字列などのランダムに生成されたコードであり、セッションに紐付けされた固有のキーである。
カメラ101は、その特定コードを、近距離通信を用いて、カメラ102へ送信する。カメラ102(のソフトウェア)は、特定コードを受信し、当該特定コードを管理サーバ104へ送信する。管理サーバ104は、セッション固有の特定コードがカメラ102を経由して受信されたことをもって、カメラ102がカメラ101の近くに存在すると判断する。
または、カメラ101は、WiFiのアクセスポイントサービスを有効に設定し、自身が検知したアクセスポイントのSSID(Service Set Identifier)を管理サーバ104へ通知する。一方、カメラ102(のソフトウェア)は、自身の検知しているアクセスポイントのSSIDの一覧を管理サーバ104へ定期的に送信する。管理サーバ104は、カメラ101から通知されたSSIDと一致するSSIDがカメラ102から送信さられた受信リストに含まれていれば、カメラ102がカメラ101の近くい存在すると判断し、当該カメラ102へセッション説明情報を通知する(参加条件3)。または、管理サーバ104は、特定文字列を含むSSIDのWiFiアクセスポイントを構築することで、セッションが在ることをカメラ102へ通知する。
または、カメラ101の表示装置は、セッション参加用のユニークキー(パスコード又はURL等)をQRコード(登録商標)又は文字列等により表示する。カメラ102が、表示されたユニークキーを読み取った場合に、セッション参加の申請が行われてもよい(参加条件4)。
または、カメラ101は、カメラ101の背面に設けられているフラッシュ撮影用のLEDを特定のパターンで点滅させる。カメラ102はLEDの点滅のパターンを読み取り、読み取ったパターンを管理サーバ104に送信する。管理サーバ104は、カメラ102から送信されたパターンが、カメラ101のLEDの点滅のパターンと一致することを確認できた場合、カメラ102がカメラ101の近傍に存在すると判断し、セッション説明情報をカメラ102へ通知する(参加条件5)。なお、カメラの背面とは、撮影時にユーザが位置する側とは逆側であり、被写体側(カメラのレンズが設けられている側)のことを意味する。
また、セッションの通知可否の判断は、上記の参加条件1〜5の判断を複数個組み合わせたOR条件又はAND条件であってもよい。
また、セッションの通知は、新規生成時のみではなく、定期的に行われてもよい。このセッションの通知は、カメラ101から定期的に行われてもよいし、管理サーバ104から定期的に行われてもよい。
次に、セッション参加処理(図2のS102)について説明する。図4は、本実施の形態に係るセッション参加処理の流れを示す図である。
まず、カメラ102は、管理サーバ104からセッション一覧情報を受信し、当該セッション一覧情報を、参加可能なセッションの一覧として表示する(S211)。ここで、セッション一覧情報は、複数のカメラから送信されたセッション説明情報に基づき作成される。
第2のユーザが、セッションへの参加を希望する場合、カメラ102に対して、参加したいセッションを選択する操作を行う。例えば、第2のユーザは、「参加する」などのボタンを押すなどの操作を行う。ここでは、セッションへの参加意思のあるユーザでまだセッションに参加していないユーザを参加希望ユーザと呼ぶ。
参加希望ユーザの参加意思は、参加希望ユーザの簡単な身元を示す参加者情報(例えば、名前又は顔のサムネイルなど)とともに、管理サーバ104及びカメラ101へ通知される(S212)。管理サーバ104及びセッション生成ユーザは、参加希望ユーザのセッションへの参加を許可するか否かを判定する(S213及びS214)。参加希望ユーザのセッションへの参加が承認された場合、参加希望ユーザは、セッションに参加する(S215)。また、参加希望ユーザのセッションへの参加が否認された場合、その旨がカメラ102へ通知される。
ここで、管理サーバ104による承認の判定(S213)とは、有料課金サービスにおける支払いの確認であったり、無料会員サービスにおけるログイン認証であったり、犯罪歴等に基づく特定ユーザへのサービス不提供のためのフィルタリングなどである。なお、管理サーバ104による承認の判定が否認である場合には、管理サーバ104は、当該セッションの通知の際に予め、参加希望ユーザがセッションに参加する資格が無いことを付帯情報として、参加希望ユーザに通知しておいてもよい。
また、セッション生成ユーザによる承認の判定(S214)とは、参加希望ユーザの名前等から、セッション生成ユーザが個別に判断する承認のことである。この承認結果は、例えば、セッション生成ユーザによるカメラ101への操作により行われる。なお、セッション生成ユーザは、自身による承認処理を経ずに、参加希望のユーザを全て承認するように予め設定しておいてもよい。
なお、図4では、参加者情報は管理サーバ104を経由してカメラ101へ送信されているが、カメラ101を経由しなくてもよい。また、ステップS213及びS214の順序は任意の順序でよい。
また、ここでは、セッション生成ユーザと参加希望ユーザとの二人の動作を例に説明したが、セッションに既に複数のユーザが参加している場合についても同様の処理を適用可能である。以下に具体的に説明する。既にセッションに参加しているユーザを、セッション生成ユーザを含めて、参加済みユーザと呼び、参加済みユーザのカメラ(端末)を参加済みカメラと呼ぶ。
セッション説明情報は、複数の参加済みカメラの位置情報の平均的な位置或いは重心の位置、又は、仮想現実或いは3次元再構成のために導出された被写体103の位置から、所定の距離内に存在するカメラに通知されてもよい(参加条件1の派生)。
または、いずれかの参加済みカメラと近距離通信を行っているカメラへセッション説明情報が通知されてもよい。または、参加済みカメラのうち複数のカメラと近距離通信を行っているカメラへセッション説明情報が通知してもよい(参加条件2の派生)。
または、全ての参加済みカメラは自身が検出したWiFiアクセスポイントのSSIDを管理サーバ104に通知しておき、カメラ102から送信されたSSIDの受信リストに複数の参加済みユーザのSSIDが含まれている場合に、その第2のユーザへセッション説明情報が通知されてもよい(参加条件3の派生)。
または、いずれかの参加済みカメラの表示装置は、セッション参加用のユニークキー(パスコード又はURL等)をQRコード(登録商標)又は文字列等を表示する。カメラ102が、表示されたユニークキーを読み取った場合に、セッション参加の申請が行われてもよい(参加条件4の派生)。
または、いずれかの参加済みカメラは、当該カメラの背面に設けられているフラッシュ撮影用のLEDを特定のパターンで点滅させる。カメラ102はLEDの点滅のパターンを読み取り、読み取ったパターンを管理サーバ104に送信する。管理サーバ104は、カメラ102から送信されたパターンが、参加済みカメラのLEDの点滅のパターンと一致することを確認できた場合、カメラ102が、参加済みカメラの近傍に存在すると判断し、セッション説明情報をカメラ102へ通知してもよい(参加条件5の派生)。
なお、複数の参加済みカメラが存在する場合には、いずれかのカメラと上記条件を満たした場合だけではなく、複数のカメラと上記条件を満たした場合に、カメラ102へセッション説明情報が通知されてもよい。これにより、ノイズ又は情報漏洩(パスコードのメールによる遠隔地への送付)などによる誤ったセッションへの参加を抑止できる。
また、参加希望ユーザの参加意思と参加者情報は、セッション生成ユーザのみではなく、参加済みユーザ全員に通知されてもよい。
なお、各カメラは、撮影中に、カメラが有するフラッシュ用のLEDを特定のパターンで点滅させてもよい。これにより、そのカメラが撮影中であることを周囲に示すことができるので、盗撮などが行われることを抑止できる。特に、同一のセッションに参加している参加済みカメラにおいては、点滅の周期を同期させてもよい。これにより、同一のセッションに参加しているユーザを容易に特定できる。なお、このようなユーザが識別可能な状態は、フラッシュ用のLEDを用いた方法に限らず、周囲から視認可能なその他の表示装置が用いた方法でもよい。
また、管理サーバ104は、参加済みユーザによる撮影が正しく行われているかを定期的に判定する。図5は、この判定処理のフローチャートである。
まず、管理サーバ104は、参加済みカメラがセッションにおける撮影対象の被写体103を撮影しているかを定期的に判定する(S301)。具体的には、管理サーバ104は、判定対象の参加済みユーザ(以下、対象ユーザ)のカメラ(以下、対象カメラ)で撮影された画像と、他の参加済みカメラで撮影された画像との類似度を算出する。管理サーバ104は、算出された類似度が高い場合に、対象ユーザが被写体103を撮影していると判定する。または、管理サーバ104は、複数の参加済みユーザが撮影した画像から3次元再構成されたモデルと、対象カメラで撮影された画像との一致度合いを算出する。管理サーバ104は、算出された一致度合いが高い場合に、対象ユーザが被写体103を撮影していると判定する。
次に、管理サーバ104は、対象ユーザ(対象カメラ)が被写体103の近傍に位置しているかを判定する(S302)。具体的には、管理サーバ104は、上記参加条件を確認する。なお、管理サーバ104は、対象カメラの位置に加え、対象カメラの向きが被写体103の方向を向いているかを判定してもよい。
管理サーバ104は、対象カメラが、(1)所定の時間を超えて被写体103を撮影していない場合、(2)所定の時間を超えて被写体103の近傍に居ない場合、又は、(3)所定の時間を超えて被写体103の方向を向いていない場合には、当該対象ユーザをセッションから退場させるべきと判断する(S303でNo)。そして、管理サーバ104は、対象カメラにその旨を通知し、対象ユーザをセッションから退場させる(S305)。
なお、管理サーバ104は、最初に、対象ユーザを退場させるべきと判断した際には、対象ユーザに警告のみを通知し、複数回連続して、対象ユーザを退場させるべきと判断した際に、対象ユーザを退場させてもよい。
参加継続と判断された場合には、管理サーバ104は、対象ユーザの撮影実績情報を更新し(S304)、一定時間後に再び参加資格確認の処理(S301以降)を行う。ここで、撮影実績情報は、対象ユーザがセッションに参加していた期間(実績期間)を示す情報である。ここで、実際に撮影を継続している期間だけではなく、一部撮影を中断している期間があってもある一定条件を満たした撮影期間であれば、実績期間に含めてもよい。この条件とは、例えば退席や別の方向の撮影が所定割合未満であること、又は累積での撮影期間が30分など所定の期間を超えていること、などである。その他の様々な条件設定がありえ、また撮影の種類に応じて設定すべき条件は異なると考えられるので、撮影に応じて参加の条件を決めて、実績期間として導出すればよい。
一方、退場すべき対象ユーザには、対象ユーザがセッションに参加していた実績期間中に、複数の参加済みユーザにより撮影された複数の画像、或いは、これらの画像を用いて生成された仮想現実空間又は3次元再構成を応用したコンテンツを管理サーバ104から閲覧又はダウンロードする権利が一定時間与えられる。なお、対象ユーザには、対象ユーザがセッションに参加していない時間帯に生成されたコンテンツを受け取る権利は原則与えられない。これにより、コンテンツの必要以上の拡散を抑止できる。
図6は、対象ユーザが閲覧可能な共有画像、及び共有画像を閲覧可能な時期の一例を示す図である。図6に示す例では、対象ユーザは、時刻t1からt2の期間においてセッションに参加し、撮影をおこなっている。管理サーバ104は、対象ユーザに、時刻t1から時刻t2において撮影又は生成された共有画像の閲覧を許可している。また、対象ユーザは、この共有画像を、セッション参加中の時刻t1からt2の期間、及びセッション退場後の期間T0(時刻t2からt3)において閲覧(ダウンロード)可能である。なお、図6では実績期間より短く見える期間T0が記載されているが、期間T0を、実績期間より短い期間に限定する意図はなく、むしろ通常は、期間T0は、1週間又は1ヶ月など、セッション自体よりもはるかに長い期間であることが多い。
なお、対象ユーザには、対象ユーザがセッションに参加している期間中のみにおいて、複数の参加済みユーザにより撮影された複数の画像、或いは、これらの画像を用いて生成された画像(仮想現実空間又は3次元再構成を応用したコンテンツ)の閲覧(ダウンロード)が許可されてもよい。または、実績期間が所定時間以上になれば、セッション開始からセッション参加前までの過去分もしくはセッション退場後の将来分に対応する、実績期間以外に撮影された画像、またはセッション開始から終了までの全期間の画像の閲覧(ダウンロード)を許可する構成であってもよい。
例えば、図7に示す例では、対象ユーザは、セッションに参加中においてのみ、その時刻に撮影又は生成された共有画像のみを閲覧でき、過去に撮影又は生成された共有画像の閲覧できない。つまり、対象ユーザが、リアルタイムに生成された共有画像のみを閲覧できる構成としてもよい。例えば、対象ユーザの撮影中において、対象ユーザの端末には、画面分割等により対象ユーザが撮影中の画像及びリアルタイムに他のユーザが撮影している画像が表示される。
また、図8に示す例では、管理サーバ104は、対象ユーザに、対象ユーザがセッションに参加している期間中において、セッション作成時から対象ユーザがセッションに参加している期間までに撮影又は生成された全ての画像の閲覧を許可する。つまり、図8に示す例では、対象ユーザは、リアルタイムに他のユーザが撮影中の画像に加え、セッション作成時から現在時刻までに他のユーザが撮影した画像を閲覧できる。
なお、ここで例示したように閲覧又はダウンロードが許可される共有画像等について、プライバシー又は著作権の観点に配慮された対応が必要であることは言うまでもない。例えば、内容によっては、一定期間であれば閲覧はできるがダウンロードはできない、又は、共有画像等についてはシステム全体又は管理サーバを運営する主体のロゴが付されるなどの対応が必要となる。
また、管理サーバ104は、対象ユーザ(対象カメラ)の参加条件を定期的に評価し、所定の時間を超えて参加条件が満たされない場合には、同様に当該対象ユーザをセッションから退場させる。
なお、仮想現実空間又は3次元再構成の応用のための処理は処理能力の高いコンピュータ、或いは当該コンピュータ上で動作する仮想コンピュータ、又は、複数のコンピュータによって分散動作するクラウド型のコンピュータにより行われる。管理サーバ104も同様な装置によって実現される。
なお、管理サーバ104によって行われた手順の一部は、セッション生成ユーザのカメラ101(端末)又は他の参加済みカメラ上で行われてもよい。
以上のように、本実施の形態に係る画像撮影システムは、複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は複数の画像から生成される画像、である共有画像を複数のカメラの複数のユーザで共有するためのシステムであって、図9に示す処理を行う。
まず、画像撮影システムは、複数のカメラの一つである対象カメラが被写体103を撮影したかを判定する(S401)。具体的には、画像撮影システムは、対象カメラの位置情報及び対象カメラで撮影された画像に被写体103が写っているかに応じて、対象カメラが被写体103を撮影したかを判定する。より具体的には、画像撮影システムは、対象カメラの位置が被写体103又はセッションに参加している他のカメラの近傍に位置し、かつ、対象カメラで撮影された画像に被写体103が写っている場合に、対象カメラが被写体103を撮影したと判定する。
対象カメラが被写体103を撮影したと判定された場合(S402でYes)、画像撮影システムは、対象カメラが被写体103を撮影した期間に応じて、対象カメラのユーザに共有画像の閲覧を許可する(S403)。
一方、対象カメラが被写体103を撮影していないと判定された場合(S402でNo)、画像撮影システムは、対象カメラのユーザに共有画像の閲覧を許可しない(S404)。
具体的には、図6に示すように、画像撮影システムは、対象カメラが被写体103を撮影した期間を判定し、対象カメラのユーザに、異なる期間において撮影又は生成された複数の共有画像のうち、対象カメラが被写体103を撮影したと判定された期間において撮影された画像又は当該画像から生成された画像の閲覧を許可する。
または、図7又は図8に示すように、画像撮影システムは、対象カメラが被写体を撮影したかを定期的に判定し、対象カメラが被写体を撮影したと判定された期間内において、対象カメラのユーザによる共有画像の閲覧を許可する。
なお、画像撮影システムは、対象カメラが被写体を撮影したと判定された期間が予め定められた期間より長い場合に、対象カメラのユーザによる共有画像の閲覧を許可してもよい。また、対象カメラが被写体を一定期間(X)撮影後にいったん撮影を中断し、再度一定期間(Y)撮影した際には、その合計期間(X+Y)を、対象カメラが被写体を撮影した期間としてもよい。
これにより、当該画像撮影システムは、画像が意図せず必要以上に拡散されることを抑制できる。
さらに、画像撮影システムでは、図3に示すように、第1カメラ101は、共有画像を共有するためのセッションを生成し(S201)、第1カメラ101が、セッションに関するセッション説明情報(セッション情報)を管理サーバ104に送信する(S202)。管理サーバ104は、複数のカメラから、第1カメラ101の近傍に位置する第2カメラ102を抽出し(S203)、第2カメラ102にセッション説明情報を送信する。
これにより、当該画像撮影システムは、セッションが生成されたことを被写体103の近傍に存在するカメラのみに通知できる。
なお、本発明は、上記画像撮影システムに含まれるサーバ又は上記カメラを備える画像撮影装置として実現されてもよい。
例えば、本実施の形態に係る画像撮影装置は、画像撮影システムに含まれる複数のカメラの一つである対象カメラと、共有画像を表示する表示部と、共有画像を少なくとも一時的に保持する記憶部とを備え、対象カメラが被写体を撮影したと判定された場合、対象カメラが被写体を撮影した期間に応じて設定された、共有画像の閲覧許可期間に限り、共有画像を外部から受信し、受信された共有画像を記憶部に保持する。
(実施の形態2)
本実施の形態では、セッションに参加した直後の参加済みユーザ(追加ユーザと呼ぶ)に対する、カメラのキャリブレーションの動作(図2のS109)について説明する。
複数のカメラで撮影された複数の画像から、仮想現実空間又は3次元再構成が応用されたコンテンツを生成する場合、参加済みカメラがどの位置にいてどの方向を向いているかの情報(カメラ位置情報)は重要である。一般的にはGPSによる位置情報は、精度が限られている場合があり、屋内では利用できない。よって、本実施の形態では、以下に説明するカメラ位置推定方法を用いる。
図10は、本実施の形態に係る位置推定処理の流れを示す図である。
まず、管理サーバ104は、追加ユーザに対して、映像イベントを起こすことを要求する。例えば、管理サーバ104は、追加ユーザのカメラ105に対して、フラッシュを発光させるように要求する(S501)。追加ユーザは、当該要求を受けて、映像イベントを起こす。例えば、カメラ105は、当該カメラ105の背面に設けられているフラッシュ用のLEDを点滅させる(S502)。
既にセッションに参加していたユーザ(既存ユーザと呼ぶ)は、被写体103を撮影中である。よって、既存ユーザのカメラは、被写体103の周囲のどこかに居るかもしれない追加ユーザの映像イベント(カメラ105のフラッシュ光)を撮影画像のどこかの領域で捕えることとなる。また、既存ユーザのカメラで撮影された画像は管理サーバ104に送信され続けている。管理サーバ104は、カメラ105に映像イベント(フラッシュ)を要求したタイミング付近において撮影された画像の中から映像イベント(フラッシュ)を探し出す(S503)。
次に、管理サーバ104は、既存ユーザの位置に対する映像イベントの方向を推定する(S504)。具体的には、既存ユーザのカメラにより撮影された画像において、フラッシュが画面の右側に写っている場合、管理サーバ104は、追加ユーザのカメラが当該既存ユーザのカメラの右方向に存在すると判定する。フラッシュが画面の左側に写っている場合、管理サーバ104は、追加ユーザのカメラが当該既存ユーザのカメラの左方向に存在すると判定する。フラッシュが画面の上側に写っている場合、管理サーバ104は、追加ユーザのカメラが、建物の上階などに存在し、既存ユーザのカメラより上側に存在すると判定する。フラッシュが画面の下側に写っている場合、既存ユーザのカメラは階上に存在し、追加ユーザのカメラは既存ユーザのカメラより下側に存在すると判定する。
次に、管理サーバ104は、画像を撮影した既存ユーザのカメラの位置及び向きと、当該既存ユーザのカメラに対する映像イベントの方向の推定結果とに基づき、追加ユーザのカメラの位置を推定する(S505)。なお、単眼のカメラを用いる場合には、上記の位置推定は、大雑把な範囲での推定となる。これに対して、管理サーバ104は、複数の既存ユーザの推定結果を統計的に処理することで(例えば平均等)、より確かでより細かくカメラ位置を推定できる。
図11に示す例を説明する。図11は天頂から俯瞰したイメージ図であり、図面の上が北であるとする。中央に位置する被写体103の北側にて第1の既存ユーザのカメラ106Aが被写体103を撮影しており、被写体103の東側にて第2の既存ユーザのカメラ106Bが被写体103を撮影している。追加ユーザのカメラ105は、被写体103の南側に位置しており、管理サーバ104の要求に応じてフラッシュ107を点滅させる。
図12は、この場合の第1の既存ユーザのカメラ106Aで撮影された画像を示す。図13は、第2の既存ユーザのカメラ106Bで撮影された画像を示す。この例では、図12に示すように、第1の既存ユーザのカメラ106Aで撮影された画像では、画像中央に被写体103が写っており、その向こう(左右方向ではほぼ同じ位置)にフラッシュ107が写る。また、図13に示すように、第2の既存ユーザのカメラ106Bの画像においては、画面中央に被写体103が写っており、画面左側にフラッシュ107が写る。
一度、追加ユーザのカメラ105の位置がある程度わかれば、カメラ105は被写体をとらえているはずなので、既存ユーザのカメラ画像から生成された仮想現実空間又は3次元再構成された被写体103と、カメラ105で撮影された画像とのマッチング処理は容易となり、また精度も向上する。つまり、管理サーバ104は、上記で得られた、カメラ105の位置及び方向の大まかな推定結果を用いて、マッチング処理を行うことで、カメラ105の正確な位置及び方向を推定する。具体的には、管理サーバ104は、上記で得られた大まか推定結果を、参考値又は初期値として用いる。
なお、管理サーバ104は、フラッシュを画像から探索する処理を、例えば、フラッシュ要求信号を追加ユーザのカメラ105に送信した直後に行う。なお、フラッシュ要求信号を受信してから、実際にカメラ105のフラッシュが発光するまでに、遅延がある可能性がある。よって、カメラ105は、フラッシュを発光した時点で、実際の発光タイミングを管理サーバ104に通知し、管理サーバ104は、その実際の発光タイミングの周辺の時間帯において、既存ユーザのカメラで撮影された画像からフラッシュ光を探索してもよい。
なお、上記の説明では映像イベントの一例として、フラッシュを用いる例を説明したが、映像イベントは、追加ユーザのカメラ又はマイクで捕えることのできるイベントであればよい。例えば、上記説明では、フラッシュを発光する発光部が、端末(カメラ)の背面に設けられている例を説明したが、この発光部は、端末の上辺に設けられた、アンテナ状の発光部であってもよい。また、この発光部は、端末の背面に設けられている簡易表示装置であってもよい。この場合、当該簡易表示装置は、映像イベントとして、特別な映像パターンを表示する。
または、追加ユーザのカメラ105は、前面に主表示装置を備え、映像イベントとして、当該主表示装置は、特別な映像パターンを表示し、追加ユーザは、カメラ105の主表示装置が周囲に対して見えるようにカメラ105を持ってもよい。この場合、例えば、カメラ105(カメラ105上で動作するソフトウェア)は、このような持ち方をするように追加ユーザへ指示する。
なお、端末(カメラ)の背面とは、撮影時にユーザが位置する側とは逆側であり、被写体側(カメラのレンズが設けられている側)のことを意味する。また、端末(カメラ)の前面とは、撮影時にユーザが位置する側であり、被写体側(カメラのレンズが設けられている側)とは逆側である。
または、映像イベントとして、発光部及び表示装置を用いずに、追加ユーザが特別なアクション(例えば、手を挙げたり、又は、手をふったり)を行ってもよい。この場合、カメラ105(ソフトウェア)は、映像イベントとして、どのようなアクションをすべきかを追加ユーザに指示する。
または、映像イベントの代わりに、音声イベントが用いられてもよい。例えば、追加ユーザのカメラ105は、音声イベントとして、特定パターンの音をカメラ105のスピーカから発生させてもよい。この場合、複数の既存ユーザのカメラは、当該カメラのマイクでこの音を集音する。既存ユーザのカメラにモノラルマイクが用いられている場合には、管理サーバ104は、複数の既存ユーザのカメラのマイクで取得された音の強度を基に、三角測量の手法で追加ユーザのカメラ105の位置を推定する。また、既存ユーザのカメラがステレオマイクを備える場合には、管理サーバ104は、このカメラで得られた情報から音源の方向を推定し、推定結果と他の既存ユーザの集音結果と組み合わせてカメラ105の位置を推定してもよい。
または、映像イベントの代わりに、顔認識が用いられてもよい。具体的には、管理サーバ104は、追加ユーザの顔画像を所持している。または、セッション参加希望時に追加ユーザのカメラ105が管理サーバ104に追加ユーザの顔画像を送信する。管理サーバ104は、所持している顔画像を用いて、既存ユーザのカメラで撮影された画像に対して顔認識を行うことで、追加ユーザ(カメラ105)の位置を推定してもよい。
または、複数の既存ユーザのカメラは、当該カメラと追加ユーザのカメラ105との近距離通信(NFC、BlueTooth(登録商標)又はWiFi等)の通信強度を管理サーバ104に送信し、管理サーバ104は三角測量の手法で追加ユーザのカメラ105の位置を推定してもよい。
または、既存ユーザのカメラが距離測定の機能を有している場合には、既存ユーザのカメラは、当該カメラとフラッシュとの距離を計測し、計測結果を管理サーバ104へ送信してもよい。この場合、管理サーバ104は、受信した計測結果を追加ユーザの位置推定に用いる。
なお、(1)ある参加済みカメラが被写体103を撮影していないと判断された場合、(2)当該カメラの位置が他の参加済みユーザの近傍に無いと判断された場合、又は、(3)当該カメラの位置情報の信頼性が低いと判断された場合に、管理サーバ104は、当該参加済みカメラに対して、上記カメラ位置推定処理を行ってもよい。
また、フラッシュなどの視認性の良い映像イベントを用いることで、追加ユーザの存在が既存ユーザ及び被写体から分かりやすくなるため、盗撮及び撮影結果の意図しない拡散に対する抑止効果も期待できる。
以上のように、本実施の形態に係る画像撮影システムは、新たなユーザ(追加ユーザ)が、共有画像を共有するためのセッションへ参加することを認証する(図4のS213及びS214)。また、図10に示すように、画像撮影システムは、新たなユーザが、既にセッションに参加している参加済みカメラで検知可能なイベントを行い(S502)、参加済みユーザの位置及び当該参加済みカメラで検知されたイベントに基づき、新たなユーザの位置を推定する(S503〜S505)。例えば、上記イベントは、新たなユーザのカメラがフラッシュを発光することである。または、上記イベントは、新たなユーザが特定のアクションを行うことである。
これにより、当該画像撮影システムは、容易に新たなユーザの位置を推定できる。
(実施の形態3)
本実施の形態では、既存ユーザのカメラ画像を用いた追加ユーザの位置推定についてより詳細に説明する。
図14〜図17を用いて説明する。図14は、カメラの拡大縮小設定がワイドの場合のカメラ画像の例を示す。図15は、カメラの拡大縮小設定がズームの場合のカメラ画像の例を示す。
管理サーバ104は、例えば、カメラで撮影された画像を図のように横方向に3分割する。中央を方向Cの領域、左側を方向Lの領域、右側を方向Rの領域とする。管理サーバ104は、映像イベントが検出された画像内の領域に応じて、カメラ周辺のどの方向に映像イベントが位置するのかを推定する。
図16及び図17は、上記領域と対応する方向の関係を示す図である。この対応関係は拡大縮小に応じて変わるし、カメラのデバイス特性に応じても変わる。図15及び図17に示すように、拡大縮小設定がズームの場合には、管理サーバ104は、映像イベントが比較的正面方向に寄った方向のいずれかで発生していると推定する。
例えば、各カメラは、画像のアップロード時に、拡大縮小設定(ズーム倍率)を示す情報もあわせて管理サーバ104へ送信する。管理サーバ104は、受信した情報を用いて、画像の撮影時の拡大縮小設定を判断する。
図18は、3個の既存ユーザのカメラ106A〜106Cを用いた場合の例を示す図である。なお、この3個のカメラ106A〜106Cの位置情報(位置と姿勢(向き))は既知であるとする。
この例では、カメラ106Aで撮影された画像の画面内にて、左右方向における中央領域にフラッシュが検出されたため、管理サーバ104は、追加ユーザのカメラが正面方向の領域121Aに存在すると推定する。カメラ106Bで撮影された画像の画面内の左方向にフラッシュが検出されたため、管理サーバ104は、追加ユーザのカメラが左方向の領域121Bに存在する推定する。カメラ106Cで撮影された画像の画面内の左右方向の中央領域にフラッシュが検出されたため、管理サーバ104は、追加ユーザのカメラが正面方向の領域121Cに存在すると推定する。管理サーバ104は、この3つの推定された領域121A〜121Cが最も多く重なる領域122に、追加ユーザのカメラが存在すると推定する。
以上、実施の形態に係る画像撮影方法及び画像撮影システムついて説明したが、本発明は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る画像撮影システムに含まれる各装置に含まれる各処理部は典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
言い換えると、画像撮影システムに含まれる各装置は、処理回路(processing circuitry)と、当該処理回路に電気的に接続された(当該処理回路からアクセス可能な)記憶装置(storage)とを備える。処理回路は、専用のハードウェア及びプログラム実行部の少なくとも一方を含む。また、記憶装置は、処理回路がプログラム実行部を含む場合には、当該プログラム実行部により実行されるソフトウェアプログラムを記憶する。処理回路は、記憶装置を用いて、上記実施の形態に係る予測画像生成方法、符号化方法又は復号方法を実行する。
さらに、本発明は上記ソフトウェアプログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。
また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
また、上記の画像撮影方法に含まれるステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
以上、本発明の一つ又は複数の態様に係る予測画像生成装置、符号化装置及び復号装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つ又は複数の態様の範囲内に含まれてもよい。
本発明は、画像撮影方法及び画像撮影装置に適用できる。また、本発明は、画像撮影機能を備える、テレビ、デジタルビデオレコーダ、ドライブレコーダ、携帯電話、スマートフォン、デジタルカメラ、監視カメラ、及びデジタルビデオカメラ等の情報表示機器又は撮像機器に利用可能である。
101、102、102A、102B、105、106A、106B、106C カメラ
103 被写体
104 管理サーバ
107 フラッシュ

Claims (1)

  1. 複数のカメラで同一の被写体が撮影されることで得られる複数の画像、又は前記複数の画像から生成された画像、である共有画像を前記複数のカメラの複数のユーザで共有するための画像撮影方法であって、
    前記複数のカメラの一つである対象カメラが所定時間より長い撮影期間で前記被写体を撮影したかを判定する判定ステップと、
    前記対象カメラが前記所定時間より長い撮影期間で前記被写体を撮影したと判定された場合、前記対象カメラのユーザに前記共有画像の閲覧を許可する許可ステップとを含む
    画像撮影方法。
JP2016137937A 2014-05-27 2016-07-12 画像撮影方法 Active JP6436398B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462003189P 2014-05-27 2014-05-27
US62/003,189 2014-05-27

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014254544A Division JP5979396B2 (ja) 2014-05-27 2014-12-16 画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム

Publications (2)

Publication Number Publication Date
JP2016213869A true JP2016213869A (ja) 2016-12-15
JP6436398B2 JP6436398B2 (ja) 2018-12-12

Family

ID=54842783

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014254544A Active JP5979396B2 (ja) 2014-05-27 2014-12-16 画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム
JP2016137937A Active JP6436398B2 (ja) 2014-05-27 2016-07-12 画像撮影方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014254544A Active JP5979396B2 (ja) 2014-05-27 2014-12-16 画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム

Country Status (2)

Country Link
US (2) US10356183B2 (ja)
JP (2) JP5979396B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020030816A (ja) * 2018-08-23 2020-02-27 エヌエイチエヌ コーポレーション ユーザ端末から受信されるイメージを他のユーザ端末に共有するための装置および方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150237143A1 (en) * 2014-02-14 2015-08-20 Adobe Systems Incorporated Image Session Identifier Techniques
US20160048701A1 (en) * 2014-08-18 2016-02-18 Spatial Digital Systems, Inc. Enveloping for remote Digital Camera
US10257395B2 (en) * 2016-10-31 2019-04-09 Nokia Technologies Oy Method, apparatus and computer program product for creating virtual reality content of an event
US10194101B1 (en) 2017-02-22 2019-01-29 Gopro, Inc. Systems and methods for rolling shutter compensation using iterative process
JP2019016188A (ja) * 2017-07-07 2019-01-31 株式会社日立製作所 移動体遠隔操作システムおよび移動体遠隔操作方法
JP2019021996A (ja) * 2017-07-12 2019-02-07 パナソニックIpマネジメント株式会社 ウェアラブルカメラ、ウェアラブルカメラシステム及び情報記録方法
CN107920015B (zh) * 2017-11-17 2021-11-09 北京小米移动软件有限公司 发布图片的方法和发布图片的装置
US20190243376A1 (en) * 2018-02-05 2019-08-08 Qualcomm Incorporated Actively Complementing Exposure Settings for Autonomous Navigation
JP7132730B2 (ja) * 2018-03-14 2022-09-07 キヤノン株式会社 情報処理装置および情報処理方法
CN115103106A (zh) * 2019-12-18 2022-09-23 荣耀终端有限公司 一种控制方法、电子设备、计算机可读存储介质、芯片
CN111147778B (zh) * 2019-12-23 2022-06-07 浙江大华技术股份有限公司 基于数字视频录像机的轨迹录像方法、装置及存储介质
WO2023206576A1 (zh) * 2022-04-29 2023-11-02 北京小米移动软件有限公司 图像处理方法及装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005010959A (ja) * 2003-06-17 2005-01-13 Nec Corp 移動体通信端末装置、娯楽情報鑑賞システム及び娯楽情報提供方法
JP2009171491A (ja) * 2008-01-21 2009-07-30 Panasonic Corp 画像送信装置
JP2010109783A (ja) * 2008-10-31 2010-05-13 Casio Computer Co Ltd 電子カメラ
JP2010154377A (ja) * 2008-12-26 2010-07-08 Hitachi Ltd コンテンツ共有システムおよびコンテンツ共有方法
JP2011024196A (ja) * 2009-06-18 2011-02-03 Panasonic Corp 画像選択装置、画像選択方法、及び画像選択システム
JP2012216885A (ja) * 2011-03-31 2012-11-08 Nikon Corp 撮像装置及び画像共有システム
JP2012235282A (ja) * 2011-04-28 2012-11-29 Jvc Kenwood Corp 撮像装置、撮像データ共有システム、及びプログラム
JP2013045302A (ja) * 2011-08-24 2013-03-04 Dainippon Printing Co Ltd 通信端末装置、サーバ装置及びプログラム
WO2013047071A1 (ja) * 2011-09-27 2013-04-04 Necカシオモバイルコミュニケーションズ株式会社 コンテンツ共有システム
JP5271693B2 (ja) * 2008-12-25 2013-08-21 Kddi株式会社 グループ識別子生成システム、識別サーバ、グループ識別子生成方法、アプリケーションサービスシステム及びコンピュータプログラム
JP2013211742A (ja) * 2012-03-30 2013-10-10 Jvc Kenwood Corp 撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002314994A (ja) 2001-04-13 2002-10-25 Matsushita Electric Ind Co Ltd カメラ位置推定システムおよびカメラ位置推定方法
US7444354B2 (en) * 2001-09-14 2008-10-28 Fujifilm Corporation Method and apparatus for storing images, method and apparatus for instructing image filing, image storing system, method and apparatus for image evaluation, and programs therefor
US20060187228A1 (en) * 2005-01-31 2006-08-24 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Sharing including peripheral shared image device
US8296442B2 (en) * 2009-11-18 2012-10-23 Motorola Solutions, Inc. Method and apparatus for minimizing bandwidth usage between a communication server and media device
US9210300B2 (en) 2011-12-19 2015-12-08 Nec Corporation Time synchronization information computation device for synchronizing a plurality of videos, time synchronization information computation method for synchronizing a plurality of videos and time synchronization information computation program for synchronizing a plurality of videos
JPWO2015186447A1 (ja) * 2014-06-03 2017-04-20 ソニー株式会社 情報処理装置、撮影装置、画像共有システム、情報処理方法およびプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005010959A (ja) * 2003-06-17 2005-01-13 Nec Corp 移動体通信端末装置、娯楽情報鑑賞システム及び娯楽情報提供方法
JP2009171491A (ja) * 2008-01-21 2009-07-30 Panasonic Corp 画像送信装置
JP2010109783A (ja) * 2008-10-31 2010-05-13 Casio Computer Co Ltd 電子カメラ
JP5271693B2 (ja) * 2008-12-25 2013-08-21 Kddi株式会社 グループ識別子生成システム、識別サーバ、グループ識別子生成方法、アプリケーションサービスシステム及びコンピュータプログラム
JP2010154377A (ja) * 2008-12-26 2010-07-08 Hitachi Ltd コンテンツ共有システムおよびコンテンツ共有方法
JP2011024196A (ja) * 2009-06-18 2011-02-03 Panasonic Corp 画像選択装置、画像選択方法、及び画像選択システム
JP2012216885A (ja) * 2011-03-31 2012-11-08 Nikon Corp 撮像装置及び画像共有システム
JP2012235282A (ja) * 2011-04-28 2012-11-29 Jvc Kenwood Corp 撮像装置、撮像データ共有システム、及びプログラム
JP2013045302A (ja) * 2011-08-24 2013-03-04 Dainippon Printing Co Ltd 通信端末装置、サーバ装置及びプログラム
WO2013047071A1 (ja) * 2011-09-27 2013-04-04 Necカシオモバイルコミュニケーションズ株式会社 コンテンツ共有システム
JP2013211742A (ja) * 2012-03-30 2013-10-10 Jvc Kenwood Corp 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020030816A (ja) * 2018-08-23 2020-02-27 エヌエイチエヌ コーポレーション ユーザ端末から受信されるイメージを他のユーザ端末に共有するための装置および方法

Also Published As

Publication number Publication date
US10356183B2 (en) 2019-07-16
JP2015226321A (ja) 2015-12-14
US20190289081A1 (en) 2019-09-19
JP6436398B2 (ja) 2018-12-12
US10862977B2 (en) 2020-12-08
US20170048334A1 (en) 2017-02-16
JP5979396B2 (ja) 2016-08-24

Similar Documents

Publication Publication Date Title
JP6436398B2 (ja) 画像撮影方法
US11785458B2 (en) Security and public safety application for a mobile device
US10063920B2 (en) Method and apparatus for generating media content
US9883370B2 (en) Security and public safety application for a mobile device with enhanced incident reporting capabilities
JP6419201B2 (ja) ビデオ再生のための方法および装置
US9083937B1 (en) Cameras and image processing methods for respecting recording restrictions
GB2495699A (en) Sending activity information and location information from at least one mobile device to identify points of interest
US20150139601A1 (en) Method, apparatus, and computer program product for automatic remix and summary creation using crowd-sourced intelligence
US9113068B1 (en) Facilitating coordinated media and/or information capturing and aggregation
TWI519167B (zh) 運用後設資料來進行目標辨識與事件重現之系統
JP6650936B2 (ja) カメラ制御および画像ストリーミング
US9430673B1 (en) Subject notification and consent for captured images
US20150208000A1 (en) Personalized media remix
JP2023537213A (ja) ビデオ共有、取得方法、サーバー、端末機器及び媒体
US9171181B2 (en) Systems and methods for enhanced mobile photography
WO2016192467A1 (zh) 一种播放视频的方法及装置
JP4206488B2 (ja) 画像処理装置、撮影システム、画像処理方法、画像処理プログラム、および、記録媒体
JP4206489B2 (ja) 撮影可否判定装置、撮影システム、撮影可否判定方法、撮影可否判定プログラム、および、記録媒体
WO2015182034A1 (ja) 画像撮影方法、画像撮影システム、サーバ、画像撮影装置及び画像撮影プログラム
US11240634B1 (en) Systems and methods for initiating a secure media session between mobile computing devices during image capture
JP6332718B1 (ja) 遠隔地のリアルタイム撮影をコントロールするための方法及びプログラム製品
US9118798B2 (en) Method for processing a multimedia stream, corresponding communications terminal, server and computer program product
GB2563087A (en) Methods, systems and devices for image acquisition
JP6429531B2 (ja) 画像共有システム及び画像共有方法
US9621746B2 (en) Information processing apparatus, information management apparatus, control methods thereof, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181101

R151 Written notification of patent or utility model registration

Ref document number: 6436398

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151