JP2011199750A - 撮像端末、外部端末、撮像システム、及び撮像方法 - Google Patents

撮像端末、外部端末、撮像システム、及び撮像方法 Download PDF

Info

Publication number
JP2011199750A
JP2011199750A JP2010066494A JP2010066494A JP2011199750A JP 2011199750 A JP2011199750 A JP 2011199750A JP 2010066494 A JP2010066494 A JP 2010066494A JP 2010066494 A JP2010066494 A JP 2010066494A JP 2011199750 A JP2011199750 A JP 2011199750A
Authority
JP
Japan
Prior art keywords
subject
terminal
imaging
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010066494A
Other languages
English (en)
Inventor
Akihiko Sakamoto
顕彦 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010066494A priority Critical patent/JP2011199750A/ja
Priority to US13/069,082 priority patent/US20110234817A1/en
Publication of JP2011199750A publication Critical patent/JP2011199750A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/53Determining attitude
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

【課題】より良い構図での撮影を支援する撮像端末、外部端末、撮像システム、及び撮像方法を提供する。
【解決手段】演算部205は、自端末の位置に基づいて選択された被写体の位置と、自端末の位置及び撮像方向とに基づいて被写体と自端末との相対的な位置関係を演算する。表示部201は、演算部205が演算した結果に基づいて、自端末の位置又は撮像方向の修正を指示する表示を行う。このように、被写体と自端末との相対的な位置関係に基づいて、自端末の位置又は撮像方向の修正を指示することによって、より良い構図での撮影を支援することができる。
【選択図】図2

Description

本発明は、カメラの構図決定の支援を行うための情報を提供する撮像端末、外部端末、撮像システム、及び撮像方法に関する。
良い構図で撮影するための技術として、特許文献1や特許文献2に示される技術が開示されている。
特許文献1は、GPS(グローバルポジショニングシステム)により測位した自端末の位置情報を元に、その場所で推奨とされる構図データを自端末内の推奨構図記録手段から検索し、カメラのリアルタイム映像に重畳して表示する技術である。この技術を利用することで、構図データが存在する地点での撮影においては、技量に関わらず良い構図で写真撮影が行えるようになる。
特許文献2は、GPSにより測位した自端末の位置情報や現在の日時情報等の撮影条件情報を元に、その撮影条件情報に基づいたサンプル画像を、専用のデータベースから取得して表示する技術である。この技術を利用すれば、構図を決定するためのサンプル画像を時間・場所問わず必要な時に取得して、構図決定の参考にすることができる。
特開2002−10114号公報 特開2007−27945号公報
上記特許文献1,2で開示されている技術を利用することにより、過去に撮影した時の構図と同様な構図での撮影が可能である。しかしながら、過去に撮影した時の構図とは異なる構図で、さらに良い構図があるような場合であっても、特許文献1,2で開示されている技術では、そのような構図での撮影チャンスを逃してしまう可能性がある。
本発明は、上述した課題に鑑みてなされたものであって、より良い構図での撮影を支援する撮像端末、外部端末、撮像システム、及び撮像方法を提供することを目的とする。
本発明は、上記の課題を解決するためになされたもので、自端末の位置に基づいて選択された被写体の位置と、前記自端末の位置及び撮像方向とに基づいて前記被写体と前記自端末との相対的な位置関係を演算した結果を示す演算結果情報を外部端末から受信する受信部と、前記演算結果情報に基づいて、前記自端末の位置又は撮像方向の修正を指示する指示部と、を有する撮像端末である。
また、本発明は、自端末の位置に基づいて選択された被写体の位置と、前記自端末の位置及び撮像方向とに基づいて前記被写体と前記自端末との相対的な位置関係を演算する演算部と、前記演算部が演算した結果に基づいて、前記自端末の位置又は撮像方向の修正を指示する指示部と、を有する撮像端末である。
また、本発明の撮像端末は、前記自端末の位置及び撮像方向を検知するセンサを有し、該センサから前記自端末の位置及び撮像方向を取得する自端末情報取得部と、前記自端末の位置及び撮像方向の情報を外部端末に送信する送信部と、を更に有する。
また、本発明の撮像端末は、前記自端末の位置及び撮像方向を検知するセンサを有し、該センサから前記自端末の位置及び撮像方向を取得する自端末情報取得部を更に有する。
また、本発明の撮像端末は、前記自端末の位置及び撮像方向の情報を外部端末から受信する受信部を更に有する。
また、本発明の撮像端末は、被写体ごとの位置を含む被写体情報を外部端末から受信する受信部と、前記自端末の位置と、前記被写体情報に含まれる被写体の位置とに基づいて被写体を選択する選択部と、を更に有する。
また、本発明の撮像端末は、被写体ごとの位置を含む被写体情報から、前記自端末の位置と、前記被写体情報に含まれる被写体の位置とに基づいて選択された被写体の位置を含む情報を外部端末から受信する受信部を更に有する。
また、本発明の撮像端末は、前記自端末の位置を含む情報を外部端末へ送信する送信部を更に有する。
また、本発明の撮像端末は、被写体ごとの位置を含む被写体情報を記憶する記憶部と、前記被写体情報から、前記自端末の位置と、前記被写体情報に含まれる被写体の位置とに基づいて被写体を選択する選択部と、を更に有する。
また、本発明の撮像端末において、前記指示部は、表示、音声、振動、重量の変化のいずれかにより前記自端末の位置又は撮像方向の修正を指示する。
また、本発明の撮像端末は、前記指示部による指示に基づいて前記自端末の位置又は撮像方向を修正する駆動機構を有する修正部を更に有する。
また、本発明の撮像端末において、前記被写体の位置及び前記自端末の位置は三次元位置であり、前記撮像方向は三次元空間内の方向である。
また、本発明の撮像端末において、前記演算部は、前記自端末の位置に基づいて選択された被写体の位置と、該位置に該被写体が存在する時刻と、前記自端末の位置及び撮像方向とに基づいて、所定の時刻における前記被写体と前記自端末との相対的な位置関係を演算する。
また、本発明の撮像端末は、前記所定の時刻を設定する設定部を更に有する。
また、本発明の撮像端末において、前記自端末情報取得部は更に、撮像部の状態から撮像画角を検知し、前記演算部は更に、前記演算結果情報に基づいて、前記被写体が前記撮像画角の外にあるか内にあるかを判定する。
また、本発明の撮像端末において、前記修正部は、前記被写体が前記撮像画角の外にある場合にのみ、前記自端末の位置又は撮像方向の修正を指示する。
また、本発明は、前記自端末の位置及び撮像方向を検知するセンサを有し、該センサから前記自端末の位置及び撮像方向を取得する自端末情報取得部と、前記自端末の位置に基づいて選択された被写体の位置と、前記自端末の位置及び撮像方向とに基づいて前記被写体と前記自端末との相対的な位置関係を演算する演算部と、前記演算部が演算した結果を示す演算結果情報を前記撮像端末へ送信する送信部と、を有する外部端末である。
また、本発明は、自端末の位置及び撮像方向の情報を前記撮像端末から受信する受信部と、前記自端末の位置に基づいて選択された被写体の位置と、前記自端末の位置及び撮像方向とに基づいて前記被写体と前記自端末との相対的な位置関係を演算する演算部と、前記演算部が演算した結果を示す演算結果情報を前記撮像端末へ送信する送信部と、を有する外部端末である。
また、本発明は、前記自端末の位置及び撮像方向を検知するセンサを有し、該センサから前記自端末の位置及び撮像方向を取得する自端末情報取得部と、前記自端末の位置及び撮像方向の情報を前記撮像端末へ送信する送信部と、を有する外部端末である。
また、本発明は、被写体ごとの位置を含む被写体情報を記憶する記憶部と、前記被写体情報を前記撮像端末へ送信する送信部と、を有する外部端末である。
また、本発明は、被写体ごとの位置を含む被写体情報を記憶する記憶部と、前記被写体情報から、前記自端末の位置と、前記被写体情報に含まれる被写体の位置とに基づいて被写体を選択する選択部と、選択された被写体の位置を含む情報を前記撮像端末へ送信する送信部と、を有する外部端末である。
また、本発明は、被写体ごとの位置を含む被写体情報を記憶する記憶部と、自端末の位置を含む情報を前記撮像端末から受信する受信部と、前記被写体情報から、前記自端末の位置と、前記被写体情報に含まれる被写体の位置とに基づいて被写体を選択する選択部と、選択された被写体の位置を含む情報を前記撮像端末へ送信する送信部と、を有する外部端末である。
また、本発明は、前記撮像端末と、前記外部端末とを有する撮像システムである。
また、本発明は、自端末の位置及び撮像方向を検知するセンサを有する自端末情報取得部が前記センサから前記自端末の位置及び撮像方向を取得するステップと、選択部が、被写体ごとの位置を含む被写体情報から、前記自端末の位置と、前記被写体情報に含まれる被写体の位置とに基づいて被写体を選択するステップと、演算部が、選択された被写体の位置と、前記自端末の位置及び撮像方向とに基づいて前記被写体と前記自端末との相対的な位置関係を演算するステップと、前記演算部が演算した結果に基づいて、修正部が前記自端末の位置又は撮像方向の修正を指示するステップと、を有する撮像方法である。
本発明によれば、被写体と自端末との相対的な位置関係に基づいて、前記自端末の位置又は撮像方向の修正を指示することによって、より良い構図での撮影を支援することができる。
本発明の第1の実施形態による撮像システムの概要を説明するための説明図である。 本発明の第1の実施形態による撮像装置の構成を示すブロック図である。 本発明の第1の実施形態における撮像装置の動作を示すフローチャートである。 本発明の第1の実施形態における撮像状態変更情報通知処理を示すフローチャートである。 本発明の第1の実施形態における被写体リストを示す参考図である。 本発明の第2の実施形態による撮像システムの概要を説明するための説明図である。 本発明の第2の実施形態による撮像装置の構成を示すブロック図である。 本発明の第2の実施形態による撮影支援装置の構成を示すブロック図である。 本発明の第2の実施形態による撮像装置の動作を示すフローチャートである。 本発明の第2の実施形態による撮影支援装置の動作を示すフローチャートである。 本発明の第2の実施形態における被写体リストを示す参考図である。 本発明の第2の実施形態における被写体情報取得処理を示すフローチャートである。 本発明の第2の実施形態における被写体位置予測情報演算処理を示すフローチャートである。 本発明の実施形態の変形例における撮像装置の構成を示すブロック図である。 本発明の実施形態の変形例における撮影支援装置の構成を示すブロック図である。 本発明の実施形態の変形例における撮像システムの構成を示す構成図である。 本発明の実施形態の変形例における自動調整の様子を示す参考図である。 本発明の実施形態の変形例における撮像装置の構成を示すブロック図である。
以下、図面を参照し、本発明の実施形態を説明する。
(第1の実施形態)
まず、本発明の第1の実施形態を説明する。図1は、第1の実施形態による撮像の様子を示している。第1の実施形態における撮像システムは、リアルタイム映像の範囲内に存在しない被写体をリアルタイム映像の範囲内に表示させるための支援を行うシステムの一例である。なお、第1の実施形態において「リアルタイム映像」とは、撮像部で撮像された映像であって、順次表示部に表示される映像(動画像)のことをいう。
図1に示す例は、ユーザ100が撮像装置101を利用してリアルタイム映像102を取得し、取得したリアルタイム映像102の範囲内に被写体103が存在するかどうかの判定を撮像装置101で行い、リアルタイム映像102の範囲内に被写体103が存在しない場合には、被写体103が存在する方向をリアルタイム映像102に重畳して通知を行う様子を示している。
被写体103は、第1の実施形態では山であるが、位置が演算可能な対象物であればよく、山に限定されるものではない。図1(a)に示す例は、撮像装置101により取得したリアルタイム映像102の範囲内に被写体103が存在しない場合において、被写体103が存在する方向を示す矢印104をリアルタイム映像102に重畳表示して、ユーザ100に通知している様子を示している。
図1(b)に示す例は、撮像装置101により取得したリアルタイム映像102の範囲内に被写体103が存在する場合におけるリアルタイム映像102の様子を示している。なお、被写体が存在する方向の通知方法として、図1(a)では矢印の表示により通知を行っているが、通知方法は矢印の表示のみに限定されるものではなく、例えばLEDの点滅による通知や、LEDの色の変化による通知、音声ガイダンスによる通知、重量の変化による通知、振動による通知、文字や記号による通知等、この他にも様々な通知方法が挙げられる。
図2は、第1の実施形態による撮像装置101の構成を示している。図2を基に撮像装置101の構成を説明する。図2に示す撮像装置101は、撮像部200と、表示部201と、ユーザインタフェース部202と、自端末情報取得部203と、被写体情報取得部204と、演算部205と、処理部206と、記録部207とを備える。
撮像部200は、被写体を撮像し、リアルタイム映像の取得を行う。表示部201は、撮像部200により取得したリアルタイム映像を表示し、リアルタイム映像内に被写体が存在しない場合には被写体が存在する方向を通知する。ユーザインタフェース部202は、被写体の選択や被写体の存在する方向の通知開始命令等のユーザ入力を受け付ける。
自端末情報取得部203は、撮像装置101の位置情報、撮像装置101が向いている方位を示す方位情報、撮像装置101の仰俯角情報、及び撮像装置101の画角情報を取得する。より具体的には、自端末情報取得部203は、例えばGPSセンサを備えており、GPSセンサから撮像装置101の位置情報を取得する。また、自端末情報取得部203は、例えば方位センサ(地磁気センサ)を備えており、方位センサから方位情報を取得する。また、自端末情報取得部203は、例えば加速度センサを備えており、加速度センサから仰俯角情報を取得する。また、自端末情報取得部203は、撮像部200におけるレンズの状態を検出し、画角情報を取得する。なお、撮像装置101の位置情報及び方位情報に関しては、撮像装置101の外部に配置されたGPSセンサや方位センサ等から取得することも可能である。
被写体情報取得部204は、被写体の位置情報を取得する。演算部205は、自端末情報取得部203及び被写体情報取得部204からの情報に基づいて、被写体を撮影するために必要とされる自端末の位置の変化や撮像方向の変更に関する情報を演算し、演算結果を処理部206へ出力する。処理部206は、演算部205からの情報に基づいて、被写体の存在する方向を通知する制御を行う。記録部207は、被写体の情報をリスト化した被写体リスト、ユーザによって選択された被写体を特定する被写体特定情報、及びリアルタイム映像等を記録する。なお、表示部201は処理部206の一つである。
図3は、第1の実施形態における撮像装置101の動作を示している。以下、図3を基に第1の実施形態における撮像装置101の動作を説明する。
撮像装置101は、被写体位置通知命令が発行されると、被写体位置通知動作を開始する(ステップS300)。なお、第1の実施形態においては、ユーザインタフェース部202を利用したユーザによる通知開始の選択、或いは撮像装置101の電源の投入により被写体位置通知命令が発行されるものとするが、被写体位置通知命令が発行される条件はこれらに限定されるものではなく、撮像装置101に特定の衝撃を与えることや、特定の画像の認識により発行される構成でもよく、この他にも様々な手段が考えられる。
処理部206は、被写体位置通知命令を受け付けると、自端末情報取得部203から撮像装置101の位置情報を取得し(ステップS301)、取得した撮像装置101の位置情報を被写体情報取得部204に通知する。被写体情報取得部204は、取得した撮像装置101の位置情報が示す位置で撮影が行える被写体の候補を、記録部207に保存されている被写体リストから取得して、処理部206に通知する。例えば、撮像装置101の位置から所定距離内に存在する被写体の候補が被写体リストから取得される。処理部206は、取得した被写体の候補を表示部201に表示する(ステップS302)。
図5は、第1の実施形態における被写体リストの一例を示している。図5に示すように、被写体リストでは、既知の被写体の各種情報(サムネイル、カテゴリ、名称、経度、緯度、高度の情報)が関連付けられている。なお、被写体リストには他のユーザにより撮影された写真や、写真のタグ情報等を関連付けても良く、関連付けられている情報は図5に示す情報に限定されるものではない。
処理部206は、ユーザインタフェース部202がユーザ入力を受け付け、被写体が決定されると、選択された被写体を特定する被写体特定情報を記録部207に保存する(ステップS303)。なお、被写体特定情報は、被写体の位置情報や被写体の名称など、被写体を特定できる情報であれば何でも良い。
処理部206は、被写体特定情報の保存後、自端末の位置又は撮像方向の変更を指示する自端末撮像状態変更情報を取得するために、演算部205に対して撮像状態演算命令を発行する。演算部205は撮像状態演算命令を受け付けると、被写体の存在する方向を演算し、撮像状態変更情報を処理部206へ発行する。ここで発行される撮影状態変更情報は、被写体がリアルタイム映像の表示範囲内に存在する場合には、被写体の存在する方向を示す情報を含まず、存在しない場合には、被写体の存在する方向を示す情報を含むものとする。処理部206は、演算部205から撮像状態変更情報を取得した後、撮像状態変更情報に応じて表示部201に矢印等を表示することにより、被写体の存在する方向の通知を行う(ステップS304)。これにより、ユーザに対して、撮像装置101の位置や撮像方向の変更を促すことができる。なお、ステップS304で示されている、撮像状態変更情報通知処理の詳細に関しては後述する。
処理部206は、撮像状態変更情報の通知後、被写体変更命令が発行されているかどうかを判定する。被写体変更命令が発行されている場合は処理がステップS301へ移行し、被写体の選択から再度同じ処理を行う。被写体変更命令が発行されていない場合はステップS306へ処理が移行する(ステップS305)。なお、第1の実施形態においては、ユーザインタフェース部202を利用した、ユーザによる被写体変更の選択を被写体変更命令とする。
処理部206は、被写体変更命令が発行されていない場合は、続いて通知終了命令がユーザインタフェース部202から発行されているかどうかを判定する。通知終了命令が発行されている場合は被写体の位置情報の通知が終了し、発行されていない場合は再度ステップS304へ処理が移行する(ステップS306)。
なお、第1の実施形態においては、ユーザインタフェース部202を利用した、ユーザによる通知終了の選択、或いは撮像装置101の電源の切断により通知終了命令が発行されるものとするが、通知終了命令が発行される条件はこれらに限定されるものではなく、撮像装置101に特定の衝撃を与えることや、特定の画像の認識により発行される構成でもよく、この他にも様々な手段が考えられる。
図4は、ステップS304に示す撮像状態変更情報通知処理の詳細を示している。 演算部205は、処理部206から撮像状態演算命令を受け付けると、被写体情報取得部204に対して、被写体情報を要求する被写体要求命令を発行する。被写体情報取得部204は、被写体要求命令を受け付けると、記録部207に記録してある被写体特定情報が示す被写体と一致する被写体を、記録部207に保存してある被写体リストから検索し、検索した被写体の位置情報を被写体リストから取得し、演算部205に通知する(ステップS400)。なお、第1の実施形態においては、被写体の存在する緯度、経度、高度を被写体の位置情報とする。
演算部205は、被写体の位置情報を取得した後、自端末情報取得部203から撮像装置101の自端末情報を取得する(ステップS401)。なお、第1の実施形態においては、撮像装置101の存在する緯度、経度、高度、及び撮像装置101の仰俯角、方位、画角を撮像装置101の自端末情報とする。
演算部205は、撮像装置101の位置情報を取得した後、撮像装置101と被写体の緯度と経度に基づいて、撮像装置101の位置を原点とした時の、被写体までの距離と被写体の存在する方位を演算する(ステップS402)。演算部205は、更に撮像装置101と被写体の高度、及び撮像装置101から被写体までの距離に基づいて、撮像装置101の位置を原点とした時の、被写体の仰俯角を演算する(ステップS403)。
演算部205は、撮像装置101の位置を原点とした時の、被写体の存在する方位と仰俯角を演算した後、撮像装置101の仰俯角、方位、及び画角から、撮像装置101が取得するリアルタイム映像の表示範囲を演算し(ステップS404)、被写体がリアルタイム映像の表示範囲内に存在するかどうかを判定する(ステップS405)。
演算部205は、被写体がリアルタイム映像の表示範囲内に存在する場合には、処理部206に対し、被写体の存在する方向を示す情報を含まない撮像状態変更情報を発行し、撮像状態変更情報通知処理を終了する。演算部205は、被写体がリアルタイム映像の表示範囲内に存在しない場合には、リアルタイム映像の表示範囲と、撮像装置101の位置を原点とした時に被写体が存在する仰俯角、方位とに基づいて、被写体の存在する方向を演算する(ステップS406)。
演算部205は、被写体の存在する方向を演算した後、被写体の存在する方向を示す情報を含む撮像状態変更情報を処理部206に発行する。処理部206は、受け付けた撮像状態変更情報に基づいて、被写体の存在する方向を、撮像装置101が取得したリアルタイム映像に重畳して表示部701に表示し、撮像状態変更情報通知処理を終了する(ステップS407)。
このように、撮像装置101を利用することにより、どのような状況においても所定の被写体の位置を特定することができる。そして、被写体がリアルタイム映像の表示範囲内に存在しない場合に、被写体の存在する方向を通知することによって、ユーザが被写体をリアルタイム映像の範囲内に容易におさめることが可能となる。
また、撮像装置101の位置、仰俯角、方位、及び画角を含む自端末情報と、被写体の位置を含む被写体情報とを利用して演算された、被写体を撮像するために必要な撮像装置101の位置又は撮像方向の変更に関する情報を、表示等の様々な方法で出力することで、被写体の位置情報を通知することができる。よって、より良い構図での撮影を支援することができる。
また、撮像装置101及び被写体の位置として三次元位置を利用することで、撮像装置101の仰俯角に関する演算も行うことができるため、被写体が存在する方向を三次元で表現することができる。
また、撮像装置101の画角を利用して、被写体がリアルタイム映像の範囲内に存在するかどうかの判定が行えるようになるため、被写体がリアルタイム映像の範囲内に存在しない場合にのみ、被写体が存在する方向を通知することができ、撮像装置101の処理の負荷が低減される。
また、撮像装置101は、被写体を撮像するために必要な自端末情報の取得から被写体が存在する方向の演算までを全て自端末で行うことができるため、一部の処理を他の装置で行う場合と比較して、別筐体間のデータの受け渡しのタイムラグを無くすことができる。
(第2の実施形態)
次に、本発明の第2の実施形態を説明する。図6は、第2の実施形態による撮像の様子を示している。第2の実施形態による撮像システムは、所定の時刻に被写体が存在する位置を予測して、リアルタイム映像に重畳して表示することで、仕掛け撮りのように所定の時刻の被写体の位置を予測して構図決定を行う際の支援を行うシステムの一例である。
図6に示す例は、撮影支援装置602を付帯したユーザ600が、撮像装置601を利用してリアルタイム映像603を取得し、撮影支援装置602から送信される、所定の時刻604に被写体候補605a,605b,605cが存在する位置を示す位置情報をリアルタイム映像に重畳して表示を行う様子を示している。第2の実施形態では、被写体606を指定して、被写体606がリアルタイム映像603の範囲内に存在する時刻と位置を予測し、それらの情報を重畳して表示を行うことも可能である。また、第2の実施形態では、リアルタイム映像603の範囲内に近未来に存在する被写体607a,607b,607cを予測して、それらの被写体が範囲内に存在する時刻と位置をリアルタイム映像603に重畳して表示することも可能である。
撮影支援装置602は、無線通信が可能な通信端末であり、ユーザ600に携帯されているものとする。なお、第2の実施形態においては、撮影支援装置602は携帯電話とするが、無線通信が可能な通信端末であればよく、特に携帯電話のみに限定されるものではない。
被写体候補605a,605b,605cは、所定の時刻604における位置が予測できる被写体の候補であり、第2の実施の形態においてはそれぞれ、太陽、飛行機、電車とする。これらの被写体候補は、所定の時刻の位置が予測できる被写体であればよく、特に上記の各被写体のみに限定されるものではない。
被写体606は、所定の時刻の位置が予測できる被写体であり、第2の実施形態においては太陽とするが、所定の時刻の位置が予測できる被写体であればよく、特に太陽のみに限定されるものではない。
被写体607a,607b,607cは、近未来にリアルタイム映像603の範囲内に存在するとされる被写体であり、第2の実施形態においてはそれぞれ、太陽、飛行機、電車とする。これらの被写体は、近未来にリアルタイム映像603の範囲内に存在するとされる被写体であればよく、特に上記の各被写体のみに限定されるものではない。
図6(a)に示す例は、撮影支援装置602を付帯したユーザ600が、撮像装置601を利用してリアルタイム映像603を取得している様子を示している。図6(b)に示す例は、所定の時刻604における被写体候補の位置情報を演算し、リアルタイム映像603の範囲内の被写体候補605a,605b,605cをリアルタイム映像603に重畳して表示している様子を示している。
図6(c)に示す例は、所定の被写体606がリアルタイム映像603の範囲内に存在する時刻と位置情報を演算し、リアルタイム映像603に重畳して表示している様子を示している。図6(d)に示す例は、近未来にリアルタイム映像603の範囲内に存在すると予測される被写体候補の、リアルタイム映像の範囲内に存在する時刻と位置情報を演算し、リアルタイム映像603に重畳して表示している様子を示している。図6(e)に示す例は、所定の被写体608が所定の時刻609に存在する位置情報を演算し、被写体608がリアルタイム映像603の範囲内に存在した場合にリアルタイム映像603に重畳して表示している様子を示している。
図7は、第2の実施形態による撮像装置601の構成を示している。図7を基に撮像装置601の構成を説明する。図7に示す撮像装置601は、撮像部700と、表示部701と、ユーザインタフェース部702と、設定部703と、処理部704と、記録部705と、自端末情報取得部706と、通信部707と、アンテナ708とを備える。
撮像部700は、被写体を撮像し、リアルタイム映像の取得を行う。表示部701は、撮像部700により取得したリアルタイム映像を表示すると共に、処理部704より出力される、所定の時刻にリアルタイム映像の範囲内に存在する被写体候補の位置、或いは特定の被写体がリアルタイム映像の範囲内に存在する位置と時間、或いは近未来にリアルタイム映像内に存在する被写体の位置と時刻を示す被写体位置予測情報を表示する。ユーザインタフェース部702は、被写体の位置予測の開始・終了等のユーザからの入力を受け付ける。
設定部703は、予測時刻や予測対象となる被写体を自動で設定する。処理部704は、撮影支援装置602から取得した被写体位置予測情報、及び設定部703により設定された時刻情報を表示部701へ出力する制御等を行う。記録部705はリアルタイム映像等を記録する。自端末情報取得部706は、撮像装置601の位置情報、撮像装置601が向いている方位を示す方位情報、撮像装置601の仰俯角情報、及び撮像装置601の画角情報を取得する。これらの情報の取得方法は第1の実施形態と同様である。通信部707は、撮影支援装置602を含む外部の通信装置と無線通信を行う。アンテナ708は無線通信のための電波の送受信を行う。
図8は、第2の実施形態による撮影支援装置602の構成を示している。本図を基に撮影支援装置602の構成を説明する。図8に示す撮影支援装置602は、被写体情報取得部800と、記録部801と、演算部802と、通信部803と、アンテナ804とを備える。
被写体情報取得部800は、所定の時刻における被写体の位置情報を演算するために必要とされる被写体情報を記録部801から取得する。記録部801は、被写体情報を含む被写体リストを記録する。演算部802は、撮像装置601から取得した、撮像装置601の位置、方位、仰俯角、画角を特定する自端末情報、及び被写体情報から、被写体位置予測情報を演算する。通信部803は、撮像装置601を含む外部の通信装置と無線通信を行う。アンテナ804は無線通信のための電波の送受信を行う。
図9は、第2の実施形態における撮像装置601の動作を示している。図9を基に撮像装置601の動作を説明する。
撮像装置601は、被写体の位置を予測する撮影支援動作を開始する命令である被写体位置予測開始命令が発行されると被写体位置予測動作を開始する(ステップS900)。なお、第2の実施形態においては、撮像装置601の電源の投入により、被写体位置予測命令が発行されるものとするが、被写体位置予測命令が発行される条件はこれらに限定されるものではなく、撮像装置101に特定の衝撃を与えることや、特定の画像の認識や、ユーザインタフェース部702を利用したユーザによる被写体位置予測の開始の選択により被写体位置予測命令が発行される構成でもよく、この他にも様々な手段が考えられる。
処理部704は、被写体位置予測命令が発行されると、自端末情報取得部706から自端末の位置情報を取得し(ステップS901)、通信部707及びアンテナ708を経由して撮影支援装置602へ位置情報を送信する(ステップS902)。処理部704は、撮影支援装置602へ位置情報を送信した後、撮像装置601の位置において撮影可能な被写体をリスト化した被写体候補リストを、撮影支援装置602から通信部707及びアンテナ708を経由して受信する(ステップS903)。処理部704は、被写体候補リストを取得すると、表示部701に被写体候補リストを表示する。
処理部704は、ユーザによりユーザインタフェース部702を利用して被写体が選択されると(ステップS904)、選択された被写体を特定する被写体特定情報を、通信部707及びアンテナ708を経由して撮影支援装置602へ送信する(ステップS905)。なお、第2の実施形態においては被写体を特定しない場合もあり、その場合には被写体を特定する情報を含まない被写体特定情報を撮影支援装置602へ送信する。
処理部704は、被写体特定情報を送信した後、ユーザによりユーザインタフェース部702を利用して、被写体が存在する位置を予測する時刻を特定する予測時刻設定情報の設定が行われると(ステップS906)、設定した予測時刻設定情報を、通信部707及びアンテナ708を経由して撮影支援装置602へ送信する(ステップS907)。なお、第2の実施形態においては予測時刻を設定しない場合もあり、その場合には予測時刻を特定する情報を含まない予測時刻設定情報を撮影支援装置602へ送信する。また、第2の実施形態においては、予測時刻はユーザインタフェース部702を利用してユーザにより設定されるものであるが、被写体に応じて自動で設定部703により予測時刻の設定が行われる構成でもよく、ユーザによる設定に限定されるものではない。
処理部704は、通信部707及びアンテナ708を経由して、撮影支援装置602から自端末情報送信命令を受信すると(ステップS908)、自端末情報取得部706から自端末情報を取得し(ステップS909)、通信部707及びアンテナ708を経由して撮影支援装置602へ自端末情報を送信する(ステップS910)。なお、第2の実施形態においては、撮像装置601の位置、仰俯角、方位、及び画角情報を自端末情報とする。
処理部704は、自端末情報を撮影支援装置602へ送信した後、予測時刻設定情報で特定される予測時刻において、被写体特定情報で特定される被写体が存在する位置を示す被写体位置予測情報を、撮影支援装置602から通信部707及びアンテナ708を経由して受信する(ステップS911)。処理部704は、被写体位置予測情報を受信した後、撮像装置601が取得したリアルタイム映像に被写体位置予測情報を重畳して表示部701に表示する(ステップS912)。被写体位置予測情報には所定の時刻における被写体のリアルタイム映像内での位置情報が含まれており、リアルタイム映像内に被写体が存在する場合には、この位置情報が示す映像内の位置に被写体(図6の被写体候補605a,605b,605c、被写体606、被写体607a,607b,607c)が表示される。
処理部704は、被写体位置予測情報を表示した後、予測する時刻を変更する命令である予測時刻変更命令が発行されているかどうかを判定する。予測時刻変更命令が発行されていた場合はステップS906に処理が移行し、予測時刻の設定から再度処理を行う(ステップS913)。
処理部704は、予測時刻変更命令が発行されていなかった場合には、位置予測を行う対象となる被写体を変更する被写体変更命令が発行されているかどうかを判定する。被写体変更命令が発行されていた場合にはステップS901に処理が移行し、撮像装置601の位置情報の取得から再度処理を行う(ステップS914)。
処理部704は、被写体変更命令が発行されていなかった場合には、被写体の位置を予測する撮影支援を終了する命令である被写体位置予測終了命令が発行されているかどうかを判定する。被写体位置予測終了命令が発行されていなかった場合はステップS909に処理が移行し、自端末情報の取得から再度処理を行う。処理部704は、被写体変更命令が発行されていた場合は被写体位置予測動作を終了する(ステップS915)。
なお、第2の実施形態では、撮像装置601の電源の切断により、被写体位置予測終了命令が発行されるものとするが、被写体位置予測命令が発行される条件はこれらに限定されるものではなく、撮像装置101に特定の衝撃を与えることや、特定の画像の認識や、ユーザインタフェース部702を利用したユーザによる被写体位置予測の終了の選択により発行される構成でもよく、この他にも様々な手段が考えられる。
図10は、第2の実施形態における撮影支援装置602の動作を示している。図10を基に撮影支援装置602の動作を説明する。
撮影支援装置602は、ステップS911で示す被写体位置予測情報を撮像装置601へ提供する動作を開始する命令である撮影支援開始命令を受け付けると、被写体位置予測情報の提供を開始する(ステップS1000)。なお、第2の実施形態においては、撮影支援装置602の電源の投入により撮影支援開始命令が発行されるものとするが、撮影支援開始命令が発行される条件はこれに限定されるものではなく、撮影支援装置602に特定の衝撃を与えることや、撮像装置601からの特定の情報の受信により撮影支援開始命令が発行される構成でもよく、この他にも様々な手段が考えられる。
演算部802は、撮影支援開始命令を受け付けた撮影支援装置602が動作を開始すると、通信部803及びアンテナ804を経由して、撮像装置601から送信される撮像装置601の位置情報を受信する(ステップS1001)。演算部802は、撮像装置601の位置情報に基づいて、撮像装置601の付近に存在する被写体の候補を、記録部801に保存されている被写体リストから検索する(ステップS1002)。この検索により、例えば撮像装置601の位置から所定距離内に存在する被写体の候補が被写体リストから抽出される。演算部802は、検索により抽出した被写体候補のリストである被写体候補リストを、通信部803及びアンテナ804を経由して撮像装置601へ送信する(ステップS1003)。
図11は、第2の実施形態における被写体リストの一例を示している。図11に示すように、被写体リストは、まずカテゴリに分類され、更にカテゴリ内で固有の被写体に分類されており、各被写体に対して所定の時刻における被写体の位置を予測するための被写体情報(移動経路や、軌道、経由地の時刻等の情報)が関連付けられているものとするが、被写体リストはこれに限定されるものではない。
演算部802は、被写体候補リストを撮像装置601へ送信した後、撮像装置601から通信部803及びアンテナ804を経由して、選択された被写体を特定する被写体特定情報を受信する(ステップS1004)。演算部802は、被写体特定情報を取得した後、通信部803及びアンテナ804を経由して、撮像装置601から設定された予測時刻設定情報を受信する(ステップS1005)。
演算部802は、予測時刻設定情報を取得した後、被写体特定情報と、予測時刻設定情報と、被写体候補リストの各情報とに応じて、被写体情報を取得する(ステップS1006)。なお、ステップS1006の処理に関しては後述する。
演算部802は、被写体情報を取得した後、撮像装置601から自端末情報を取得するための命令である自端末情報送信命令を、通信部803及びアンテナ804を経由して撮像装置601へ送信し(ステップS1007)、撮像装置601から送信される自端末情報を受信する(ステップS1008)。
演算部802は、自端末情報を取得した後、自端末情報と、被写体情報と、予測時刻設定情報の各情報とを利用して、被写体位置予測情報を演算する(ステップS1009)。なお、ステップS1009に示す被写体位置予測情報演算処理に関しては後述する。演算部802は、演算した被写体位置予測情報を、通信部803及びアンテナ804を経由して撮像装置601へ送信する(ステップS1010)。
演算部802は、被写体位置予測情報を撮像装置601へ送信した後、撮像装置601から、被写体の位置を予測する時刻を変更する命令である予測時刻変更通知を受信したかどうかを判定する。演算部802は、予測時刻変更通知を受信していた場合はステップS1005に示す予測時刻設定情報の受信から再度処理を行う(ステップS1011)。
演算部802は、予測時刻変更通知を受信していなかった場合は、撮像装置601から、位置の予測を行う対象である被写体を変更する命令である被写体変更通知を受信したかどうかを判定する。演算部802は、被写体変更通知を受信していた場合はステップS1001に示す撮像装置601の位置情報の取得から再度処理を行う(ステップS1012)。
演算部802は、被写体変更通知を受信していなかった場合は、被写体位置予測情報を撮像装置601へ提供する動作を終了する命令である撮影支援終了命令が発行されたかどうかを判定する。演算部802は、撮影支援終了命令が発行されていなかった場合はステップS1008に示す撮像装置の自端末情報の取得から再度処理を行う。演算部802は、撮影支援終了命令が発行されていた場合は被写体位置予測情報の提供を終了する(ステップS1013)。
なお、第2の実施形態においては、撮影支援装置602の電源の切断により撮影支援終了命令が発行されるものとするが、撮影支援終了命令が発行される条件はこれに限定されるものではなく、撮像装置601に特定の衝撃を与えることや、撮像装置601からの特定の情報の受信により前記撮影支援終了命令が発行される構成でもよく、この他にも様々な手段が考えられる。
図12は、ステップS1006に示す被写体情報取得処理の詳細を示している。演算部802は、撮像装置601から受信した被写体特定情報に被写体を特定する情報が含まれているかどうかを判定する(ステップS1200)。演算部802は、被写体を特定する情報が含まれていれば、特定された被写体の被写体情報を取得し(ステップS1201)、被写体を特定する情報が含まれていなければ、被写体候補リストの全被写体の被写体情報を取得する(ステップS1202)。
図13は、ステップS1009に示す被写体位置予測情報演算処理の詳細を示している。演算部802は、撮像装置601から受信した被写体特定情報に被写体を特定する情報が含まれているかどうかを判定する。演算部802は、被写体を特定する情報が含まれていればステップS1301に示す処理へ移行し、被写体を特定する情報が含まれていなければステップS1304に示す処理へ移行する(ステップS1300)。
演算部802は、ステップS1300において、被写体特定情報に被写体を特定する情報が含まれていると判定された場合、撮像装置601から受信した予測時刻設定情報に予測時刻を特定する情報が含まれているかどうかを判定する(ステップS1301)。演算部802は、予測時刻を特定する情報が含まれていれば、所定の被写体が所定の時刻に存在する位置情報の演算を行い、所定の時刻にリアルタイム映像内に存在する被写体の位置情報を記録部801に記録する(ステップS1302)。
より具体的には、演算部802は、ステップS1201で取得した被写体情報に基づいて、予測時刻における被写体の位置情報の演算を行う。また、予測時刻における被写体の位置情報に基づいて、第1の実施形態におけるステップS402〜S404と同様の演算を行う。更に、撮像装置601の撮像方向に対するリアルタイム映像の表示範囲と、撮像装置601の位置を原点とした時に被写体が存在する仰俯角、方位とに基づいて、リアルタイム映像上の被写体の位置を演算し、予測時刻における被写体のリアルタイム映像内での位置情報を含む被写体位置予測情報を生成する。なお、ステップS1302で演算される情報は図6(e)で示される情報に対応する。
演算部802は、ステップS1301において、予測時刻を特定する情報が含まれていなければ、所定の被写体がリアルタイム映像の範囲内に存在する時刻及び位置情報の演算を行い、リアルタイム映像内に存在する被写体の位置情報と存在する時刻情報を記録部801に記録する(ステップS1303)。
より具体的には、演算部802は、ステップS1201で取得した被写体情報に基づいて、複数の時刻における被写体の位置情報の演算を行う。また、各時刻における被写体の位置情報に基づいて、第1の実施形態におけるステップS402〜S404と同様の演算を行う。更に、撮像装置601の撮像方向に対するリアルタイム映像の表示範囲と、撮像装置601の位置を原点とした時に各時刻において被写体が存在する仰俯角、方位とに基づいて、各時刻におけるリアルタイム映像上の被写体の位置を演算し、各時刻における被写体のリアルタイム映像内での位置情報を含む被写体位置予測情報を生成する。なお、ステップS1303で演算される情報は図6(c)で示される情報に対応する。
演算部802は、ステップS1300において、被写体特定情報に被写体を特定する情報が含まれていないと判定された場合、撮像装置601から受信した予測時刻設定情報に予測時刻を特定する情報が含まれているかどうかを判定する(ステップS1304)。演算部802は、予測時刻設定情報に予測時刻を特定する情報が含まれていれば、被写体候補リストの被写体が所定の時刻に存在する位置情報を演算し、所定の時刻にリアルタイム映像内に存在する被写体の位置情報を記録部801に記録する(ステップS1305)。
より具体的には、演算部802は、ステップS1202で取得した被写体情報に基づいて、予測時刻における各被写体の位置情報の演算を行う。また、予測時刻における各被写体の位置情報に基づいて、第1の実施形態におけるステップS402〜S404と同様の演算を行う。更に、撮像装置601の撮像方向に対するリアルタイム映像の表示範囲と、撮像装置601の位置を原点とした時に各被写体が存在する仰俯角、方位とに基づいて、リアルタイム映像上の各被写体の位置を演算し、予測時刻における各被写体のリアルタイム映像内での位置情報を含む被写体位置予測情報を生成する。なお、ステップS1305で演算される情報は図6(b)で示される情報に対応する。
演算部802は、ステップS1304において、予測時刻設定情報に予測時刻を特定する情報が含まれていなければ、被写体候補リストの被写体がリアルタイム映像の範囲内に存在する時刻及び位置情報の演算を行い、リアルタイム映像内に存在する被写体の位置情報と存在する時刻情報を記録部801に記録する(ステップS1306)。
より具体的には、演算部802は、ステップS1202で取得した被写体情報に基づいて、複数の時刻における各被写体の位置情報の演算を行う。また、各時刻における各被写体の位置情報に基づいて、第1の実施形態におけるステップS402〜S404と同様の演算を行う。更に、撮像装置601の撮像方向に対するリアルタイム映像の表示範囲と、撮像装置601の位置を原点とした時に各時刻において各被写体が存在する仰俯角、方位とに基づいて、各時刻におけるリアルタイム映像上の各被写体の位置を演算し、各時刻における各被写体のリアルタイム映像内での位置情報を含む被写体位置予測情報を生成する。なお、ステップS1306で演算される情報は図6(d)で示される情報に対応する。
このように、撮像装置601及び撮影支援装置602を利用することにより、所定の被写体が所定の時刻に存在する位置情報をリアルタイム映像に重畳して表示することができる。このため、タイマーを利用した撮影に代表される、所定の時刻に所定の被写体が存在する位置を予測してカメラを仕掛けておく必要がある仕掛け撮りを行う場合においても、容易に構図決定を行うことができるようになる。
また、時刻ごとに被写体が存在する位置を演算することができるため、より精度の高い被写体の位置情報を演算することができる。
また、撮像装置601の画角を利用して、被写体がリアルタイム映像の範囲内に存在するかどうかの判定が行えるようになるため、リアルタイム映像の範囲内に被写体が存在する場合と、リアルタイム映像の範囲内に被写体が存在しない場合とで、その後の処理方法を変更することができる。
また、撮像装置601は、通信を利用して被写体情報の取得が行えるため、被写体情報取得部を撮像装置601に設ける必要がなく、被写体情報を取得する際の負荷が必要なくなる分、処理負荷を低減することができる。
また、撮像装置601は、撮影支援装置602に設置された演算部が演算した被写体位置予測情報を取得できることにより、撮像装置601の処理は、処理部704による表示制御及び通信部707による通信制御を行うだけでよいため、撮像装置601の処理負荷が低減される。
(変形例)
本発明の実施形態の説明は以上であるが、本発明は上記二つの実施形態に限定されるものではない。
例えば、第1の実施形態において、撮像状態変更情報の演算を第2の実施形態のように外部の撮影支援装置602に行わせ、この撮影支援装置602から撮像状態変更情報を受信しても良く、また第2の実施形態において、被写体位置予測情報の全ての演算を撮像装置601で行っても良い。また、どちらも被写体情報取得部から被写体情報を取得しているが、通信部を利用して外部の提供サーバから受信する構成にしても良い。このように、本発明の要旨を逸脱しない場合であれば、構成は上記二つの実施形態に限定されるものではない。
また、例えば、第2の実施形態における図6(e)のような、被写体が確定している場合においては、所定の時刻の被写体の位置情報がリアルタイム映像の範囲内に存在しないときは被写体が存在する方向をリアルタイム映像に重畳して表示し、所定の時刻の被写体の位置情報がリアルタイム映像の範囲内に存在するときにはその場所や方向をリアルタイム映像に重畳して表示する、第1の実施の形態を利用した通知方法にしても良い。このように、本発明の要旨を逸脱しない場合であれば、被写体の位置を通知する手段は上記二つの実施形態に限定されるものではない。
また、例えば、第2の実施形態における撮影支援装置602を、情報を提供する外部サーバとして構成し、撮像装置が外部サーバにアクセスして情報を取得する際に、外部サーバの管理者に対し対価を支払うような課金制度を設けても良い。
また、例えば、第2の実施形態における自端末情報取得部は、位置情報、方位情報、仰俯角情報を提供するブロックであるが、撮像装置−撮影支援装置間の距離が十分に近い状況であれば、自端末情報取得部を位置情報取得部、方位情報取得部、仰俯角情報取得部の三つのブロックに分け、撮像装置601に方位情報取得部及び仰俯角情報取得部を設け、付帯する撮影支援装置602に位置情報取得部を設ける構成にしても良い。
また、第2の実施形態において、撮像装置−撮影支援装置間の距離が十分に近い状況であれば、撮像装置及び撮影支援装置の構成を、それぞれ図14、図15に示すものとしてもよい。図14に示す撮像装置601aでは、図7に示す撮像装置601における自端末情報取得部706が設けられていない。図15に示す撮影支援装置602aでは、図8に示す撮影支援装置602の構成に対して自端末情報取得部805が追加されている。
ユーザが撮像装置601a及び撮影支援装置602aを携帯している状況では、自端末情報取得部805は撮像装置601aの自端末情報を取得する。演算部802は前述した被写体位置予測情報の演算を行う。
また、図14及び図15に関して以下のようにしてもよい。通信部803は、自端末情報取得部805によって取得された自端末情報を撮像装置601aへ送信する。撮像装置601aにおいて通信部707は自端末情報を受信する。受信された自端末情報は記録部705に記録される。また、撮影支援装置602aにおいて、被写体情報取得部800は、記録部801に記録されている被写体リストを読み出し、撮像装置601aの位置に近い被写体を選択する。通信部803は、選択された被写体の被写体情報を撮像装置601aへ送信する。撮像装置601aにおいて通信部707は被写体情報を受信する。受信された被写体情報は記録部705に記録される。処理部704は記録部705から自端末情報及び被写体情報を読み出し、前述した被写体位置予測情報の演算を行う。
また、第2の実施形態において、被写体情報の取得を撮像装置601で行ってもよい。すなわち、撮影支援装置602の通信部803は記録部801から読み出された被写体リストを撮像装置601へ送信する。撮像装置601の通信部707は被写体リストを受信する。受信された被写体リストは記録部705に記録される。処理部704は、記録部705から被写体リストを読み出し、撮像装置601の位置に近い被写体を選択し、その被写体のうち、ユーザによりユーザインタフェース部702を利用して選択された被写体の被写体情報を用いて、前述した被写体位置予測情報の演算を行う。
また、第2の実施形態における撮影支援装置は、撮像装置がインターネットに接続できる環境下においては、図16に示すようにインターネットで接続可能なサーバであっても良い。また、第1、第2の実施形態において、図16に示すように撮像装置の自端末情報を、例えばGPSロガーのような、位置情報を測定する外部機器から取得しても良い。
図16では、撮像装置601bは外部機器1601から自端末情報を受信し、サーバ1602へ送信する。サーバ1602は自端末情報に基づいて被写体位置予測情報の演算を行い、演算結果を撮像装置601bへ送信する。このように、本発明の要旨を逸脱しなければ、構成は上記二つの実施形態に限定されるものではなく、構成要素に増減があっても良い。
例えば、第1の実施形態では、被写体の存在する位置を、表示部を利用してユーザに通知しているが、図17に示すように被写体を自動でリアルタイム映像の範囲内におさめる構成にしても良い。図17は、撮像装置1700を利用して取得したリアルタイム映像1702の範囲内に被写体1703が存在しない場合に自動調整部1701が被写体1703を自動でリアルタイム映像1702の範囲内におさめるシステムを表している。
図18は、撮像装置1700のブロック図であり、図2で示されている第1の実施形態における撮像装置101のブロック図とほぼ同じであるが、処理部に自動調整部1701を加えた構成になっている。自動調整部1701は、例えば自動調整が可能な駆動機構を備えた雲台である。自動調整部1701は、演算部205が演算を行った結果、被写体がリアルタイム映像の表示範囲内に存在しない場合には、被写体の存在する方向と撮像装置101の仰俯角、方位とに基づいて撮像装置1700の向きを調整する。その他の構成については、第1の実施形態で説明した通りである。
101,601,601a,601b,1700・・・撮像装置、200,700・・・撮像部、201,701・・・表示部、202,702・・・ユーザインタフェース部、203,706,805・・・自端末情報取得部、204,800・・・被写体情報取得部、205・・・演算部、206,704・・・処理部(指示部、選択部)、207,705,801・・・記録部(記憶部)、602,602a・・・撮影支援装置、703・・・設定部、707,803・・・通信部(送信部、受信部)、708,804・・・アンテナ、802・・・演算部、1601・・・外部機器、1602・・・サーバ、1701・・・自動調整部

Claims (29)

  1. 自端末の位置に基づいて選択された被写体の位置と、前記自端末の位置及び撮像方向とに基づいて前記被写体と前記自端末との相対的な位置関係を演算した結果を示す演算結果情報を外部端末から受信する受信部と、
    前記演算結果情報に基づいて、前記自端末の位置又は撮像方向の修正を指示する指示部と、
    を有する撮像端末。
  2. 自端末の位置に基づいて選択された被写体の位置と、前記自端末の位置及び撮像方向とに基づいて前記被写体と前記自端末との相対的な位置関係を演算する演算部と、
    前記演算部が演算した結果に基づいて、前記自端末の位置又は撮像方向の修正を指示する指示部と、
    を有する撮像端末。
  3. 前記自端末の位置及び撮像方向を検知するセンサを有し、該センサから前記自端末の位置及び撮像方向を取得する自端末情報取得部と、
    前記自端末の位置及び撮像方向の情報を外部端末に送信する送信部と、
    を更に有する請求項1に記載の撮像端末。
  4. 前記自端末の位置及び撮像方向を検知するセンサを有し、該センサから前記自端末の位置及び撮像方向を取得する自端末情報取得部を更に有する請求項2に記載の撮像端末。
  5. 前記自端末の位置及び撮像方向の情報を外部端末から受信する受信部を更に有する請求項2に記載の撮像端末。
  6. 被写体ごとの位置を含む被写体情報を外部端末から受信する受信部と、
    前記自端末の位置と、前記被写体情報に含まれる被写体の位置とに基づいて被写体を選択する選択部と、
    を更に有する請求項2に記載の撮像端末。
  7. 被写体ごとの位置を含む被写体情報から、前記自端末の位置と、前記被写体情報に含まれる被写体の位置とに基づいて選択された被写体の位置を含む情報を外部端末から受信する受信部を更に有する請求項2に記載の撮像端末。
  8. 前記自端末の位置を含む情報を外部端末へ送信する送信部を更に有する請求項7に記載の撮像端末。
  9. 被写体ごとの位置を含む被写体情報を記憶する記憶部と、
    前記被写体情報から、前記自端末の位置と、前記被写体情報に含まれる被写体の位置とに基づいて被写体を選択する選択部と、
    を更に有する請求項2に記載の撮像端末。
  10. 前記指示部は、表示、音声、振動、重量の変化のいずれかにより前記自端末の位置又は撮像方向の修正を指示する請求項1又は請求項2に記載の撮像端末。
  11. 前記指示部による指示に基づいて前記自端末の位置又は撮像方向を修正する駆動機構を有する修正部を更に有する請求項1又は請求項2に記載の撮像端末。
  12. 前記被写体の位置及び前記自端末の位置は三次元位置であり、前記撮像方向は三次元空間内の方向である請求項1又は請求項2に記載の撮像端末。
  13. 前記演算部は、前記自端末の位置に基づいて選択された被写体の位置と、該位置に該被写体が存在する時刻と、前記自端末の位置及び撮像方向とに基づいて、所定の時刻における前記被写体と前記自端末との相対的な位置関係を演算する請求項2に記載の撮像端末。
  14. 前記所定の時刻を設定する設定部を更に有する請求項13に記載の撮像端末。
  15. 前記自端末情報取得部は更に、撮像部の状態から撮像画角を検知し、
    前記演算部は更に、前記演算結果情報に基づいて、前記被写体が前記撮像画角の外にあるか内にあるかを判定する請求項2に記載の撮像端末。
  16. 前記修正部は、前記被写体が前記撮像画角の外にある場合にのみ、前記自端末の位置又は撮像方向の修正を指示する請求項15に記載の撮像端末。
  17. 前記自端末の位置及び撮像方向を検知するセンサを有し、該センサから前記自端末の位置及び撮像方向を取得する自端末情報取得部と、
    前記自端末の位置に基づいて選択された被写体の位置と、前記自端末の位置及び撮像方向とに基づいて前記被写体と前記自端末との相対的な位置関係を演算する演算部と、
    前記演算部が演算した結果を示す演算結果情報を請求項1に記載の撮像端末へ送信する送信部と、
    を有する外部端末。
  18. 自端末の位置及び撮像方向の情報を請求項3に記載の撮像端末から受信する受信部と、
    前記自端末の位置に基づいて選択された被写体の位置と、前記自端末の位置及び撮像方向とに基づいて前記被写体と前記自端末との相対的な位置関係を演算する演算部と、
    前記演算部が演算した結果を示す演算結果情報を請求項3に記載の撮像端末へ送信する送信部と、
    を有する外部端末。
  19. 前記自端末の位置及び撮像方向を検知するセンサを有し、該センサから前記自端末の位置及び撮像方向を取得する自端末情報取得部と、
    前記自端末の位置及び撮像方向の情報を請求項5に記載の撮像端末へ送信する送信部と、
    を有する外部端末。
  20. 被写体ごとの位置を含む被写体情報を記憶する記憶部と、
    前記被写体情報を請求項6に記載の撮像端末へ送信する送信部と、
    を有する外部端末。
  21. 被写体ごとの位置を含む被写体情報を記憶する記憶部と、
    前記被写体情報から、前記自端末の位置と、前記被写体情報に含まれる被写体の位置とに基づいて被写体を選択する選択部と、
    選択された被写体の位置を含む情報を請求項7に記載の撮像端末へ送信する送信部と、
    を有する外部端末。
  22. 被写体ごとの位置を含む被写体情報を記憶する記憶部と、
    自端末の位置を含む情報を請求項8に記載の撮像端末から受信する受信部と、
    前記被写体情報から、前記自端末の位置と、前記被写体情報に含まれる被写体の位置とに基づいて被写体を選択する選択部と、
    選択された被写体の位置を含む情報を請求項8に記載の撮像端末へ送信する送信部と、
    を有する外部端末。
  23. 請求項1に記載の撮像端末と、請求項17に記載の外部端末とを有する撮像システム。
  24. 請求項3に記載の撮像端末と、請求項18に記載の外部端末とを有する撮像システム。
  25. 請求項5に記載の撮像端末と、請求項19に記載の外部端末とを有する撮像システム。
  26. 請求項6に記載の撮像端末と、請求項20に記載の外部端末とを有する撮像システム。
  27. 請求項7に記載の撮像端末と、請求項21に記載の外部端末とを有する撮像システム。
  28. 請求項8に記載の撮像端末と、請求項22に記載の外部端末とを有する撮像システム。
  29. 自端末の位置及び撮像方向を検知するセンサを有する自端末情報取得部が前記センサから前記自端末の位置及び撮像方向を取得するステップと、
    選択部が、被写体ごとの位置を含む被写体情報から、前記自端末の位置と、前記被写体情報に含まれる被写体の位置とに基づいて被写体を選択するステップと、
    演算部が、選択された被写体の位置と、前記自端末の位置及び撮像方向とに基づいて前記被写体と前記自端末との相対的な位置関係を演算するステップと、
    前記演算部が演算した結果に基づいて、修正部が前記自端末の位置又は撮像方向の修正を指示するステップと、
    を有する撮像方法。
JP2010066494A 2010-03-23 2010-03-23 撮像端末、外部端末、撮像システム、及び撮像方法 Pending JP2011199750A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010066494A JP2011199750A (ja) 2010-03-23 2010-03-23 撮像端末、外部端末、撮像システム、及び撮像方法
US13/069,082 US20110234817A1 (en) 2010-03-23 2011-03-22 Image capturing terminal, external terminal, image capturing system, and image capturing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010066494A JP2011199750A (ja) 2010-03-23 2010-03-23 撮像端末、外部端末、撮像システム、及び撮像方法

Publications (1)

Publication Number Publication Date
JP2011199750A true JP2011199750A (ja) 2011-10-06

Family

ID=44655997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010066494A Pending JP2011199750A (ja) 2010-03-23 2010-03-23 撮像端末、外部端末、撮像システム、及び撮像方法

Country Status (2)

Country Link
US (1) US20110234817A1 (ja)
JP (1) JP2011199750A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160003233A (ko) * 2013-05-02 2016-01-08 퀄컴 인코포레이티드 컴퓨터 비전 애플리케이션 초기화를 용이하게 하는 방법들
JP2016532375A (ja) * 2013-08-09 2016-10-13 サーマル イメージング レーダ、エルエルシーThermal Imaging Radar, Llc 複数の仮想デバイスを使用して熱画像データを解析するための方法、及び深度値を画像画素と相関させるための方法
US10366509B2 (en) 2015-03-31 2019-07-30 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
JP2020014239A (ja) * 2019-09-26 2020-01-23 オリンパス株式会社 装置、装置の制御方法、システム、及びプログラム
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
JP2022020429A (ja) * 2020-07-20 2022-02-01 キヤノン株式会社 撮影装置、画像処理装置、撮影装置の制御方法、画像処理装置の制御方法、撮影システム
JP2022512125A (ja) * 2018-12-06 2022-02-02 華為技術有限公司 長時間露光画像を撮影するための方法及び電子デバイス
US11262845B2 (en) 2017-11-21 2022-03-01 Samsung Electronics Co., Ltd. Device and method for providing vibration
US11526966B2 (en) 2018-04-12 2022-12-13 Mitsubishi Electric Corporation Image processing device, image processing method, and storage medium storing image processing program
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013179742A1 (ja) * 2012-05-30 2013-12-05 ソニー株式会社 情報処理装置、システム、および記憶媒体
US9955068B2 (en) 2013-07-15 2018-04-24 Samsung Electronics Co., Ltd. Apparatus and method for operating a composition of a picture in a portable terminal
KR20170014556A (ko) * 2015-07-30 2017-02-08 삼성전자주식회사 이동체를 촬영하는 방법 및 촬영 장치.
KR102803131B1 (ko) * 2020-04-02 2025-05-07 삼성전자주식회사 영상 투사 장치 및 영상 투사 장치의 제어 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10221752A (ja) * 1997-02-12 1998-08-21 Hitachi Vlsi Eng Corp 撮像装置、ディジタルスチルカメラ及びpcカード
JP2006091856A (ja) * 2001-08-07 2006-04-06 Casio Comput Co Ltd 目標位置探索装置、目標位置探索方法及びプログラム
JP2006113358A (ja) * 2004-10-15 2006-04-27 Canon Inc 自動方位制御機能付きデジタルカメラ
JP2008257034A (ja) * 2007-04-06 2008-10-23 Nikon Corp カメラ、測位装置およびカメラシステム
JP2009049476A (ja) * 2007-08-13 2009-03-05 Victor Co Of Japan Ltd 撮影支援情報提示装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6037936A (en) * 1993-09-10 2000-03-14 Criticom Corp. Computer vision system with a graphic user interface and remote camera control
US6195122B1 (en) * 1995-01-31 2001-02-27 Robert Vincent Spatial referenced photography
US6396475B1 (en) * 1999-08-27 2002-05-28 Geo Vector Corp. Apparatus and methods of the remote address of objects
JP3833486B2 (ja) * 2000-04-19 2006-10-11 富士写真フイルム株式会社 撮像装置
US7031875B2 (en) * 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
US20020171742A1 (en) * 2001-03-30 2002-11-21 Wataru Ito Method and apparatus for controlling a view field of an image picking-up apparatus and computer program therefor
GB2378074B (en) * 2001-07-27 2005-08-24 Hewlett Packard Co Image capturing device
TW533735B (en) * 2001-10-11 2003-05-21 Primax Electronics Ltd Image-capturing system with remote functionality of changing capturing angle
US20030214601A1 (en) * 2002-05-09 2003-11-20 Yuen Siltex Peter Remote-control device for video camera
US20040219961A1 (en) * 2003-04-08 2004-11-04 Ellenby Thomas William Computer games having variable execution dependence with respect to spatial properties of a mobile unit.
US7663666B2 (en) * 2003-06-23 2010-02-16 Canon Kabushiki Kaisha Operation at mobile terminal when communicating with remote camera
US7643066B2 (en) * 2004-02-19 2010-01-05 Robert Bosch Gmbh Method and apparatus for producing frame accurate position data in a PTZ dome camera with open loop control
US8497935B2 (en) * 2004-08-26 2013-07-30 Robert Bosch Gmbh Rotatable camera system including infrared communications links
US7493038B2 (en) * 2004-12-15 2009-02-17 Lg Electronics Inc. Method and apparatus for controlling privacy mask display
US8902320B2 (en) * 2005-01-31 2014-12-02 The Invention Science Fund I, Llc Shared image device synchronization or designation
US20060190812A1 (en) * 2005-02-22 2006-08-24 Geovector Corporation Imaging systems including hyperlink associations
US7712903B2 (en) * 2006-01-26 2010-05-11 Fuji Xerox Co., Ltd. Remote instruction system, remote instruction method and program product for remote instruction
DE602006002873D1 (de) * 2006-03-31 2008-11-06 Research In Motion Ltd Benutzerschnittstellenverfahren und Vorrichtung zur Steuerung der visuellen Anzeige von Karten mit auswählbaren Kartenelementen bei mobilen Kommunikationsvorrichtungen
JP4127302B2 (ja) * 2006-06-30 2008-07-30 ソニー株式会社 撮像装置、カメラコントロールユニット、ビデオカメラシステム及び制御情報伝送方法
US7839431B2 (en) * 2006-10-19 2010-11-23 Robert Bosch Gmbh Image processing system and method for improving repeatability
US8199194B2 (en) * 2008-10-07 2012-06-12 The Boeing Company Method and system involving controlling a video camera to track a movable target object
JP4983784B2 (ja) * 2008-12-18 2012-07-25 ソニー株式会社 撮像システム、画像提示方法、制御装置、プログラム
US20110069179A1 (en) * 2009-09-24 2011-03-24 Microsoft Corporation Network coordinated event capture and image storage
US8400548B2 (en) * 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10221752A (ja) * 1997-02-12 1998-08-21 Hitachi Vlsi Eng Corp 撮像装置、ディジタルスチルカメラ及びpcカード
JP2006091856A (ja) * 2001-08-07 2006-04-06 Casio Comput Co Ltd 目標位置探索装置、目標位置探索方法及びプログラム
JP2006113358A (ja) * 2004-10-15 2006-04-27 Canon Inc 自動方位制御機能付きデジタルカメラ
JP2008257034A (ja) * 2007-04-06 2008-10-23 Nikon Corp カメラ、測位装置およびカメラシステム
JP2009049476A (ja) * 2007-08-13 2009-03-05 Victor Co Of Japan Ltd 撮影支援情報提示装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160003233A (ko) * 2013-05-02 2016-01-08 퀄컴 인코포레이티드 컴퓨터 비전 애플리케이션 초기화를 용이하게 하는 방법들
KR102131477B1 (ko) * 2013-05-02 2020-07-07 퀄컴 인코포레이티드 컴퓨터 비전 애플리케이션 초기화를 용이하게 하는 방법들
JP2016532375A (ja) * 2013-08-09 2016-10-13 サーマル イメージング レーダ、エルエルシーThermal Imaging Radar, Llc 複数の仮想デバイスを使用して熱画像データを解析するための方法、及び深度値を画像画素と相関させるための方法
USD968499S1 (en) 2013-08-09 2022-11-01 Thermal Imaging Radar, LLC Camera lens cover
US10366509B2 (en) 2015-03-31 2019-07-30 Thermal Imaging Radar, LLC Setting different background model sensitivities by user defined regions and background filters
US10574886B2 (en) 2017-11-02 2020-02-25 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
US11108954B2 (en) 2017-11-02 2021-08-31 Thermal Imaging Radar, LLC Generating panoramic video for video management systems
US11262845B2 (en) 2017-11-21 2022-03-01 Samsung Electronics Co., Ltd. Device and method for providing vibration
US11526966B2 (en) 2018-04-12 2022-12-13 Mitsubishi Electric Corporation Image processing device, image processing method, and storage medium storing image processing program
JP2022512125A (ja) * 2018-12-06 2022-02-02 華為技術有限公司 長時間露光画像を撮影するための方法及び電子デバイス
US12212884B2 (en) 2018-12-06 2025-01-28 Huawei Technologies Co., Ltd. Method for shooting long-exposure image and electronic device
JP2020014239A (ja) * 2019-09-26 2020-01-23 オリンパス株式会社 装置、装置の制御方法、システム、及びプログラム
US11601605B2 (en) 2019-11-22 2023-03-07 Thermal Imaging Radar, LLC Thermal imaging camera device
JP2022020429A (ja) * 2020-07-20 2022-02-01 キヤノン株式会社 撮影装置、画像処理装置、撮影装置の制御方法、画像処理装置の制御方法、撮影システム
JP7561533B2 (ja) 2020-07-20 2024-10-04 キヤノン株式会社 撮影装置、画像処理装置、撮影装置の制御方法、画像処理装置の制御方法、撮影システム

Also Published As

Publication number Publication date
US20110234817A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
JP2011199750A (ja) 撮像端末、外部端末、撮像システム、及び撮像方法
RU2663937C2 (ru) Способ и устройство для управления полетом, а также электронное устройство
US8264570B2 (en) Location name registration apparatus and location name registration method
CN102084648B (zh) 成像装置、图像显示装置和电子照相机
JP2009239397A (ja) 撮影装置、撮影システム、撮影装置の制御方法および制御プログラム
US8692666B2 (en) Communication system and communication terminal
WO2016002285A1 (ja) 情報処理装置、情報処理方法およびプログラム
CN111246056B (zh) 信息处理设备及其控制方法、摄像设备和存储介质
JP5861667B2 (ja) 情報処理装置、撮像システム、撮像装置、情報処理方法及びプログラム
JP2009049476A (ja) 撮影支援情報提示装置
US20150319360A1 (en) Image providing apparatus, image display device, imaging system, image display system, and image providing method
JP2012019374A (ja) 電子アルバム作成サーバー、情報処理装置、電子アルバム作成システム、及び、電子アルバム作成サーバーの制御方法
JP2024071543A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2009225279A (ja) 撮影システム、サーバ、及び撮影方法
WO2016002284A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP5614116B2 (ja) 通信端末
WO2020179869A1 (ja) 情報処理装置、及び情報処理プログラム
JP2009089126A (ja) 情報関連付けシステムおよび情報関連付け方法
JP2010198104A (ja) 映像表示システム、携帯端末システム、携帯端末装置及びサーバ並びにその映像表示方法
JP2006295827A (ja) 携帯端末装置
JP2018007235A (ja) 指標表示装置、指標表示方法、プログラム、及び指標表示システム
US20250322581A1 (en) Information processing apparatus, screen generation method, non-transitory recording medium, and information processing system
JP5967400B2 (ja) 撮像装置、撮像方法及びプログラム
JP5115375B2 (ja) 画像表示装置および電子カメラ
JP4556096B2 (ja) 情報処理装置および方法、記録媒体、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130903

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140107