JP2021083117A - 撮影支援装置、撮影支援方法、及び撮影支援プログラム - Google Patents

撮影支援装置、撮影支援方法、及び撮影支援プログラム Download PDF

Info

Publication number
JP2021083117A
JP2021083117A JP2021024603A JP2021024603A JP2021083117A JP 2021083117 A JP2021083117 A JP 2021083117A JP 2021024603 A JP2021024603 A JP 2021024603A JP 2021024603 A JP2021024603 A JP 2021024603A JP 2021083117 A JP2021083117 A JP 2021083117A
Authority
JP
Japan
Prior art keywords
image
unit
shooting
display
bird
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021024603A
Other languages
English (en)
Other versions
JP7416736B2 (ja
Inventor
田中 康一
Koichi Tanaka
康一 田中
内田 亮宏
Akihiro Uchida
亮宏 内田
入江 公祐
Kimihiro Irie
公祐 入江
慎也 藤原
Shinya Fujiwara
慎也 藤原
伸一郎 藤木
Shinichiro Fujiki
伸一郎 藤木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JP2021083117A publication Critical patent/JP2021083117A/ja
Priority to JP2024000277A priority Critical patent/JP2024026625A/ja
Application granted granted Critical
Publication of JP7416736B2 publication Critical patent/JP7416736B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/18Signals indicating condition of a camera member or suitability of light
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】複数の撮像画像を組み合わせて1つの撮像画像を得る場合において、所望の撮像画像を得られるようにすることができる、撮影支援装置、撮影支援方法、及び撮影支援プログラムを提供する。【解決手段】複数の撮像装置により撮影対象が撮像された撮像画像を取得する取得部と、前記取得部が取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記複数の撮像装置の相対的な位置関係を表す俯瞰図を生成する生成部と、前記生成部が生成した前記俯瞰図を表示部に表示させる制御を行う表示制御部と、を備えた撮影支援装置。【選択図】図3

Description

本開示の技術は、撮影支援装置、撮影支援方法、及び撮影支援プログラムに関する。
従来、ユーザが撮像装置を用いて撮影対象の撮影を行う場合、ユーザに対して撮影を支援するための情報を提示する技術が知られている。例えば、特許文献1には、データベースに記憶されている作例を提示し、作例のように撮像する際の設定条件を示す設定情報を用いて撮像を行う技術が記載されている。
また、特許文献2には、複数の撮像装置を用いて撮影対象の撮影を行う場合、他の撮像装置において得られた、撮影対象の大きさ、位置及び移動速度を示す情報、及びズーム倍率を示す情報等のメタデータに基づいて決定した構図により撮像装置が撮像を行う技術が記載されている。
再公表特許2013/118535号公報 特開2011−211598号公報
ところで、ユーザが撮影対象を撮影する場合に、特定の撮影対象に対して、複数の撮像装置を用いて、異なる方向または異なる位置等から撮影を行い、複数の撮像装置の各々により撮像された撮像画像を組み合わせて、1つの撮像画像を生成することが行われている。
この場合、各撮像画像を組み合わせて得られる1つの撮像画像について、ユーザの所望の画像とするためには、複数の撮像装置の各々が撮像した撮像画像の関係、例えば、各撮像画像に含まれる撮影対象の向き等の関係をユーザの所望の状態とすることが望まれる。そのため、複数の撮像装置の各々、及び撮影対象の相対的な位置関係が重要となる。
しかしながら、複数の撮像装置を用いて撮影を行うため、ユーザは、例えば、適切な撮影方向または撮影位置等の判断がし難い場合があり、その結果、各撮像装置により得られた撮像画像を組み合わせた場合に、ユーザの所望の撮像画像が得られない場合があった。
特許文献1及び特許文献2に記載の技術では、撮影対象を撮影するための作例または構図等は把握できるものの、複数の撮像装置の各々、及び撮影対象の相対的な位置関係までは把握できない。
本開示は、上記事情を考慮して成されたものであり、複数の撮像画像を組み合わせて1つの撮像画像を得る場合において、所望の撮像画像を得られるようにすることができる、撮影支援装置、撮影支援方法、及び撮影支援プログラムを提供することを目的とする。
上記目的を達成するために、本開示の第1の態様の撮影支援装置は、複数の撮像装置により撮影対象が撮像された撮像画像を取得する取得部と、取得部が取得した撮像画像に含まれる撮影対象の画像に基づいて、複数の撮像装置の相対的な位置関係を表す俯瞰図を生成する生成部と、生成部が生成した俯瞰図を表示部に表示させる制御を行う表示制御部と、を備える。
第2の態様の撮影支援装置は、第1の態様の撮影支援装置において、取得部は、複数の撮像装置の各々により撮像された撮像画像を取得し、表示制御部は、生成部が生成した俯瞰図と、取得部が取得した複数の撮像装置の各々により撮像された撮像画像のうちの少なくとも一つの撮像画像とを表示部に表示させる制御を行う。
第3の態様の撮影支援装置は、第1の態様または第2の態様の撮影支援装置において、表示部に表示させる撮像画像を、複数の撮像装置の各々により撮像された撮像画像のうちの、いずれの撮像画像とするかの指定を受け付ける受付部をさらに備え、表示制御部は、受付部が指定を受け付けた撮像画像を、表示部に表示させる制御を行う。
第4の態様の撮影支援装置は、第1の態様から第3の態様のいずれか1態様の撮影支援装置において、表示制御部が表示部に表示させた俯瞰図に対して、複数の撮像装置の各々における位置及び向きの少なくとも一方について、変更後の状態が入力される指定部をさらに備え、生成部は、変更後の状態において複数の撮像装置の各々によって撮像されると推定される推定撮像画像をさらに生成し、表示制御部は、生成部が生成した推定撮像画像を表示部に表示させる制御を行う。
第5の態様の撮影支援装置は、第1の態様から第4の態様のいずれか1態様の撮影支援装置において、表示制御部が表示部に、複数の撮像装置の各々及び撮影対象の、撮影対象を撮影するために推奨される推奨用の相対的な撮像装置の位置である推奨用撮像装置位置をさらに表示し、俯瞰図に示される複数の撮像装置及び推奨用撮像装置位置の各々における位置及び向きの少なくとも一方について、変更後の状態が指定される指定部をさらに備え、生成部は、変更後の状態において複数の撮像装置の各々によって撮像されると推定される推定撮像画像をさらに生成し、表示制御部は、生成部が生成した推定撮像画像を表示部に表示させる制御を行う。
第6の態様の撮影支援装置は、第1の態様から第5の態様のいずれか1態様の撮影支援装置において、撮影対象の撮影が行われた相対的な位置関係を表す情報を記憶する記憶部をさらに備える。
第7の態様の撮影支援装置は、第1の態様から第6の態様のいずれか1態様の撮影支援装置において、撮像画像は動画像である。
第8の態様の撮影支援方法は、複数の撮像装置により撮影対象が撮像された撮像画像を取得し、取得した撮像画像に含まれる撮影対象の画像に基づいて、複数の撮像装置の相対的な位置関係を表す俯瞰図を生成し、生成した俯瞰図を表示部に表示させる制御を行う、処理をコンピュータが実行する撮影支援方法。
第9の態様の撮影支援プログラムは、複数の撮像装置により撮影対象が撮像された撮像画像を取得し、取得した撮像画像に含まれる撮影対象の画像に基づいて、複数の撮像装置の相対的な位置関係を表す俯瞰図を生成し、生成した俯瞰図を表示部に表示させる制御を行う、処理をコンピュータに実行させるためのものである。
また、上記目的を達成するために、本開示の撮影支援装置は、プロセッサを有する撮影支援装置であって、プロセッサが、複数の撮像装置により撮影対象が撮像された撮像画像を取得し、取得した撮像画像に含まれる撮影対象の画像に基づいて、複数の撮像装置の相対的な位置関係を表す俯瞰図を生成し、生成した俯瞰図を表示部に表示させる制御を行う、撮影支援装置。
本開示によれば、複数の撮像画像を組み合わせて1つの撮像画像を得る場合において、所望の撮像画像を得られる。
実施形態の撮像システムの構成の一例を示す平面図である。 実施形態の撮影支援装置のハードウェア構成の一例を示すブロック図である。 第1及び第2実施形態の撮影支援装置の機能的な構成の一例を示すブロック図である。 第1実施形態の撮影支援処理の流れの一例を示すフローチャートである。 実施形態の撮影支援装置により生成される推奨用俯瞰図の一例を説明するための説明図である。 実施形態の撮影支援装置により生成される実位置俯瞰図の一例を説明するための説明図である。 実施形態の撮影支援装置の表示部に表示される推奨用俯瞰図、実位置俯瞰図、メインカメラ画像、及びサブカメラ画像の表示の一例を説明するための説明図である。 実施形態の撮影支援装置により生成される推奨用俯瞰図の他の例を説明するための説明図である。 実施形態の撮影支援装置により生成される推奨用俯瞰図の他の例を説明するための説明図である。 第1実施形態の撮影支援処理の流れの他の例を示すフローチャートである。 実施形態の撮影支援装置の表示部に表示される推奨用俯瞰図、実位置俯瞰図、メインカメラ画像、及びサブカメラ画像の表示の他の例を説明するための説明図である。 第2実施形態の撮影支援処理の流れの一例を示すフローチャートである。 第3実施形態の撮影支援装置の機能的な構成の一例を示すブロック図である。 第3実施形態の撮影支援処理の流れの一例を示すフローチャートである。 第3実施形態の撮影支援装置の表示部に表示される推奨用俯瞰図、実位置俯瞰図、メインカメラ画像、及び推定撮像画像の表示の一例を説明するための説明図である。
以下、図面を参照して本開示の技術を実施するための形態例を詳細に説明する。なお、以下では、ユーザが撮影対象を、撮像装置により撮像して動画像等の撮像画像を得ることを、撮影という。そのため、ユーザが撮像装置を用いて撮影を行う場合の「撮影」と、撮像装置による「撮像」とは、置き換えが可能な場合がある。
[第1実施形態]
まず、図1を参照して、本実施形態の撮像システム10の構成を説明する。図1に示すように、本実施形態の撮像システム10は、メインカメラ12及びサブカメラ14の2台の撮像装置と、撮影支援装置16と、を備える。本実施形態のメインカメラ12及びサブカメラ14が、本開示の複数の撮像装置の一例である。
本実施形態では、一例として、ユーザが、主に使用するメインカメラ12と、補助として使用するサブカメラ14とにより、人物である撮影対象Sを撮影し、メインカメラ12及びサブカメラ14の各々により得られた動画像を組み合わせて1つの動画像、いわゆる映像コンテンツを生成する形態について説明する。なお、撮影対象Sの撮影において、実際にメインカメラ12及びサブカメラ14の各々を操作する人物は一人であってもよいし、複数人であってもよいが、本実施形態では、総称して単に「ユーザ」という。また、以下では、メインカメラ12により撮像された動画像を「メインカメラ画像」といい、サブカメラ14により撮影された動画像を「サブカメラ画像」という。
なお、本実施形態では、一例として、ユーザが、時系列順にメインカメラ画像とサブカメラ画像とをつなげることにより、メインカメラ画像とサブカメラ画像とを組み合わせて1つの動画像を生成する形態について説明する。具体的には、例えば、撮影対象Sの撮影を開始から3分後まではメインカメラ画像、3分後から4分後まではサブカメラ画像、及び4分後から7分後まではメインカメラ画像等と、メインカメラ画像とサブカメラ画像とを時系列順に組み合わせる場合について説明する。なお、メインカメラ画像とサブカメラ画像との組み合わせ方は本実施形態に限定されない。例えば、1つの画面を2つの領域に分割し、分割した一方の領域にメインカメラ画像を、他方の領域にサブカメラ画像を配置することによりメインカメラ画像とサブカメラ画像とを組み合わせてもよい。また、メインカメラ画像及びサブカメラ画像の一方の画像中に、他方の画像を組み合わせ、同時に両方の画像が表示される形態として組み合わせてもよい。
メインカメラ12及びサブカメラ14の各々は、HDMI(High-Definition Multimedia Interface)(登録商標)ケーブルによって撮影支援装置16に接続される。なお、メインカメラ12及びサブカメラ14と、撮影支援装置16との接続方法は本実施形態に限定されず、その他の有線接続を行う形態であってもよいし、無線接続を行う形態であってもよい。また、メインカメラ12及びサブカメラ14の各々が異なる方法により、撮影支援装置16と接続を行う形態であってもよい。メインカメラ12及びサブカメラ14の各々により撮像された動画像を表す動画像データは、撮影支援装置16に出力される。
撮影支援装置16は、ユーザが所望とする映像コンテンツを得るために適切な、メインカメラ12及びサブカメラ14の撮像位置を提示することにより、ユーザが撮影対象Sを撮影するのを支援する機能を有する。
図2を参照して、本実施形態の撮影支援装置16のハードウェア構成を説明する。図2に示すように、本実施形態の撮影支援装置16は、CPU(Central Processing Unit)20、一時記憶領域としてのメモリ21、及び不揮発性の記憶部22を含む。また、撮影支援装置16は、液晶ディスプレイ等の表示部23、及び各種ボタン等を含む操作部24を含む。なお、表示部23と、操作部24の一部とは一体化されたタッチパネルディスプレイとして構成されている。また、撮影支援装置16は、メインカメラ12及びサブカメラ14が接続される外部I/F(Interface)26を含む。CPU20、メモリ21、記憶部22、表示部23、操作部24、及び外部I/F26は、バス29に接続される。撮影支援装置16の例としては、パーソナルコンピュータ及びサーバコンピュータ等が挙げられる。
記憶部22は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、及びフラッシュメモリ等によって実現される。記憶媒体としての記憶部22には、撮影支援プログラム30が記憶される。CPU20は、記憶部22から撮影支援プログラム30を読み出してからメモリ21に展開し、展開した撮影支援プログラム30を実行する。
次に、図3を参照して、本実施形態の撮影支援装置16の機能的な構成について説明する。図3に示すように、本実施形態の撮影支援装置16は、取得部40、生成部42、表示制御部44、及び受付部46を備える。CPU20が撮影支援プログラム30を実行することにより、取得部40、生成部42、表示制御部44、及び受付部46として機能する。
取得部40は、メインカメラ12により撮像されたメインカメラ画像、より具体的にはメインカメラ画像を表す動画像データを、メインカメラ12から取得する。また、取得部40は、サブカメラ14により撮像されたサブカメラ画像、より具体的にはサブカメラ画像を表す動画像データを、サブカメラ14から取得する。
生成部42は、メインカメラ画像及びサブカメラ画像を解析して得られる、撮影対象Sの大きさに関する情報、撮影対象Sの位置に関する情報、及び撮影対象Sの向きに関する情報のうちの少なくとも一つの情報に基づいて、俯瞰図を生成する機能を有する。具体的には、本実施形態の生成部42は、取得部40が取得した、メインカメラ画像に含まれる撮影対象Sの画像に基づいて、メインカメラ12、サブカメラ14、及び撮影対象Sの、ユーザが撮影対象Sを撮影するために推奨される相対的な位置関係を表す推奨用の俯瞰図(以下、「推奨用俯瞰図」という)を生成する。また、本実施形態の生成部42は、取得部40が取得したメインカメラ画像及びサブカメラ14の各々に含まれる撮影対象Sの画像に基づいて、メインカメラ12、サブカメラ14、及び撮影対象Sの、撮影対象Sの撮影が実際に行われた相対的な位置関係を表す実際の位置の俯瞰図(以下、「実位置俯瞰図」という)を生成する。
表示制御部44は、生成部42が生成した推奨用俯瞰図を表示部23に表示させる制御を行う。また、本実施形態の表示制御部44は、生成部42が生成した実位置俯瞰図を表示部23に表示させる制御を行う。さらに、本実施形態の表示制御部44は、取得部40が取得したメインカメラ画像、及びサブカメラ画像の少なくとも一方の動画像を表示部23に表示させる制御を行う。
受付部46は、表示部23に表示させる動画像をメインカメラ画像、及びサブカメラ画像のうちの、いずれの動画像とするかの指定を、操作部24を介してユーザから受け付ける。
次に、図4を参照して、本実施形態の撮影支援装置16の作用を説明する。CPU20が撮影支援プログラム30を実行することによって、図4に示す撮影支援処理が実行される。図4に示す撮影支援処理は、例えば、操作部24により、ユーザから撮影支援処理の実行を指示された場合に実行される。
図4のステップS100で、表示制御部44は、ユーザに対し、メインカメラ12を撮影支援装置16に接続するよう促すためのガイダンスを表示部23に表示させる。ユーザは、表示部23に表示されたガイダンスに従い、撮影支援装置16のHDMI端子(図示省略)に、メインカメラ12を接続する。なお、本ステップによるガイダンスの表示前に、メインカメラ12が撮影支援装置16に接続されていてもよい。
次のステップS102で取得部40は、撮影支援処理がキャンセルされたか否かを判定する。本実施形態の撮影支援装置16では、ユーザは、例えば、撮影支援処理の実行を指示したものの、撮影支援を行わなくてもよいと判断した場合、操作部24に含まれるキャンセルボタン(図示省略)を操作することにより、撮影支援処理のキャンセルを指示することができる。そこで、本ステップS102では、キャンセルボタンが操作されることにより、ユーザがキャンセルの指示を行ったか否かを判定する。キャンセルの指示が行われた場合、ステップS102の判定が肯定判定となり、ステップS126へ移行する。ステップS126で表示制御部44は、撮影支援処理のキャンセルを行う旨の情報を、表示部23に表示させた後、本撮影支援処理を終了する。
一方、キャンセルの指示が行われない場合、ステップS102の判定が否定判定となり、ステップS104へ移行する。ステップS104で取得部40は、メインカメラ12からメインカメラ画像が、外部I/F26を介して撮影支援装置16に入力されたか否かを判定する。メインカメラ画像が入力されるまで、ステップS104の判定が否定判定となり、ステップS102に戻る。一方、メインカメラ画像が入力され、取得部40により取得されると、ステップS104の判定が肯定判定となり、ステップS106へ移行する。
ステップS106で生成部42は、取得部40が取得したメインカメラ画像の解析を開始する。本実施形態の生成部42は、メインカメラ画像を画像解析することにより、撮影対象Sの、メインカメラ12に対する向き(顔の向き)、撮影対象Sとメインカメラ12との距離を推定する。これらの推定方法や、画像解析方法は特に限定されない。例えば、生成部42は、メインカメラ画像に含まれる、撮影対象Sの顔を検出し、画角に占める顔の大きさから、及び撮影対象Sとメインカメラ12との距離を推定してもよい。また例えば、メインカメラ画像に含まれる撮影対象Sの顔、瞳、鼻、及び口等を検出し、これらの位置や大きさ等から、メインカメラ12に対する顔の向き推定してもよい。なお、撮影対象Sとメインカメラ12との距離の推定には、メインカメラ12の焦点距離が用いられるが、より正確な位置解析を行うためには、撮像に実際に用いられたレンズの焦点距離の情報が得られることが好ましい。例えば、外部I/F26を介してメインカメラ12と通信を行い、生成部42がメインカメラ12から撮像に用いられたレンズの焦点距離を表す情報を取得してもよいし、操作部24によりユーザが焦点距離を表す情報を入力してもよい。なお、撮像に実際に用いられたレンズの焦点距離を表す情報が取得できない場合、汎用されている、いわゆる35mm換算の焦点距離50mmを仮定して用いればよい。
次のステップS108で表示制御部44は、ユーザに対し、サブカメラ14を撮影支援装置16に接続するよう促すためのガイダンスを表示部23に表示させる。ユーザは、表示部23に表示されたガイダンスに従い、撮影支援装置16のHDMI端子(図示省略)に、サブカメラ14を接続する。なお、本ステップによるガイダンスの表示前に、サブカメラ14が撮影支援装置16に接続されていてもよい。
次のステップS110で取得部40は、上記ステップS102と同様に、撮影支援処理がキャンセルされたか否かを判定する。キャンセルの指示が行われた場合、ステップS110の判定が肯定判定となり、上記ステップS126へ移行し、表示制御部44が、撮影支援処理のキャンセルを行う旨の情報を、表示部23に表示させた後、本撮影支援処理を終了する。
一方、キャンセルの指示が行われない場合、ステップS110の判定が否定判定となり、ステップS112へ移行する。ステップS112で取得部40は、サブカメラ14からサブカメラ画像が、外部I/F26を介して撮影支援装置16に入力されたか否かを判定する。サブカメラ画像が入力されるまで、ステップS112の判定が否定判定となり、ステップS110に戻る。一方、サブカメラ画像が入力され、取得部40により取得されると、ステップS112の判定が肯定判定となり、ステップS114へ移行する。
ステップS114で生成部42は、取得部40が取得したサブカメラ画像の解析を開始する。本実施形態の生成部42は、サブカメラ画像を画像解析することにより、撮影対象Sの、サブカメラ14に対する向き(顔の向き)、撮影対象Sとサブカメラ14との距離を推定する。これらの推定方法や、画像解析方法は特に限定されず、上記ステップS106と同様とすることができる。
次のステップS116で生成部42は、メインカメラ画像の解析結果に基づいて、推奨用俯瞰図を生成する。上述したように、メインカメラ画像の解析を行うことにより、メインカメラ12に対する撮影対象Sの顔の向き、及び撮影対象Sとメインカメラ12との距離が推定される。一例として本実施形態では、この顔の向き及び撮影対象Sとの距離に基づき、メインカメラ12の撮影位置及び向き(撮影方向)を基準として推奨される、サブカメラ14の撮影位置及び撮影方向を導出する。推奨されるサブカメラ14の撮影位置及び撮影方向の導出方法は特に限定されない。例えば、撮影対象Sの顔の向き、メインカメラ12の位置、及びメインカメラ12の撮影方向の少なくとも一つと、サブカメラ14の位置及び撮影方向との対応関係(以下、「推奨位置関係」という)を予め記憶部22に記憶しておき、生成部42が、記憶部22に記憶されている推奨位置関係に基づいて、推奨されるサブカメラ14の撮影位置及び撮影方向を導出してもよい。
また、生成部42における推奨用俯瞰図の生成方法も特に限定されない。一例として本実施形態では、メインカメラ12、サブカメラ14、及び撮影対象Sに対応するアイコンを、各々の向き及び位置に合わせて、撮影対象Sの頭側(上側)から俯瞰した状態に配置する。図5Aには、本実施形態の生成部42により生成される推奨用俯瞰図50の一例を示す。図5Aに示した推奨用俯瞰図50には、顔の向きを表す情報とともに、撮影対象Sを示すアイコン60が配置されている。また、推奨用俯瞰図50には、メインカメラ12の撮影位置及び撮影方向に応じてメインカメラ12を示すアイコン62と、推奨されるサブカメラ14の撮影位置及び撮影方向に応じてサブカメラ14を示すアイコン65とが配置されている。なお、一例として本実施形態では、メインカメラ12の撮影位置を基準としているため、推奨用俯瞰図50におけるアイコン62は、実際に撮影が行われたメインカメラ12の撮影位置及び撮影方向に基づいて配置されている。
次のステップS118で生成部42は、メインカメラ画像の解析結果、及びサブカメラ画像の解析結果に基づいて、実位置俯瞰図を生成する。生成部42における実位置俯瞰図の生成方法も特に限定されず、例えば、推奨用俯瞰図の生成方法と同様の方法を用いることができる。図5Bには、本実施形態の生成部42により生成される実位置俯瞰図52の一例を示す。図5Bに示した実位置俯瞰図52には、顔の向きを表す情報とともに、撮影対象Sを示すアイコン60が配置されている。また、実位置俯瞰図52には、メインカメラ12の撮影位置及び撮影方向に応じてメインカメラ12を示すアイコン62と、サブカメラ14の撮影位置及び撮影方向に応じてサブカメラ14を示すアイコン64とが配置されている。なお、実位置俯瞰図52では、サブカメラ14を示すアイコン64は、実際に撮影が行われたサブカメラ14の撮影位置及び撮影方向に基づいて配置されている。
次のステップS120で表示制御部44は、図6に示した一例のように、推奨用俯瞰図50、実位置俯瞰図52、メインカメラ画像70、及びサブカメラ画像72を表示部23に表示させる制御を行う。なお、図6に示した一例では、推奨用俯瞰図50と実位置俯瞰図52とを重畳させて表示部23に表示させた状態を示している。また、図6に示した一例では、メインカメラ12のリアルタイムのメインカメラ画像70と、サブカメラ14のリアルタイムのサブカメラ画像72とを表示させた状態を示している。
このように、メインカメラ画像70及びサブカメラ画像72を表示部23に表示させることにより、ユーザは、メインカメラ12及びサブカメラ14各々の撮影位置及び撮影向きの関係と、実際に撮像される動画像との関係を把握しやすくなる。
なお、本実施形態に限定されず、表示制御部44は、メインカメラ画像70及びサブカメラ画像72を表示部23に表示させないことも可能であるし、いずれか一方のみを表示させることとも可能である。本実施形態では、受付部46が、表示させる動画像の指定を操作部24を介してユーザから受け付けた場合、表示制御部44は指定された動画像を、表示部23に表示させ、受付部46が指定を受け付けなかった場合、メインカメラ画像70及びサブカメラ画像72の両方を表示部23に表示させる形態としている。
次のステップS122で生成部42は、メインカメラ12及びサブカメラ14の少なくとも一方のカメラが移動したか否か、より具体的には、メインカメラ12及びサブカメラ14の少なくとも一方のカメラの撮影位置及び撮影方向が変化したか否かを判定する。生成部42が少なくとも一方のカメラが移動したか否かを判定する方法は特に限定されない。例えば、生成部42は、メインカメラ画像70及びサブカメラ画像72の各々を画像解析し、撮影対象Sまたは他の被写体の位置または向きが変化したか否かにより判定してもよい。また例えば、生成部42は、メインカメラ画像70及びサブカメラ画像72が位置検出センサを備えている場合は、これらのセンサの検出結果を取得し、取得した検出結果に基づいて判定してもよい。
メインカメラ12及びサブカメラ14の少なくとも一方のカメラが移動した場合、ステップS122の判定が肯定判定となり、ステップS116に戻り、上記ステップS118、S120の各処理を繰り返す。この場合、少なくとも一方のカメラの移動に応じて、表示部23に表示される推奨用俯瞰図50及び実位置俯瞰図52が更新され、各々、リアルタイムの状態に応じた俯瞰図となる。
一方、メインカメラ12及びサブカメラ14の両方のカメラが移動していない場合、ステップS122の判定が否定判定となり、ステップS124へ移行する。ステップS124で生成部42は、本撮影支援処理を終了するか否かを判定する。本実施形態では、一例として、上記キャンセルボタンがユーザにより操作された場合や、メインカメラ12及びサブカメラ14の少なくとも一方が、上記HDMI端子と非接続となった場合等、予め定められた終了条件を満たす場合に、本撮影支援処理を終了する。終了条件を満たさない場合、ステップS124の判定が否定判定となり、ステップS122に戻り、上記処理を繰り返す。一方、終了条件を満たす場合、ステップS124の判定が肯定判定となり、本撮影支援処理を終了する。本撮影支援処理を終了する場合、表示制御部44は、表示部23に表示されている推奨用俯瞰図50、実位置俯瞰図52、メインカメラ画像70、サブカメラ画像72の表示を終了する。
なお、本実施形態の撮影支援装置16では撮影対象Sの顔の向き、メインカメラ12の位置、及びメインカメラ12の撮影方向の少なくとも一つに対し、推奨されるサブカメラ14の撮影位置及び撮影方向が一意に定まる形態、いわば、推奨される推奨用俯瞰図50が1種類の場合について説明したが、本実施形態に限定されず、推奨される推奨用俯瞰図が複数種類あってもよく、例えば、メインカメラ12の撮影位置及び撮影方向に対して、対応付けられている推奨されるサブカメラ14の撮影位置及び撮影方向が複数あってもよい。換言すると、上記推奨位置関係を複数有していてもよい。具体例として、図7Aに示すように、撮影対象Sに対するサブカメラ14の向きが、図5Aに示した推奨用俯瞰図50により推奨されるサブカメラ14の向きと異なる推奨用俯瞰図50Aや、図7Bに示すように、撮影対象Sとサブカメラ14との距離が、図5Aに示した推奨用俯瞰図50により推奨されるサブカメラ14の距離と異なる推奨用俯瞰図50B等を有していてもよい。
操作部24を操作することにより、ユーザが推奨用俯瞰図の変更を指示することができる形態の一例について、図8を参照して説明する。図8には、推奨用俯瞰図を複数種類有する場合の、撮影支援処理の流れの一例を表すフローチャートが示されている。
図8に示した撮影支援処理は、ステップS120とS122との間にステップS121A〜S121Cの処理を含む点で、上述の撮影支援処理(図4参照)と異なっている。図8に示した撮影支援処理では、受付部46が、推奨用俯瞰図(50、50A、及び50B)の変更の指示を受け付けたか否かを判定する。受付部46が、変更の指示を受け付けていない場合、ステップS121Aの判定が否定判定となり、ステップS122へ移行する。一方、受付部46が変更の指示を受け付けた場合、ステップS121Aの判定が肯定判定となり、ステップS121Bへ移行する。ステップS121Bで表示制御部44は、表示部23に表示されている推奨用俯瞰図(50、50A、または50Bのいずれか)を更新する。具体的には、生成部42が、記憶部22に記憶されている複数の推奨位置関係から、現在、表示部23に表示されている推奨用俯瞰図と異なる推奨位置関係を1つ取得し、取得した推奨位置関係に基づいて推奨用俯瞰図を生成し、生成された推奨用俯瞰図を表示制御部44が表示部23に表示させる。ユーザは、表示部23に表示されている推奨用俯瞰図を撮影に用いることを決定した場合、操作部24に含まれる決定ボタン(図示省略)を操作することにより推奨用俯瞰図の決定を指示する。
次のステップS121Cで受付部46は、上記の決定の指示を受け付けたか否かを判定する。本実施形態の受付部46が、予め定められた時間が経過しても、上記の決定の指示を受け付けなかった場合、ステップS121Cの判定が否定判定となり、ステップS121Aに戻り、ステップS121Bの処理を繰り返す。一方、受付部46が、予め定められた時間内に上記の決定の指示を受け付けた場合、ステップS121Cの判定が肯定判定となり、ステップS122へ移行する。なお、本処理の後、ステップS122で肯定判定となり、ステップS116に戻り再び推奨用俯瞰図を生成する場合、ステップS121Cにおいて決定された推奨用俯瞰図に対応する推奨位置関係に基づいて、推奨用俯瞰図を生成する。
また、本実施形態では、一例として、メインカメラ12の撮影位置及び撮影方向を基準として推奨される、サブカメラ14の撮影位置及び撮影方向を導出する形態について説明したが、本実施形態に限定されない。例えば、撮影対象Sの向きまたは位置を基準として推奨される、メインカメラ12の撮影位置及び撮影方向と、サブカメラ14の撮影位置及び撮影方向とを導出する形態としてもよい。この場合、生成部42によって生成され、表示部23に表示される推奨用俯瞰図50Cは、図9に示した一例のように、推奨されるメインカメラ12の撮影位置及び撮影方向に応じたメインカメラ12を示すアイコン63と、推奨されるサブカメラ14の撮影位置及び撮影方向に応じたサブカメラ14を示すアイコン65とが配置された状態となる。
このように本施形態の撮影支援装置16では、取得部40がユーザにより撮影対象Sが撮影されたメインカメラ画像をメインカメラ12から取得し、生成部42が、取得したメインカメラ画像を解析し、メインカメラ画像に含まれる撮影対象Sの画像から得られる解析結果に基づいて推奨用俯瞰図を生成し、表示制御部44が推奨用俯瞰図を表示部23に表示させる。
このように本実施形態の撮影支援装置16によれば、ユーザが、撮影対象Sをメインカメラ12及びサブカメラ14により撮影するために推奨される各カメラ及び撮影対象Sの相対的な位置関係を把握できるようになる。従って、本実施形態の撮影支援装置16によれば、ユーザはメインカメラ画像及びサブカメラ画像を組み合わせて1つの動画像を得る場合において、所望の動画像を得ることができる。
[第2実施形態]
以下、第2実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態で説明した構成及び作用と同一の構成及び作用については同一の符号を付し、詳細な説明を省略する。
本実施形態の撮像システム10及び撮影支援装置16の構成は、第1実施形態の撮像システム10及び撮影支援装置16の構成(図1〜図3参照)と同様であるため、説明を省略する。
一方、本実施形態の撮影支援装置16の作用は、撮影支援処理の一部が異なっている。図10には、本実施形態の撮影支援処理の流れの一例を示すフローチャートを示す。図10に示すように、本実施形態の撮影支援処理では、第1実施形態の撮影支援処理(図4参照)のステップS124の後に、ステップS125の処理を行う点が異なっている。
本撮影支援処理を終了するか否かの判定が肯定判定となった後に行われるステップS125で生成部42は、表示制御部44の制御により表示部23に表示されている実位置俯瞰図52、メインカメラ12を表す情報、及びサブカメラ14を表す情報を対応付けて記憶部22に記憶させた後、本撮影支援処理を終了する。すなわち、生成部42は、撮影対象Sの撮影が行われた相対的な位置関係を表す情報を記憶部22に記憶させる。なお、生成部42が、記憶部22に記憶させるメインカメラ12を表す情報、及びサブカメラ14を表す情報は特に限定されず、例えば、識別子等の撮影に用いられたカメラを識別可能とする情報であればよい。
このように本実施形態の撮影支援装置16では、撮影支援処理を終了する場合、すなわち、ユーザがメインカメラ12及びサブカメラ14による撮影対象Sの撮影を終了する場合、終了時点におけるメインカメラ12及びサブカメラ14の配置と、撮影対象Sの向きとの相対的な位置関係を表す実位置俯瞰図52を、メインカメラ12を表す情報及びサブカメラ14を表す情報に対応付けて記憶部22に記載させる。
なお、ステップS125で生成部42は、メインカメラ12を表す情報及びサブカメラ14を表す情報と対応付けて、実位置俯瞰図52に代わり、また、実位置俯瞰図52とともに推奨用俯瞰図50を記憶部22に記憶させてもよい。また、推奨用俯瞰図50及び実位置俯瞰図52のいずれの俯瞰図を記憶部22に記憶させるかについて操作部24を介してユーザによる指示が可能であってもよい。
また、図10に示すように、本実施形態の撮影支援処理では、第1実施形態の撮影支援処理(図4参照)に比べ、ステップS114とステップS116との間に、ステップS115A〜S115Dの各処理を実行する点が異なっている。
ステップS115Aで生成部42は、現在、接続されているメインカメラ12及びサブカメラ14について、記憶部22にメインカメラ12を表す情報及びサブカメラ14を表す情報の両方のカメラ情報が記憶されているか否かを判定する。記憶部22に両方のカメラ情報が記憶されている場合、ステップS115Aの判定が肯定判定となり、ステップS115Bへ移行する。ステップS115Bで、生成部42は、メインカメラ12を表す情報及びサブカメラ14を表す情報に対応付けられている実位置俯瞰図52を、記憶部22から読み出して推奨用俯瞰図50とした後、ステップS118へ移行する。
一方、記憶部22に、両方のカメラ情報が記憶されていない場合、ステップS115Aの判定が否定判定となり、ステップS115Cへ移行する。ステップS115Cで表示制御部44は、表示部23に、両方のカメラ情報に対応する実位置俯瞰図52が記憶部22に記憶されていない旨、すなわち、撮影支援装置16が、接続されているメインカメラ12及びサブカメラ14が、今まで撮影の支援対象としていないメインカメラ12及びサブカメラ14の組み合わせであることを表す情報をガイダンスとして、表示部23に表示させる。本実施形態では一例として、ユーザは、表示部23に表示されたガイダンスを参照し、接続されているカメラについて変更がなければ、操作部24に含まれる了承ボタン(図示省略)を操作することにより、了承する旨を指示するか、または操作部24に含まれるキャンセルボタン(図示省略)を操作することにより、撮影支援処理のキャンセルを指示する。
そこで、次のステップS115Dで生成部42は、了承ボタンが操作されたか否かを判定する。キャンセルボタンが操作された場合、ステップS115Dの判定が否定判定となり、本撮影支援処理を終了する。
一方、了承ボタンが操作された場合、ステップS115Dの判定が肯定判定となり、ステップS116へ移行する。この場合、生成部42は、新たに接続されているメインカメラ12及びサブカメラ14の組み合わせにより入力される、メインカメラ画像及びサブカメラ画像に基づき、推奨用俯瞰図50及び実位置俯瞰図52を生成することとなる。
なお、本実施形態では、上記ステップS115Aで両方のカメラ情報が記憶されているか否かを判定する形態としたが、本実施形態に限定されず、メインカメラ12及びサブカメラ14の一方のカメラ情報が記憶されているか否かを判定する形態としてもよい。例えば、撮影対象Sの撮影について一旦休憩後、撮影を再開する場合、主として撮影に用いられるメインカメラ12は、同じカメラを使用するが、サブカメラ14は先ほどと異なる機種のカメラを使用する場合がある。このような場合に対応する形態として、ステップS115Aでは、メインカメラ12を表す情報が記憶部22に記憶されているか否かを判定する形態としてもよい。
このように本実施形態の撮影支援装置16で行われる撮影支援処理では、撮影支援処理を行った後、同一のメインカメラ12及びサブカメラ14を用いた撮影に対して再び撮影支援処理を行う場合、前回、表示部23に表示した俯瞰図を、推奨用俯瞰図として採用する。これにより、本実施形態の撮影支援装置16によれば、前回、撮影を終了した時点におけるメインカメラ12及びサブカメラ14の配置状態と同様の状態から、撮影を再開し易くなる。
[第3実施形態]
以下、第3実施形態について詳細に説明する。なお、本実施形態では、上記第1実施形態及び第2実施形態で説明した構成及び作用と同一の構成及び作用については同一の符号を付し、詳細な説明を省略する。
本実施形態の撮像システム10の構成は、第1実施形態の撮像システム10の構成(図1参照)と同様であるため、説明を省略する。一方、撮影支援装置16の構成は、図11に示すように、指定部47をさらに備えている点で、第1実施形態の撮影支援装置16の構成(図2及び図3参照)と異なっている。
上記各実施形態では、表示制御部44が表示部23に、メインカメラ画像70及びサブカメラ画像72を表示させる形態について説明した。一方、本実施形態では、推奨用俯瞰図50または実位置俯瞰図52に対して、メインカメラ12及びサブカメラ14の位置及び撮影方向を指定すると、指定した位置及び撮影方向においてメインカメラ12及びサブカメラ14により撮像されたと推定される推定撮像画像を、メインカメラ画像70またはサブカメラ画像72に代わり表示部23に表示させる形態について説明する。以下では、このように、ユーザが指定した位置及び撮影方向において、メインカメラ12またはサブカメラ14により撮像されたと推定される推定撮像画像を生成して表示させる動作について、シミュレーションと称する。
指定部47は、表示部23に表示されている推奨用俯瞰図50または実位置俯瞰図52に対して、俯瞰図に示されるアイコン62、63、64、及び65について、位置及び撮影方向の少なくとも一方について変更後の状態がユーザによって指定される機能を有する。
図12を参照して、本実施形態の撮影支援装置16において、上記シミュレーションを行う作用を説明する。CPU20が撮影支援プログラム30を実行することによって、図12に示すシミュレーション処理が実行される。一例として図12に示すシミュレーション処理は、例えば、表示部23に表示されたアイコン62、63、64、及び65のいずれかにユーザがタッチした場合、またはシミュレーションを行う旨の指示を操作部24を用いてユーザが行った場合に実行される。
図12に示したステップS200で指定部47は、アイコン62、63、64、及び65のいずれかに対するユーザの操作が完了したか否かを判定する。本実施形態では、ユーザの操作により、アイコン62、63、64、及び65各々について、位置の移動、回転、拡大、及び縮小することができる。アイコン62、63、64、及び65各々の位置の移動は、各アイコンに対応するメインカメラ12またはサブカメラ14の位置の移動に対応する。また、アイコン62、63、64、及び65各々の回転は、各アイコンに対応するメインカメラ12またはサブカメラ14の撮影方向の変更(回転)に対応する。また、アイコン62、63、64、及び65各々の拡大及び縮小は、各アイコンに対応するメインカメラ12またはサブカメラ14の高さ方向(実世界における高さ方向、表示部23の表示における奥行き方向)の移動に対応し、拡大された場合は、高さが高くなる方向への移動に対応し、縮小された場合は、高さが低くなる方向への移動に対応する。
操作が完了するまでステップS200の判定が否定判定となり、操作が完了するとステップS200の判定が肯定判定となって、ステップS202へ移行する。ステップS202で、生成部42は、ユーザによって操作されたアイコン62、63、64、及び65のいずれかの操作後の状態に応じて、推定撮像画像を生成する。具体的には、生成部42は、操作後の上記アイコンの位置、向き、及び大きさに基づいて、撮影対象Sに対するメインカメラ12またはサブカメラ14の位置及び撮影方向を導出し、導出した位置及び撮影方向において撮像されると推定される推定撮像画像を生成する。
生成部42が、推定撮像画像を生成する具体的な方法は特に限定されない。例えば、3次元の人物構図データを記憶部22に記憶しておき、導出した撮影対象Sに対するメインカメラ12またはサブカメラ14の位置及び撮影方向に応じて、上記3次元の人物構図データをレンダリングすることにより推定撮像画像を生成してもよい。
次のステップS204で表示制御部44は、ユーザによって操作されたアイコン62、63、64、及び65のいずれかに対応するメインカメラ画像70またはサブカメラ画像72に代わり、生成部42が生成した推定撮像画像を表示部23に表示させる。図13には、サブカメラ14に対応する推奨用俯瞰図50のアイコン65が操作された場合に、生成部42によって生成された推定撮像画像73を、サブカメラ画像72の代わりに表示部23に表示させた状態の一例を示す。
次のステップS206で指定部47は、本シミュレーション処理を終了するか否かを判定する。終了条件を満たすまでステップS206の判定が否定判定となり、ステップS200に戻り、ステップS202及びS204の処理を繰り返す。一方、シミュレーションを終了する旨の指示を操作部24を用いてユーザが行った場合に、終了条件を満たすと判定し、ステップS206の判定が肯定判定となり、本シミュレーション処理を終了する。
このように、本実施形態の撮影支援装置16では、ユーザの指定に応じて、メインカメラ12またはサブカメラ14により撮影されたと推定される推定撮像画像を生成して、表示部23に表示する。
従って、本実施形態の撮影支援装置16によれば、ユーザは簡単な操作により、実際にメインカメラ12またはサブカメラ14の位置を移動させなくても、メインカメラ画像またはサブカメラ画像がどのような画像となるかを推定撮像画像により把握することができる。従って、撮影対象Sの撮影を行い易くすることができ、また、撮影時間の短縮化を図ることができる。
以上説明したように、上記各実施形態の撮影支援装置16は、特定の撮影対象Sを撮像するメインカメラ12及びサブカメラ14のうちのメインカメラ12により撮像されたメインカメラ画像を取得する取得部40と、取得部40が取得したメインカメラ画像に含まれる撮影対象Sの画像に基づいて、メインカメラ12及びサブカメラ14の各々及び撮影対象Sの、撮影対象Sを撮影するために推奨される相対的な位置関係を表す推奨用俯瞰図を生成する生成部42と、生成部42が生成した俯瞰図を表示部23に表示させる制御を行う表示制御部44と、を備える。
このような構成により、本実施形態の撮影支援装置16によれば、撮影に不慣れなユーザでも各撮像装置のセッティング位置を容易に把握できるようになる。従って、上記各実施形態の撮影支援装置16によれば、メインカメラ画像及びサブカメラ画像を組み合わせて1つの動画像を得る場合において、所望の動画像を得られるようにすることができる。
なお、上記各実施形態では、撮影支援装置16にメインカメラ12とサブカメラ14とが同時に接続可能な形態、換言すると、取得部40が、メインカメラ画像とサブカメラ画像とを同時に取得可能な形態について説明したが、上記各実施形態に限定されない。例えば、撮影支援装置16にはメインカメラ12及びサブカメラ14のいずれか一方のみが接続可能で有り、メインカメラ12及びサブカメラ14を交互に接続させることにより、取得部40によるメインカメラ画像とサブカメラ画像との取得を可能とする形態としてもよい。なお、この形態の場合、取得部40が取得するメインカメラ画像及びサブカメラ画像が、リアルタイムで撮像された動画像とならないため、生成部42が生成する推奨用俯瞰図及び実位置俯瞰図が、リアルタイムの状態に応じた俯瞰図とならない場合がある。
なお、上記各実施形態では、撮影対象Sの撮影にユーザが用いる撮像装置がメインカメラ12及びサブカメラ14の2台である形態について説明したが、撮影に用いる撮像装置の数に制限はない。また、上記各実施形態では、メインカメラ画像及びサブカメラ画像が動画像である形態について説明したが、メインカメラ画像及びサブカメラ画像の少なくとも一方が静止画像であってもよい。
上記各実施形態において、例えば取得部40、生成部42、表示制御部44、及び受付部46、及び指定部47といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(processor)を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPUに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであ
るプログラマブルロジックデバイス(Programmable Logic Device :PLD)、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせや、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアント及びサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態が挙げられる。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態が挙げられる。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)を用いることができる。
また、上記実施形態では、撮影支援プログラム30が記憶部22に予め記憶(インストール)されている態様を説明したが、これに限定されない。撮影支援プログラム30は、CD−ROM(Compact Disk Read Only Memory)、DVD−ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、撮影支援プログラム30は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
10 撮像システム
12 メインカメラ
14 サブカメラ
16 撮影支援装置
20 CPU
21 メモリ
22 記憶部
23 表示部
24 操作部
26 外部I/F
29 バス
30 撮影支援プログラム
40 取得部
42 生成部
44 表示制御部
46 受付部
47 指定部
50、50A、50B、50C 推奨用俯瞰図
52 実位置俯瞰図
60、62、63、64、65 アイコン
70 メインカメラ画像
72 サブカメラ画像
73 推定撮像画像
S 撮影対象

Claims (9)

  1. 複数の撮像装置により撮影対象が撮像された撮像画像を取得する取得部と、
    前記取得部が取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記複数の撮像装置の相対的な位置関係を表す俯瞰図を生成する生成部と、
    前記生成部が生成した前記俯瞰図を表示部に表示させる制御を行う表示制御部と、
    を備えた撮影支援装置。
  2. 前記取得部は、前記複数の撮像装置の各々により撮像された撮像画像を取得し、
    前記表示制御部は、前記生成部が生成した前記俯瞰図と、前記取得部が取得した前記複数の撮像装置の各々により撮像された撮像画像のうちの少なくとも一つの撮像画像とを前記表示部に表示させる制御を行う、
    請求項1に記載の撮影支援装置。
  3. 前記表示部に表示させる撮像画像を、前記複数の撮像装置の各々により撮像された撮像画像のうちの、いずれの撮像画像とするかの指定を受け付ける受付部をさらに備え、
    前記表示制御部は、前記受付部が指定を受け付けた撮像画像を、前記表示部に表示させる制御を行う、
    請求項1または請求項2に記載の撮影支援装置。
  4. 前記表示制御部が前記表示部に表示させた前記俯瞰図に対して、前記複数の撮像装置の各々における位置及び向きの少なくとも一方について、変更後の状態が入力される指定部をさらに備え、
    前記生成部は、前記変更後の状態において前記複数の撮像装置の各々によって撮像されると推定される推定撮像画像をさらに生成し、
    前記表示制御部は、前記生成部が生成した前記推定撮像画像を前記表示部に表示させる制御を行う、
    請求項1から請求項3のいずれか1項に記載の撮影支援装置。
  5. 前記表示制御部が前記表示部に、前記複数の撮像装置の各々及び前記撮影対象の、前記撮影対象を撮影するために推奨される推奨用の相対的な撮像装置の位置である推奨用撮像装置位置をさらに表示し、前記俯瞰図に示される前記複数の撮像装置及び前記推奨用撮像装置位置の各々における位置及び向きの少なくとも一方について、変更後の状態が指定される指定部をさらに備え、
    前記生成部は、前記変更後の状態において前記複数の撮像装置の各々によって撮像されると推定される推定撮像画像をさらに生成し、
    前記表示制御部は、前記生成部が生成した前記推定撮像画像を前記表示部に表示させる制御を行う、
    請求項1から請求項4のいずれか1項に記載の撮影支援装置。
  6. 前記撮影対象の撮影が行われた相対的な位置関係を表す情報を記憶する記憶部をさらに備える、
    請求項1から請求項5のいずれか1項に記載の撮影支援装置。
  7. 前記撮像画像は動画像である、
    請求項1から請求項6のいずれか1項に記載の撮影支援装置。
  8. 複数の撮像装置により撮影対象が撮像された撮像画像を取得し、
    取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記複数の撮像装置の相対的な位置関係を表す俯瞰図を生成し、
    生成した前記俯瞰図を表示部に表示させる制御を行う、
    処理をコンピュータが実行する撮影支援方法。
  9. 複数の撮像装置により撮影対象が撮像された撮像画像を取得し、
    取得した撮像画像に含まれる前記撮影対象の画像に基づいて、前記複数の撮像装置の相対的な位置関係を表す俯瞰図を生成し、
    生成した前記俯瞰図を表示部に表示させる制御を行う、
    処理をコンピュータに実行させるための撮影支援プログラム。
JP2021024603A 2018-06-11 2021-02-18 撮影支援装置、撮影支援方法、及び撮影支援プログラム Active JP7416736B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024000277A JP2024026625A (ja) 2018-06-11 2024-01-04 撮影支援装置、撮影支援方法、及び撮影支援プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018111460 2018-06-11
JP2018111460 2018-06-11
JP2020525302A JP6841977B2 (ja) 2018-06-11 2019-04-18 撮影支援装置、撮影支援方法、及び撮影支援プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020525302A Division JP6841977B2 (ja) 2018-06-11 2019-04-18 撮影支援装置、撮影支援方法、及び撮影支援プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024000277A Division JP2024026625A (ja) 2018-06-11 2024-01-04 撮影支援装置、撮影支援方法、及び撮影支援プログラム

Publications (2)

Publication Number Publication Date
JP2021083117A true JP2021083117A (ja) 2021-05-27
JP7416736B2 JP7416736B2 (ja) 2024-01-17

Family

ID=68843177

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020525302A Active JP6841977B2 (ja) 2018-06-11 2019-04-18 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JP2021024603A Active JP7416736B2 (ja) 2018-06-11 2021-02-18 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JP2024000277A Pending JP2024026625A (ja) 2018-06-11 2024-01-04 撮影支援装置、撮影支援方法、及び撮影支援プログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020525302A Active JP6841977B2 (ja) 2018-06-11 2019-04-18 撮影支援装置、撮影支援方法、及び撮影支援プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024000277A Pending JP2024026625A (ja) 2018-06-11 2024-01-04 撮影支援装置、撮影支援方法、及び撮影支援プログラム

Country Status (2)

Country Link
JP (3) JP6841977B2 (ja)
WO (1) WO2019239717A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0548964A (ja) * 1991-08-19 1993-02-26 Nippon Telegr & Teleph Corp <Ntt> 映像とその撮影情報の提示方法
JP2008160550A (ja) * 2006-12-25 2008-07-10 Nippon Hoso Kyokai <Nhk> 撮影ショット候補設定装置及び撮影ショット候補設定プログラム
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP2015053636A (ja) * 2013-09-09 2015-03-19 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2016086250A (ja) * 2014-10-24 2016-05-19 株式会社日立製作所 キャリブレーション装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0548964A (ja) * 1991-08-19 1993-02-26 Nippon Telegr & Teleph Corp <Ntt> 映像とその撮影情報の提示方法
JP2008160550A (ja) * 2006-12-25 2008-07-10 Nippon Hoso Kyokai <Nhk> 撮影ショット候補設定装置及び撮影ショット候補設定プログラム
JP2014241496A (ja) * 2013-06-11 2014-12-25 ソニー株式会社 情報処理装置、撮像装置、情報処理方法、及びプログラム
JP2015053636A (ja) * 2013-09-09 2015-03-19 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2016086250A (ja) * 2014-10-24 2016-05-19 株式会社日立製作所 キャリブレーション装置

Also Published As

Publication number Publication date
JPWO2019239717A1 (ja) 2021-04-01
JP2024026625A (ja) 2024-02-28
JP7416736B2 (ja) 2024-01-17
WO2019239717A1 (ja) 2019-12-19
JP6841977B2 (ja) 2021-03-10

Similar Documents

Publication Publication Date Title
TWI434567B (zh) An image processing apparatus, an image processing method, an image processing program, and a recording medium
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP4752918B2 (ja) 画像処理装置、画像照合方法、および、プログラム
US10771761B2 (en) Information processing apparatus, information processing method and storing unit
JP2010141698A (ja) 撮像装置
JP6497965B2 (ja) 画像処理装置及び画像処理方法
CN102348065A (zh) 用于拍摄全景图像的方法和装置
JP6828708B2 (ja) 制御装置、監視システム、及び監視カメラ制御方法
JP2010141697A (ja) 撮像装置
WO2021200432A1 (ja) 撮影指示方法、撮影方法、撮影指示装置及び撮影装置
JP2020053774A (ja) 撮像装置および画像記録方法
JP2016224173A (ja) 制御装置及び制御方法
JP2022027804A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2013143592A (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
JP6841977B2 (ja) 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JP2018173924A (ja) 画像出力プログラム、画像出力方法および画像出力装置
US12051148B2 (en) Image processing apparatus, method for controlling the same, and non-transitory computer-readable storage medium
JP2018041201A (ja) 表示制御プログラム、表示制御方法および情報処理装置
JP5209100B2 (ja) 撮像装置
JP2017046106A (ja) 撮像装置,撮像方法,撮像プログラム
JP2019144958A (ja) 画像処理装置、画像処理方法およびプログラム
JP6625654B2 (ja) 投影装置、投影方法、および、プログラム
JP7561533B2 (ja) 撮影装置、画像処理装置、撮影装置の制御方法、画像処理装置の制御方法、撮影システム
JP2020005111A (ja) 情報処理装置、制御方法及びプログラム
JP5209139B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230530

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230822

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240104

R150 Certificate of patent or registration of utility model

Ref document number: 7416736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150