JP2020071324A - 情報処理装置、その制御方法、プログラム、及び記憶媒体 - Google Patents

情報処理装置、その制御方法、プログラム、及び記憶媒体 Download PDF

Info

Publication number
JP2020071324A
JP2020071324A JP2018204383A JP2018204383A JP2020071324A JP 2020071324 A JP2020071324 A JP 2020071324A JP 2018204383 A JP2018204383 A JP 2018204383A JP 2018204383 A JP2018204383 A JP 2018204383A JP 2020071324 A JP2020071324 A JP 2020071324A
Authority
JP
Japan
Prior art keywords
shooting
information
subject
image pickup
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018204383A
Other languages
English (en)
Other versions
JP7289626B2 (ja
Inventor
康平 岩渕
Kohei Iwabuchi
康平 岩渕
雄一 日塔
Yuichi Nitto
雄一 日塔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018204383A priority Critical patent/JP7289626B2/ja
Priority to CN201980072391.9A priority patent/CN112969963B/zh
Priority to PCT/JP2019/040201 priority patent/WO2020090420A1/ja
Priority to CN202211033557.6A priority patent/CN115412670A/zh
Publication of JP2020071324A publication Critical patent/JP2020071324A/ja
Priority to US17/243,343 priority patent/US11729494B2/en
Application granted granted Critical
Publication of JP7289626B2 publication Critical patent/JP7289626B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18Focusing aids
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】 本発明は、従来は、大きな被写体の高解像度の画像を得るためのパノラマ撮影を支援する技術は確立されていなかった。【解決手段】 本発明は上記課題を解決するため、被写体面に関する情報、撮像装置の仕様に関する情報、前記撮像装置が設置される位置に関する情報、及び解像度の条件を示す情報を取得し、各情報に基づいて、前記撮像装置によって前記被写体面をパノラマ撮影することによって、前記被写体面が被写界深度に収まり、かつ、前記解像度の条件を満たす画像を得るために前記撮像装置に設定されることが必要な撮影パラメータを決定し、決定された前記撮影パラメータ出力する。【選択図】 図3

Description

本発明は、複数の画像から構成するパノラマ画像の撮影支援システムに関する。
構造物の点検行為の一環として、ひび割れや錆などの変状の有無や過去からの推移を把握するために、構造物の撮影画像(写真)を解析する方法が提案されている。撮影画像からミリ単位の微細な変状を検出するためには、構造物の壁面を高精細に撮影する必要がある。そこで、撮影対象となる範囲を複数の領域に分割し、個々の領域毎に撮影を行うパノラマ撮影方式が採用されることがある。パノラマ撮影には、撮影範囲全体について撮影もれが無いよう、大量の撮影を行う必要から、パン及びチルトの駆動を順次自動で行う雲台装置と撮像装置を組み合わせた撮影システムが用いられる。
特許文献1では、撮影対象の範囲を分割した部分領域ごとに、被写体までの距離を取得し、個々の撮影領域で用いるレンズの焦点位置を決定した後に、複数の撮影領域の本番撮影を連続的に実行して各領域で合焦した画像を得る。
特開2011−237713号公報
撮影対象がダムなどの巨大な構造物である場合、その大きさ故にパノラマ撮影時の雲台装置の回転角度が大きくなり、強くあおりのついた画像が撮影されてしまう。また、放水路が中央正面に配置されたダムのような構造物では、正対する場所に撮像装置を設置することができないなど、あおりを強くせざるを得ない状況である場合も多い。一方、画像による構造物点検においては、変状の合焦状態が良いことに加え、画像から変状の実際の大きさを精度よく見積もるためにある程度以上の高い解像度が必要となる。撮影対象に対して強くあおりがついた状態では、撮像装置から被写体までの距離が近い部分と遠い部分の開きが大きいために、高解像度の画像を得ることが難しい。しかしながら従来は、大きな被写体の高解像度の画像を得るためのパノラマ撮影を支援する技術は確立されていなかった。そのため、ユーザの判断で撮像装置側のパラメータを試行しながら繰り返し撮影するなど手間がかかった。
本発明は、上記を鑑みてなされたものであり、大きな被写体を撮影するパノラマ撮影において、必要とされる解像度を有する画像を撮影する作業を支援することを目的とする。
以上の課題を解決するために、本発明の情報処理装置は、被写体面に関する情報、撮像装置の仕様に関する情報、前記撮像装置が設置される位置に関する情報、及び解像度の条件を示す情報を取得する取得手段と、前記取得された各情報に基づいて、前記撮像装置によって前記被写体面をパノラマ撮影することによって、前記被写体面が被写界深度に収まり、かつ、前記解像度の条件を満たす画像を得るために前記撮像装置に設定されることが必要な撮影パラメータを決定する決定手段と、前記決定手段によって決定された撮影パラメータを出力する出力手段と、を備える。
本発明によれば、大きな被写体を撮影するパノラマ撮影においても、必要とされる解像度を有する画像を撮影することが容易となる。
情報処理装置100を含むパノラマ撮影システムの構成の一例を表す図。 情報処理装置100のハードウェア構成、及び機能構成の一例を表す図。 パノラマ撮影支援システムのユーザインタフェースの一例を表す図。 情報処理装置100が実行するメイン処理の一例を表すフローチャート。 情報処理装置100が実行する処理の一例を表すフローチャート。 パノラマ撮影支援システムにおいて生成されるデータの一例を表すテーブル。 被写体と撮像装置との位置関係の例を模式的に表す図。 被写体と撮像装置との位置関係の例を模式的に表す図。 被写体と撮像装置との位置関係の例を模式的に表す図。 情報処理装置100の機能構成の一例を表す図。 パノラマ撮影支援システムにおいて生成されるデータの一例を表すテーブル。 情報処理装置100が実行する処理の一例を表すフローチャート。 被写体と撮像装置との位置関係の例を模式的に表す図。 パノラマ撮影支援システムのユーザインタフェースの一例を表す図。 パノラマ撮影支援システムのユーザインタフェースの一例を表す図。 情報処理装置100が実行する処理の一例を表すフローチャート。
以下、本発明に係る実施例の情報処理を、図面を参照して詳細に説明する。なお、実施例に記載する構成は例示であり、本発明の範囲をそれらの構成に限定する趣旨のものではない。
<第1の実施形態>
第1の実施形態として電子雲台に設置されたデジタルカメラを制御し構造物のパノラマ撮影を行う撮像装置を支援するパノラマ撮影支援システムを説明する。図1は、情報処理装置100を含むパノラマ撮影システムの構成の一例を表す図である。図1において、撮像装置101は、雲台装置102に設置され、三脚103によって固定されている。駆動ユニット104および駆動ユニット105は、それぞれが雲台装置をパン方向とチルト方向に駆動させる。通信ケーブル107によって、撮像装置101は、雲台装置102に接続される。情報処理装置100は、パノラマ撮影システムの制御装置であって、ディスプレイと入力装置(キーボード及びポインティングデバイス)を備える。本実施形態ではラップトップ型のコンピュータを想定するが、タッチパネルディスプレイを備えるタブレットPC等でもよい。また、本実施形態では、情報処理装置100と雲台装置102は通信ケーブル107によって接続されるものとするが、両者の接続は無線ネットワークによるものであっても構わない。
図2(a)は、本実施形態に係るパノラマ撮影支援装置として動作する情報処理装置100のハードウェア構成図である。中央演算装置(以下、CPU201と記す)は、制御プログラムに基づいて、情報の演算や加工、各ハードウェアの制御を実行することにより後述する各機能構成、処理を実現する。リードオンリーメモリー(以下、ROM202と記す)は、CPU201の動作処理手順を規定する制御プログラムを記録している。ROM202には、撮像装置の機器制御を行うシステムプログラムである基本ソフト(OS)を記録したプログラムROMとシステムを稼動するために必要な情報などが記録されたデータROMがある。ランダムアクセスメモリ(以下、RAM203と記す)は、CPU201の主メモリとして、実行プログラムのロードやプログラム実行に必要なワークメモリとして機能する。ディスプレイ204は、情報処理装置100から出力される各種情報を表示する、即ちユーザに提示するための表示部である。入力装置205は、本実施形態ではキーボードおよびマウス等のポインティングデバイスであって、ユーザが情報処理装置100に対する情報入力を行う入力部として機能する。通信モジュール206は、情報処理装置100が、雲台装置102及び撮像装置101とやり取りするための各種情報及び制御信号を送受信する。ハードディスク装置(HDD207)は、補助記憶装置として機能する。ただし、HDD207はネットワークを介して接続された外部装置に置き換えられてもよい。入出力バス208は、上述した各モジュール間を接続するアドレスバス、データバス、及び制御バスである。
図2(b)は、情報処理装置100のソフトウェアの構成を示すブロック図の一例である。これらの各機能部は、CPU201が、ROM202に格納されたプログラムをRAM203に展開し、後述する各フローチャートに従った処理を実行することで実現されている。そして、各処理の実行結果をRAM203に保持する。また例えば、CPU201を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、ここで説明する各機能部の処理に対応させた演算部や回路を構成すればよい。
取得部210は、後述するユーザインタフェース画面に対するユーザ操作によって入力された撮影条件を取得する。本実施形態において、ユーザが入力する撮影条件は、被写体に関する情報や、撮像装置に関する情報、被写体と撮像装置との位置関係に関する情報、および必要とされる解像度情報を含む撮影設定に関する情報からなる。なお、本実施形態の被写体に関する情報は、具体的には被写体の大きさを示す高さと幅の情報である。撮像装置に関する情報には、カメラ機種、パノラマ撮影における一枚の撮影画像の幅と高さ、レンズ機種が入力される。システムが予め、カメラの機種ごと、及びレンズの機種ごとのスペック(例えばカメラのセンサの詳細やレンズの焦点距離の範囲等の仕様)情報を保持することで、機種名の入力を、それぞれのスペックに関する具体的な数値情報に置き換えて解析することができる。ただし、カメラ・レンズの機種名ではなく、それぞれの数値の入力により情報を取得する形式であってもよい。さらに、撮像装置に関する情報として、撮像装置が設置される撮影位置(被写体との位置関係を表す情報)が取得される。必要とされる解像度とは、画像を解析して構造物に生じた変状を検知する処理を利用した構造物の点検作業において、変状の実際の大きさを正確に見積もるために条件となる解像度であって、具体的な数値あるいは数値の範囲で指定される。
パラメータ決定部211は、取得部210によって取得された撮影条件や撮影位置に基づいて、ユーザに必要とされ解像度のパノラマ画像を得るために撮像装置に設定されることが必要な撮影パラメータを決定する。本実施形態では、撮影パラメータは、焦点距離と絞り(F値)の組み合わせである。パラメータ決定部211は、焦点距離と絞り(F値)の組み合わせを複数生成する。選択部212は、パラメータ決定部211によって決定された撮影パラメータから、ユーザ操作等に基づいて1つを選択する。本実施形態の場合、撮影パラメータは焦点距離とF値の組み合わせであるので、それぞれ1つの値を選択する。
画角決定部213は、取得部210に取得された撮影位置の情報と、選択部212に選択された撮影パラメータに基づいて、パノラマ撮影で必要とされる解像度の画像を撮影することが可能な撮影角度(以下、パノラマ撮影画角と記す)を決定する。出力部214は、パラメータ決定部211によって決定された撮影パラメータ、および、画角決定部213によって決定されたパノラマ撮影画角を出力する。本実施形態では、決定された撮影パラメータ、および、パノラマ画角を示す画像を表示部として機能するディスプレイ204に出力し、表示させる。
ここで図3は、ディスプレイ204に表示される、本実施形態のパノラマ撮影支援システムのユーザインタフェースの一例を表す図である。図3において、アプリケーション画面300内の領域301〜303は、ユーザが撮影条件を入力する領域である。領域301は、被写体に関する情報を入力する領域であり、本実施形態の場合、被写体の幅と高さを示すメートル単位の数値が入力されるテキストフォームが配置される。領域302は、ユーザが撮影機材に関する情報を入力する領域である。本実施形態では、カメラ機種、パノラマ撮影における一枚の撮影画像の幅と高さ、レンズ機種を、それぞれドロップダウン形式のリストとして表示している。ユーザは、それぞれのリストから1つを選択できる。領域303は、ユーザが、必要とする解像度を入力する領域であって、本実施形態ではpx/mmの単位の数値の入力を受け付けるテキストフォームが配置される。
領域304は、被写体と撮像装置との位置関係をグラフィカルに表示する領域である。本実施形態では、構造物の配置図面や空撮写真などをソース情報として読み込んで利用する。読み込んだ画像において、ユーザは矩形などで被写体を囲うなどして、被写体306を特定する。被写体は、ソース情報において定義されている座標を用いて表され、上記ソース情報と関連付けられて記録される。なお、ユーザによる指定操作に拠らず、画像認識技術によってソース情報から被写体となりうる領域を特定してもよい。領域304には、ソース情報に基づく座標系が定義される。領域304において、アイテム307は、撮像装置101が設置される位置(以下、撮影位置と記す)を表す指標である。ユーザは、領域301〜303のそれぞれ情報を入力し、被写体と撮像装置の位置関係を示す情報(ソース情報、被写体、撮影位置)を入力した段階で、設定ボタン314を指示する。情報処理装置100では、設定ボタン314が指示されたことに応じて、入力された各種情報に基づいて、撮影パラメータを求める処理を開始する。
領域305は、撮影パラメータを表示する領域である。本実施形態において、撮影パラメータとは、撮像装置101に設定される各種情報のうち、「焦点距離(f)」と「絞り(F値)」である。領域305において、撮影パラメータはスライダー上のユーザインタフェース部品を用いて、選択可能に表示される。それぞれのスライダーの最大の長さ(つまみの可動範囲)は、領域302に入力された撮像装置の情報に基づいて設定される。ユーザはつまみ309を動かすことで、焦点距離f(mm)を選び、つまみ310を動かすことで絞り(F値)を選ぶことができる。後述するパラメータ決定部211による処理により、必要とする解像度のパノラマ画像を得るための撮影パラメータの複数が決定された場合、それぞれのスライダーにおいて、決定されたパラメータの範囲が示される。例えば、アイテム312及びアイテム313のような図形により、決定された撮影パラメータの範囲を示す。ユーザは、アイテム312が示す範囲から焦点距離を選び、及びアイテム313が示す範囲からF値を選ぶことができる。また、焦点距離が選ばれることで、アイテム313が囲むF値の範囲が変化し、F値が変化することで、アイテム312が囲む焦点距離の範囲が変化することがある。
次にアイテム308は、領域305内のスライダーの操作により、ユーザに選ばれた撮影パラメータを用いて、307で示される位置からパノラマ撮影を行った場合に撮影可能な、被写体面の範囲を表す。領域304の場合は、俯瞰図のためアイテム308は撮影範囲の幅を表現する。アイテム308は、選択される撮影パラメータに応じて変化する。領域311は、撮影パラメータの選択時に参考となる情報を表示する領域である。本実施形態では、選択されたパラメータを用いて撮影が行われる場合、1度のパノラマ撮影において撮影される画像の枚数と、それらの解像度の理論値が表示される。
図4は、本実施形態における情報処理装置100が実行するメイン処理の一例を表すフローチャートである。本実施形態では、情報処理装置100において、パノラマ撮影支援システムが起動されると、図3に示した画面300が表示され、図4のフローチャートが開始される。なお、画面300に入力されている各種情報は、初期化されるか、あるいはユーザの指示のもと保存されていた過去の入力情報を、初期値として読み込む。以下、各工程(ステップ)は、それら符号の先頭にはSを付与して説明することとする。
S401では、設定ボタン314の指示を契機に、取得部210が、ユーザによって画面300に入力された撮影条件の情報を取得する。取得される撮影条件には、少なくとも被写体に関する情報、撮像装置に関する情報、被写体と撮像装置の位置関係に関する情報、および必要とされる解像度の条件を示す情報が含まれる。
S402では、パラメータ決定部211が、撮影条件および撮影位置に基づいて、パノラマ撮影において被写体全体にピントが合うような撮影パラメータを決定する。決定された撮影パラメータは図6で示すようなテーブルに格納される。図6は、本実施形態に係るパノラマ撮影支援システムにおいて生成されるデータの一例であって、撮影条件に基づいて決定された撮影パラメータを格納するテーブルである。本実施形態は、撮影パラメータは焦点距離とF値の組み合わせであり、図6のテーブルの各レコードはこの組み合わせを表す。カラム601には、撮影パラメータを一意に特定するために付与されるIDの情報が格納される。カラム602には、撮影パラメータの構成要素である焦点距離f(mm)、カラム602には、絞り(F値)の値が格納される。S402の処理の詳細は、図5(a)のフローチャートを参照して後述する。パラメータ決定部211は、生成したテーブルをRAM203に保持する。なお、フォーカスする範囲を被写体全体ではなく、被写体の一部に限定してもよい。その場合、領域304上で被写体の一部を撮影対象として指定しておく。
S403では、パラメータ決定部211が、S402の処理により少なくとも1つ(1組)の撮影パラメータが決定されたかを判定する。撮影パラメータが少なくとも1つ決定された場合、S404に進む。撮影パラメータが決定されていない場合、ユーザに撮影条件の再設定を促し、処理はS401に戻る。
S404では、出力部214が、RAM203に保持されたテーブルを参照し、画面300を更新して決定された撮影パラメータの組合せを出力する。本実施形態では、図3のアイテム312及びアイテム313を新たに表示する、あるいは更新する。図6のテーブルによれば、焦点距離が24(mm)のとき、F値は4〜11、焦点距離が35(mm)のとき、F値は5.6〜11、焦点距離が50(mm)のとき、F値は8〜11、焦点距離が70(mm)のとき、F値は11、という組み合わせがある。図3の例では、つまみ309が、焦点距離35(mm)を選択する位置にあるため、アイテム313は焦点距離35に対応するF値5.6〜11を囲んでいる。一方で、つまみ310が、F値11を選択する位置にあるため、アイテム312は対応する焦点距離24〜70(mm)を囲んでいる。例えば、つまみ309がユーザ操作により移動され、焦点距離24(mm)を選択した場合、アイテム313はF値4〜11を囲むように変化する。
なお、スライダーに設定する初期値(S404実行した直後のつまみ309およびつまみ310の位置)として、S402において生成された1以上の撮影パラメータからどれを選択するかについては、例えばもっとも焦点距離とF値が小さい組とする。また例えば、もっとも焦点距離とF値が大きい組であってよいし、それぞれが平均的な組を選んでもよい。また、球面収差や小絞りボケなど、絞りの多寡による画質への影響を避けるため、適当なF値の範囲が経験的に知られている場合、それに従って推奨されるF値を初期値にしてもよい。
S405では、選択部212が、決定部211に決定された撮影パラメータのうち、ユーザ操作により特定された撮影パラメータを選択する。本実施形態の場合、つまみ309あるいはつまみ310の位置が更新される度に、その位置に基づいて、撮影パラメータを選択する。撮影パラメータを選択することは、図6のテーブルから1つのIDによって識別される1つのレコードを特定することに当たる。
S406では、画角決定部213が、取得された撮影条件、撮影位置およびS405で選択された撮影パラメータに基づいて、パノラマ撮影画角を決定する。S406で実行される処理の詳細は、図5(b)のフローチャートを用いて後述する。S407では、出力部214が、画角決定部213に決定されたパノラマ撮影画角を出力する。具体的には、画面300のアイテム308を新たに表示する、あるいは更新する。
図5(a)は、S402でパラメータ決定部211により実行される、撮影パラメータを生成する処理を説明するフローチャートである。S501では、パラメータ決定部211が、撮影条件(本実施形態ではユーザに入力されたカメラ機種、レンズ種類)から、焦点距離およびF値の範囲を特定し、それらの組み合わせを生成する。ただし、S501の時点では、生成される組み合わせは、あくまでもユーザが入力した撮影条件から可能な組み合わせを網羅的に生成するものであって、ユーザが必要する解像度を得る撮影が可能であるとは限らない。従って以下では、S501において生成された組み合わせを撮影パラメータの候補と記す。撮影パラメータの候補は、図6のテーブルに格納される。S502では、S501で生成された撮影パラメータの候補の数だけ、S503〜S507を繰り返すように制御される。
S503では、パラメータ決定部211が、撮像装置から被写体面上の最も遠い点(以下、最遠点と記す)までの距離dfarを求める。dfarの求め方を、図7に模式的に表す。図7(a)は被写体を頭上から見た図である。被写体面の高さをS、幅をSとすると、被写体面に対して、あおり角θ、距離dの位置に撮像装置が設置されている場合、図7(a)上のd´farは、式1のように求められる。
Figure 2020071324
図7(b)は被写体を斜めから見た図である。地面から撮像装置までの高さをCとすると、図7(b)のdfarは、式2のように求められる。
Figure 2020071324
S504では、パラメータ決定部211が、撮像装置から被写体面上の最も近い点(以下、最近点と記す)までの距離dnearを求める。dnearの求め方を、図8に模式的に表す。図8(a)および(b)は、被写体を頭上から見た図である。撮像装置が被写体面の正面に位置しているならば(dsinθ≦Sw/2)、図8(a)に示すように、dnearは式3のように求められる。
Figure 2020071324
また、撮像装置が被写体面の正面から外れている場合(dsinθ>Sw/2)、図8(b)に示すように、式4のように求められる。
Figure 2020071324
S505では、パラメータ決定部211が、撮影パラメータ候補などから被写界深度を特定する。被写界深度は前方被写界深度Dと後方被写界深度Dからなり、それぞれ式5および式6のように求められる。ここで、dは撮像装置から被写体面までの距離、δは許容錯乱円径(定数)である。
Figure 2020071324
S506では、パラメータ決定部211が、ある撮影パラメータ候補を採用したとき、被写体全体にフォーカスしたパノラマ撮影ができるかどうかを判定する。具体的には、最遠距離dfarと最近距離dnearの差が、S505で求めた被写界深度内に収まっているかを判定すればよい。
最も被写界深度を有効に使うには、被写界深度全体(後方被写界深度+前方被写界深度)>(dfar−dnear)となるような被写体までの距離dを数値的に求める必要があるが、このような計算はコストが高い。そこで本実施形態では、計算量を削減するため、d=dfarまたはd=dnearとする。前者の場合は(dfar−dnear)が前方被写界深度Dに収まっているかを判定基準とし、後者の場合は(dfar−dnear)が後方被写界深度Dに収まっているかを判定基準とする。以上の撮影パラメータ棄却条件を式として表すと、式7のようになる。
Figure 2020071324
S507では、パラメータ決定部211が、S506において式7の条件を満たさなかった撮影パラメータ候補を、図6のテーブルから削除する。以上のように、S501で生成したすべての撮影パラメータ候補を、(式7)を用いて絞り込む。そうして図6のテーブルに残った撮影パラメータ候補を撮影パラメータとする。そうして処理は、図4のS403に進む。
次に、図5(b)及び図9を参照して、S406で画角決定部213により実行される、撮影範囲を表すパノラマ撮影画角(以下ではφを用いて表す)を決定する処理を説明する。図5(b)は、パノラマ撮影画角φを決定する処理の一例を表すフローチャートである。ここでは簡単のため、図9(a)の模式図に表されるように、パン方向・チルト方向ともに同一のパノラマ撮影画角φで表されることとする。
S511では、画角決定部213が、仮のパノラマ撮影画角φ´を初期化する。具体的には、φ´に0°を設定する。S512では、撮像装置から被写体面に対して垂線を下ろし、垂線の長さdを求める。ここで、撮像装置が被写体面の正面に存在しない場合、被写体面を含む平面を撮像装置の正面まで拡張し、その面に下ろした垂線の長dを求める。S513では、画角決定部213が、仮のパノラマ撮影画角φ´を一時的に保存する。さらにS514では、仮のパノラマ撮影画角φ´に微小角度δφを足し合わせ、仮のパノラマ撮影画角Φ´を拡張する。
S515では、画角決定部213が、仮のパノラマ撮影画角φ´でパノラマ撮影する場合の撮影範囲について、撮像装置からその撮影範囲上の最遠点までの距離dsubject,farを求める。本実施形態では、仮のパノラマ撮影画角はパン方向・チルト方向ともに角度φ´の広がりを持っているため、撮影範囲上の最遠点pは撮影範囲の各頂点となる。まず、撮影範囲の幅と高さの半分の長さであるl/2を、図9(b)に示すように求める。次に、垂線の足Hと最遠点pを結ぶベクトルの大きさdを図9(c)に示すように求める。最後に、図9(d)に示すように、撮像装置から撮影範囲上の最遠点までの距離dsubject,farを特定する。dsubject,farは、dの大きさと、垂線の足Hと最遠点pを結ぶベクトルの大きさから三平方の定理を用いて特定することができる。
S516では、画角決定部213が、撮影範囲上の最遠点における解像度r(px/mm)を求める。撮影画像に写る被写体面のサイズをSsubject、撮像装置から被写体面までの距離dsubject、センササイズをSsensorとすると以下の関係式が成り立つ。
Figure 2020071324
ここで、撮影画像に写る被写体面のサイズSsubjectは、撮影画像のサイズSimage/解像度r(px/mm)で表されるため、上記の関係式は以下のように書き換えられる。
Figure 2020071324
上記関係式を解像度rについて整理する。
Figure 2020071324
センササイズSsensor、撮影画像サイズSimageは撮影条件により、焦点距離fは撮影パラメータより既知である。そのため、S514で求めた撮像装置から撮影範囲上の最遠点までの距離dsubject,farを式8のdsubjectに代入することで、撮像装置から撮影範囲上の最遠点での解像度rfarが求められる。
S517では、画角決定部213が、S401において取得されたユーザにより必要とされる解像度(px/mm)とS516で特定した解像度rを比較する。解像度rが必要とされる解像度よりも小さい場合、撮影範囲の全域でユーザの必要解像度を満たしたパノラマ撮影ができる、すなわち、撮影範囲をより広く取ることが可能であることを意味する。その場合、S513に戻り、パノラマ撮影画角を拡張する。そうでない場合、撮影範囲にはユーザの必要解像度を満たさない領域が含まれているということを意味する。そのため、S518において、S513で最後に保存した仮のパノラマ撮影画角φ´を取り出し、それをパノラマ撮影画角φして決定する。そしてS407において、決定したパノラマ撮影画角φに基づいて、領域304上に撮影範囲を特定し、画面300にアイテム308として表示する。
ユーザは、以上の処理によって表示された画面300を確認し、必要とする解像度のパノラマ画像を撮影することが可能な撮影パラメータを確認することができる。具体的には、ユーザは、領域305に表示された撮影パラメータのうち、つまみ309とつまみ310によって示される、撮影パラメータを参照して、実際に撮像装置101の設定を行う。さらには、ある撮影パラメータを選んだ場合にパノラマ撮影によって撮影可能な被写体面の範囲を知ることができる。
また、S406で求めたパノラマ撮影画角を確認して、雲台装置102にパノラマ撮影の範囲を設定することもできる。その場合には、S406で求めたパノラマ撮影画角を、雲台装置102に入力可能な数値情報としてもユーザに提示するとより利便性が高まる。ユーザは数値を確認し、パノラマ撮影の範囲を角度として設定することができる。なお、情報処理装置100によって決定された撮影パラメータを撮像装置101に、パノラマ撮影画角を雲台装置102に自動で設定するように構成してもよい。このとき、パノラマ撮影画角はパン角およびチルト角で表現され、パノラマ撮影の範囲に関する設定として雲台装置102に設定される。また、雲台装置が自走可能な台車やドローン等にマウントされており、図4において入力した撮影位置および撮影向きを入力して撮像装置および雲台装置の位置および方向を自動的に設定してもよい。
また、本実施形態によれば、理論的に特定された撮影範囲が可視化されることで、ユーザは、できるだけ広い範囲を一か所の撮影位置から撮影できるように、撮影パラメータを決めたり、撮影機材を選んだりすることが容易にできる。そして、撮影範囲が可視化された後に、撮影パラメータを選択し直す操作も可能となる。その場合、図4のS406以降の処理が再実行され、選択し直された撮影パラメータに基づいた再び撮影範囲が可視化される。
さらには、S405における撮影パラメータの選択時や、撮影パラメータの再選択時に参考となるような種々の情報を表示してもよい。本実施形態における図3の画面300の場合、領域311は、一度のパノラマ撮影において撮影する画像の合計枚数と、パノラマ撮影時の最大解像度および最小解像度からなる撮影パラメータ選択の参考情報である。ユーザがスライダーのつまみを動かして撮影パラメータを選択し直すたびに、参考情報は再計算されるため、ユーザは参考情報を基に撮影パラメータを選択することが可能となる。例えば、できるだけ撮影枚数が少なくなるような選択の仕方や、解像度の差が小さくなるような選択の仕方が可能となる。
なお、本実施形態において、領域304には二次元の図面や地図もしくは航空写真等が表示されているが、それらに相当する内容を三次元で表示してもよい。その場合、少なくとも三次元空間内に適切なスケールが設定され、被写体となる構造物の三次元モデルが配置されている必要がある。三次元モデル上に撮影範囲を可視化することで、ユーザはより直感的に撮影範囲を確認することが可能となる。
以上のように、本実施形態によれば、ユーザはあおりが付きやすい設定環境においてパノラマ撮影により構造物を撮影する場合に、必要とする解像度の画像を得るのに適したパラメータの設定を容易に行うことができる。例えば、撮影終了後に画像処理を施す段階になってから、必要とする解像度が得られていないために、様々な条件やパラメータを変えて撮り直しを行うような手間を発生させずにすむ。大きな構造物の表面を高解像度で撮影する作業が効率化されることから、特に、画像を解析して構造物に生じた変状を検知する処理を利用した点検作業が容易となる。
<第2の実施形態>
第1の実施形態では、ユーザが入力した撮影条件と、初期状態で設定される撮影位置に基づいて、その撮影位置から行うパノラマ撮影に好適な撮影パラメータとパノラマ撮影画角を求めた。一方、第2の実施形態では、ユーザが入力した撮影条件と、初期状態で設定される撮影位置に基づいて、ユーザ支援情報として撮影に好適な他の撮影位置を提示する。例えば、被写体が巨大な構造物である場合など、初期状態で設定される撮影位置に基づいて決定されたパノラマ撮影画角(撮影範囲)に、被写体面の全体が含まれない場合もある。つまり、1度のパノラマ撮影で全体を撮影しきれない場合がある。第2の実施形態では、被写体を一度のパノラマ撮影で撮り切らず、複数回のパノラマ撮影に分けて撮影することが想定される場合には、ユーザ支援情報としてさらに2回目以降の撮影に好適な撮影位置を提示することが可能となる。以下では、2回目以降のパノラマ撮影を追加撮影と記す。
第2の実施形態は、第1の実施形態と同じハードウェア構成の情報処理装置100によって実行可能である。図10(a)は、第2の実施形態に係る情報処理装置100の機能ブロック図である。ここでは第1の実施形態で説明した図1(b)と共通する機能部の説明は省略する。位置決定部1001は、複数回の追加撮影のそれぞれの撮影位置を決定する。本実施形態では、決定された撮影位置はテーブル形式で生成され、RAM203に保持される。図11(a)は、パノラマ撮影支援システムにおいて生成されるデータの一例であって、追加撮影の撮影位置を格納するテーブルを表す。カラム1101には、追加撮影を一意に区別するためのIDが格納される。カラム1102には、追加撮影の撮影位置を示す位置情報が定義される。本実施形態では、領域304に定義される座標系に基づいて位置情報が決定される。なお、第1の実施形態と同様、領域304に定義される座標系は、領域304を設定するために読み込まれた図面などのソース情報に準じる。
第2の実施形態のメイン処理は、第1の実施形態と同様、図4のフローチャートに沿って実行されるため、ここでは説明は省略する。第2の実施形態では、図4のフローチャートにより、撮影範囲の出力が実行された段階で、位置決定部1001により、図12のフローチャートの処理が開始される。
なお、本実施形態においては、被写体面がユーザに対して平行に広がっていると仮定し、被写体の幅方向に撮影位置を平行移動(以下、シフトと記す)することによって追加撮影の各撮影位置を決定する。シフトの量は、第1の実施形態で求めた撮影範囲の幅に基づいて特定する。
S1201では、位置決定部1001が、撮影位置のシフト量T(m)を求める。隣り合う撮影範囲との重なり率をR、撮影範囲の幅をlとすると、式9のように求められる。
Figure 2020071324
S1202では、位置決定部1001が、現在の撮影位置から左右それぞれに何回分シフトできるかを計算する。まず、初期位置からパノラマ撮影した場合の撮影範囲の左右の未撮影領域の長さXを求める。図13は、被写体と撮像装置との位置関係に基づき、長さXを求める様子を模式的に表す。図13に示すように、初期の撮影位置が被写体面の中央より左に位置する場合、左側の未撮影領域の大きさは式10で特定でき、右側の未撮影領域の大きさは式11で特定できる。初期位置が被写体面の中央より右側に位置する場合、算出式が左右で入れ替わる。
Figure 2020071324
次に、未撮影領域の長さを撮影範囲の長さで割り、左右それぞれにシフト可能な回数を求める。このとき、撮影範囲の重なり率を考慮することに注意する。シフト回数は式12のように特定する。ここでceil関数は、引数xに対して、x以上の最小の整数を返す関数である。
Figure 2020071324
S1203において、位置決定部1001が、シフトの方向の初期値を設定する。ここでは、シフト方向の初期値を撮像装置の左手方向に設定する。ただし、もちろん、右手方向から始めてもよい。
S1204では、現在のシフト方向、ここでは撮像装置の左手方向へのシフト回数分だけ後述するS1205を実行するように制御が行われる。S1205では、S1201で求めたシフト量だけ、撮影位置を現在のシフト方向へ移動する。その後、シフト後の撮影位置を追加撮影の撮影位置として図11のテーブルに記録する。S1206では、シフト量を0にして、初期撮影位置に戻る。S1207では、S1203で求めたシフト方向を逆転する。
S1208では、位置決定部1001により、現在のシフト方向、ここでは撮像装置の右手方向へのシフト回数分だけ後述するS1209を実行するように制御が行われる。S1209では、S1201で求めたシフト量だけ、撮影位置を現在のシフト方向へ移動する。その後、シフト後の撮影位置を追加撮影の撮影位置として図11(a)のテーブルに記録する。S1210では、位置決定部1001が、図11(a)のテーブルに格納された追加撮影の撮影位置を領域304上に表示する。本実施形態において、追加撮影の撮影範囲を表すパノラマ撮影画角は第1の実施形態で求めたパノラマ撮影画角と同様のものが使用される。そのため、追加撮影の撮影範囲を可視化する際には、第1の実施形態で求めたパノラマ撮影画角が用いられる。また、被写体の幅方向に平行移動するのみで撮像装置(レンズ)から被写体までの距離に変化はないことが前提であるので、シフト後の撮影位置においては、初期位置と同じ撮影パラメータによる撮影で、被写体面は被写界深度に含まれる。
図14は、追加撮影の撮影位置および撮影範囲を領域304上に可視化した場合の画面300の例を表す図である。アイテム1401は、それぞれが追加撮影の撮影位置を表し、アイテム1402は、それぞれが追加撮影の撮影範囲を表す。ただし、図14においてアイテム1402の撮影範囲とは、それぞれの撮影位置にあるアイテム1401の画角に含まれる撮影対象構造物の表面の範囲のそれぞれを差している。それぞれの撮影範囲とその重なりを明確に表現するために、アイテム308のような線分を、例えば、色分けする等により区別して表示してもよい。
本実施形態によれば、ユーザに指定された初期状態の撮影位置に基づいて特定された撮影範囲で被写体全体を撮影できない場合、複数回の追加撮影のための撮影位置およびその撮影範囲をさらに特定、出力することが可能である。ユーザは、提示された撮影位置およびその撮影範囲を、予めあるいはリアルタイムに確認しながら、パノラマ撮影を実行できるので、撮影現場における試行ややり直しの手間が低減される。大きな構造物の表面を高解像度で撮影する作業が効率化されることから、特に、画像を解析して構造物に生じた変状を検知する処理を利用した点検作業が容易となる。
なお、初期状態の撮影位置として指定される情報がユーザ入力により更新された場合、それに伴って追加撮影の撮影位置をリアルタイムに更新してもよい。その場合、初期撮影位置の更新ごとに図12の処理が実行され、各追加撮影の撮影位置が再計算されるとともに、304上の表示が更新される。
ここで初期状態の撮影位置とは、パノラマ撮影が行われる現場の状況を把握するユーザが、図1のパノラマ撮影システムを設置可能な位置として指定する位置である。つまり、第2の実施形態は、現実的に撮像装置を設置可能な位置に関する情報がユーザから入力されたことに応じて、システムから、更なる撮影位置を提案することができるものである。従って、第2の実施形態では、図4のフローチャートのうちS402〜S405を省略して、代替処理として最初に設定される撮影条件の一部としてユーザから指定された撮影パラメータを受け取ってもよい。または、S404を省略し、S405で最適な撮影パラメータの組合せを自動選択してもよい。このような変形を行った場合でも、第2の実施形態によれば、ユーザは、提示された撮影位置およびその撮影範囲を確認した上で、パノラマ撮影を実行できるので、撮影現場における試行ややり直しの手間が低減される。
また、初期状態の撮影位置は領域304に1か所の撮影位置を指定する方法に限らず、例えば、実際の状況を鑑みて撮像装置を設置することが可能と思われる範囲で指定する方法を採用してもよい。この場合は、例えば、指定された範囲内から初回の撮影位置を特定するためのルール(例えば、X座標とY座標が最小の点)を予め用意し、その位置を初期状態の撮影位置とみなして一連の処理を行う。また例えば、指定された範囲内に初回の撮影位置の候補を複数特定するためのルール(例えば、領域304の座標系をグリッド化した各格子点のうち指定された範囲に含まれる全て)を予め用意し、各位置を初期状態の撮影位置とみなして一連の処理を行う。初回の撮影位置を採用するかは、ユーザに選択させてもよいし、追加撮影を含めた撮影回数が最小となるパターンを特定してユーザに提示してもよい。
<変形例>
第2の実施形態では、ユーザに指定された初期状態の撮影位置に基づいて、追加撮影の1以上の撮影位置を特定し、対応する撮影範囲と併せてユーザに提示した。ここからは、第2の実施形態の変形例として、提示された追加撮影の撮影位置のそれぞれに対して、ユーザにから使用可否の指示を受け付けることにより、提示する撮影位置を調整可能とする場合を説明する。例えば、図15の領域304に示すような撮影現場でパノラマ撮影が行われる場合、追加撮影の撮影位置の中には被写体面の間に障害物1501が存在するものがある。このように、理論的に提案された追加撮影の各撮影位置からは、必ずしも被写体を撮影できるとは限らない場合がある。そこで変形例では、現場の状況をより詳細に知り得るユーザから、現実的に撮像装置を設置可能な位置の情報を更に取得し、提案する追加撮影の撮影位置に反映する。
変形例では、まず、ユーザは第2の実施形態で求めた追加撮影の撮影位置1401のうち、パノラマ撮影に使用するものを指定する。以下では、ユーザに指定された撮影位置を「確定状態」であると記す。なおユーザによる確定状態の指定は、マウスなどのポインティングデバイスやタッチパネル等を利用して撮影位置1401のいずれかを示すことにより入力される。次に、情報処理装置100は、被写体面のうち、確定済みの撮影位置のみからでは撮影できない範囲を求めてユーザに提示し、ユーザはその範囲を撮影可能な位置に未確定の撮影位置1401を移動させる。最後に、情報処理装置100により、被写体面上の撮影不可能な領域について、ユーザによって移動された撮影位置1401から撮影可能な撮影範囲を決定する処理を実行する。
以下では、追加撮影の撮影位置をユーザが移動させた場合の処理について記述する。なお、変形例における移動された撮影位置1401から撮影可能な撮影範囲を決定する処理は、第1及び第2の実施形態で実行された、ユーザに指定された初期撮影位置から撮影可能な撮影範囲を決定する処理を基礎としたものとなる。以下では、第1及び第2の実施形態と共通する要素の説明を適宜省略し、差異を中心に説明する。
図10(b)は、変形例に係る情報処理装置100の機能ブロック図である。変形例の取得部1002は、撮影条件や初期撮影位置の情報に加え、ユーザによる追加撮影の撮影位置を表すアイテム1401のいずれかの指定操作と、追加撮影の撮影位置の変更操作により入力される情報を取得する。
管理部1003は、位置決定部1001によって決定された追加撮影の撮影位置の確定状態/未確定状態を管理する。第2の実施形態と同様、決定された撮影位置はテーブル形式で生成され、RAM203に保持される。図11(b)は、変形例において、追加撮影の撮影位置を格納するテーブルの一例を示す。図11(a)同様、カラム1101には追加撮影のID、カラム1102には撮影位置の座標が格納される。そして図11(b)のテーブルでは、カラム1103に、各レコードの追加撮影の確定状態を示す情報が格納される。確定状態は「確定」と「未確定」の二値をとり、初期状態では全ての追加撮影の確定状態は「未確定」である。管理部1003は、取得部1002から、アイテム1401のいずれかが選択されたことを示す通知を受け取ると、対応する追加撮影を確定状態として記憶する。具体的には、図11(b)のテーブルに格納された追加撮影を表すレコードの内、ユーザ操作により指定された追加撮影に対応するレコードの、カラム1103に「確定」を設定する。領域決定部1004は、被写体面のうち、初期撮影と確定済みの追加撮影において撮影されることのない未確定領域を特定する。
図16は、変形例において、領域決定部1004によって実行される、未確定領域を特定する処理の一例を表すフローチャートである。図4のフローチャートで示されるメイン処理と、図12のフローチャートで示される追加撮影の撮影位置の決定処理の後、ユーザ操作により追加撮影の確定状態が切り替わるたびに実行される。
S1601では、領域決定部1004が、初期撮影位置に基づいて決定された撮影範囲(S406)を、確定済み撮影範囲としてRAM203に保持する。確定済み撮影範囲とは、初期撮影位置からの撮影範囲と、追加撮影の撮影位置のうち「確定」の状態にある撮影位置からの撮影範囲を足し合わせた撮影範囲を指す。S1602では、領域決定部1004が、図11(b)のテーブルを参照し、「確定」の状態とされている追加撮影の数だけS1603、S1604の処理が繰り返されるように制御を行う。S1603では、領域決定部1004が、追加撮影の撮影位置・パノラマ撮影画角から、その追加撮影における撮影範囲を特定する。さらにS1604では、確定済み撮影範囲にS1603で特定した撮影範囲を足し合わせる。S1605では、確定済み撮影範囲と被写体面とを比較し、初期撮影および追加撮影において撮影されない被写体面の範囲を特定する。以下では、この範囲を未確定領域と記す。
S1606では、領域決定部1004が、S1605で特定された未確定領域を新たな被写体面として、第一実施形態で示した方法によりパノラマ撮影用撮影パラメータを決定する。つまり、ユーザから、未確定領域を追加撮影するための撮影位置と撮影条件を指定する入力を受け付け、それに基づいて図4のフローチャートに準じた処理を実行し、撮影パラメータおよび撮影範囲を新たに特定する。これにより、ユーザは現場の状態を鑑みた上で撮影が可能な撮影位置を指定する操作の結果として、現実的に可能なパノラマ撮影によって、必要とする解像度画像を得る撮影が可能な範囲を知ることができる。なお、未確定領域を網羅的に撮影するための撮影は1回ですむとは限らない。複数回の撮影が必要となる場合は、S1606において第2実施形態で示しように、さらなる追加撮影の撮影位置を提示することもできる。
以上説明した変形例によれば、障害物等の影響で、第2の実施形態で求めた追加撮影位置からの撮影が困難な場合に、それをユーザに明示的に示す。そして、ユーザによって指定される、障害物等の位置を考慮した上で実際に撮影が可能な追加撮影の撮影位置に基づいて、追加撮影に適切な撮影パラメータおよび撮影範囲を特定する。従って、変形例によれば、障害物等が存在する複雑な現場においても、被写体(特に大きな構造物)をパノラマ撮影して必要な解像度の画像を得る作業が効率化される。大きな構造物の表面を高解像度で撮影する作業が効率化されることから、特に、画像を解析して構造物に生じた変状を検知する処理を利用した点検作業が容易となる。なお、変形例においても、第2の実施形態と同様、撮影パラメータの決定あるいは出力に関する処理を省略したとしても、現場の状況に即した適切な撮影位置が出力されることにより、上記の効果を得ることができる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。また、出力方法は、ユーザに提示するための表示部への表示の代わりに、音声などによりユーザに報知するような変形も可能である。
210 取得部
211 パラメータ決定部
212 選択部
213 画角決定部
214 出力部
1001 位置決定部
1103 管理部
1104 領域決定部

Claims (18)

  1. 被写体面に関する情報、撮像装置の仕様に関する情報、前記撮像装置が設置される位置に関する情報、及び解像度の条件を示す情報を取得する取得手段と、
    前記取得された各情報に基づいて、前記撮像装置によって前記被写体面をパノラマ撮影することによって、前記被写体面が被写界深度に収まり、かつ、前記解像度の条件を満たす画像を得るために前記撮像装置に設定されることが必要な撮影パラメータを決定する決定手段と、
    前記決定手段によって決定された撮影パラメータを出力する出力手段と、
    を有する情報処理装置。
  2. 前記出力手段は、出力した前記撮影パラメータのうち、指定された撮影パラメータが前記撮像装置に設定された場合に、前記撮像装置によって撮影可能な前記被写体面の範囲を、出力することを特徴とする請求項1に記載の情報処理装置。
  3. 前記決定手段は、前記撮影パラメータとして、前記撮像装置のレンズの焦点距離および絞り値を決定することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記被写体面に関する情報には、前記被写体面の大きさを表す情報が含まれることを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記被写体面に関する情報には、前記被写体面の大きさを示す幅及び高さを表す情報が含まれることを特徴とする請求項4に記載の情報処理装置。
  6. 前記撮像装置の仕様に関する情報には、前記撮像装置に備えられるレンズの情報または前記撮像装置の機種の情報を含むことを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
  7. 前記レンズの情報とは、前記レンズの焦点距離の範囲であることを特徴とする請求項6に記載の情報処理装置。
  8. 前記決定手段によって決定された前記撮影パラメータのうち、ユーザにより指定された撮影パラメータが前記撮像装置に設定された場合に、前記撮像装置によるパノラマ撮影により撮影が可能な前記被写体面の撮影範囲を決定する画角決定手段を更に備えることを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
  9. 前記画角決定手段によって決定された撮影範囲に、前記被写体面の全体が含まれない場合に、複数回のパノラマ撮影によって前記被写体面の全体を撮影するために必要となる追加撮影の撮影位置を決定する位置決定手段を更に備えることを特徴とする請求項8に記載の情報処理装置。
  10. 前記取得手段は、さらに、前記位置決定手段によって決定された前記追加撮影の1以上の撮影位置のうち、ユーザにより指定されたいずれかの撮影位置を示す情報を取得することを特徴とする請求項9に記載の情報処理装置。
  11. 前記取得手段によって取得された、前記ユーザにより指定されたいずれかの撮影位置を示す情報に基づいて、前記被写体面のうち前記撮像装置が初期状態で設置された撮影位置と前記ユーザにより指定された撮影位置とから行われるパノラマ撮影による撮影範囲に含まれない領域を決定する領域決定手段を更に備えることを特徴とする請求項10に記載の情報処理装置。
  12. 前記取得手段は、ユーザにより、前記位置決定手段によって決定された前記追加撮影の1以上の撮影位置のいずれかが移動された位置の情報を取得し、
    前記決定手段は、前記領域決定手段によって決定された領域に関する情報と、前記ユーザによって移動された撮影位置の位置情報と、前記撮像装置に関する情報に基づいて、前記被写体面が被写界深度に収まり、かつ、前記必要とする解像度の条件を満たす画像を前記撮像装置によって撮影するための撮影パラメータをさらに決定することを特徴とする請求項11に記載の情報処理装置。
  13. 被写体面に関する情報、撮像装置の仕様に関する情報、前記撮像装置を設置可能な位置に関する情報、及び解像度の条件を示す情報を取得する取得手段と、
    前記撮像装置が設置される位置から前記被写体面をパノラマ撮影することによって、被写体の全体について、前記被写体面が被写界深度に収まり、かつ、前記解像度の条件を満たす画像を得るために必要となる複数回の撮影の撮影位置を、前記取得された各情報に基づいて決定する位置決定手段と、
    前記位置決定手段によって決定された撮影位置を出力する出力手段と、
    を有する情報処理装置。
  14. 前記被写体面とは、構造物であって、
    前記必要とされる解像度の条件とは、前記パノラマ撮影によって得られた前記被写体面の画像を解析して前記構造物に生じた変状を検知する処理を利用した構造物の点検作業において、前記変状の実際の大きさを見積もるために必要な解像度の条件であることを特徴とする請求項1乃至13のいずれか1項に記載の情報処理装置。
  15. 取得手段により、被写体面に関する情報、撮像装置の仕様に関する情報、前記撮像装置が設置される位置に関する情報、及び解像度の条件を示す情報を取得する取得工程と、
    決定手段により、前記取得された各情報に基づいて、前記撮像装置によって前記被写体面をパノラマ撮影することによって、前記被写体面が被写界深度に収まり、かつ、前記解像度の条件を満たす画像を得るために前記撮像装置に設定されることが必要な撮影パラメータを決定する決定工程と、
    出力手段により、前記決定工程において決定された撮影パラメータを出力する出力工程と、
    を有する情報処理装置の制御方法。
  16. 取得手段により、被写体面に関する情報、撮像装置の仕様に関する情報、前記撮像装置が設置される位置に関する情報、及び解像度の条件を示す情報を取得する取得工程と、
    位置決定手段により、前記撮像装置が設置される位置から前記被写体面をパノラマ撮影することによって、前記被写体の全体について、前記被写体面が被写界深度に収まり、かつ、前記解像度の条件を満たす画像を得るために必要となる複数回の撮影の撮影位置を、前記取得された各情報に基づいて決定する位置決定工程と、
    出力手段により、前記位置決定工程において決定された撮影位置を出力する出力工程と、
    を有する情報処理装置の制御方法。
  17. コンピュータを、請求項1乃至14のいずれか1項に記載の情報処理装置として機能させるプログラム。
  18. 請求項17に記載されたプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。
JP2018204383A 2018-10-30 2018-10-30 情報処理装置、その制御方法、プログラム、及び記憶媒体 Active JP7289626B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018204383A JP7289626B2 (ja) 2018-10-30 2018-10-30 情報処理装置、その制御方法、プログラム、及び記憶媒体
CN201980072391.9A CN112969963B (zh) 2018-10-30 2019-10-11 信息处理设备及其控制方法和存储介质
PCT/JP2019/040201 WO2020090420A1 (ja) 2018-10-30 2019-10-11 情報処理装置、その制御方法、プログラム、及び記憶媒体
CN202211033557.6A CN115412670A (zh) 2018-10-30 2019-10-11 信息处理设备及其控制方法和存储介质
US17/243,343 US11729494B2 (en) 2018-10-30 2021-04-28 Information processing apparatus, control method therefor, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018204383A JP7289626B2 (ja) 2018-10-30 2018-10-30 情報処理装置、その制御方法、プログラム、及び記憶媒体

Publications (2)

Publication Number Publication Date
JP2020071324A true JP2020071324A (ja) 2020-05-07
JP7289626B2 JP7289626B2 (ja) 2023-06-12

Family

ID=70463999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018204383A Active JP7289626B2 (ja) 2018-10-30 2018-10-30 情報処理装置、その制御方法、プログラム、及び記憶媒体

Country Status (4)

Country Link
US (1) US11729494B2 (ja)
JP (1) JP7289626B2 (ja)
CN (2) CN115412670A (ja)
WO (1) WO2020090420A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11785182B2 (en) * 2020-05-18 2023-10-10 Apollo Streams Inc. System for transmitting data from an event

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04211211A (ja) * 1990-02-14 1992-08-03 Asahi Optical Co Ltd 深度優先ズームモードを備えたカメラ
WO2017126368A1 (ja) * 2016-01-22 2017-07-27 富士フイルム株式会社 撮影支援装置及び撮影支援方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4104113C2 (de) * 1990-02-14 1996-05-23 Asahi Optical Co Ltd Kamera mit motorbetriebenem Zoomobjektiv
JP2001054008A (ja) * 1999-06-04 2001-02-23 Canon Inc 画像処理装置、画像処理装置の制御方法、及びコンピュータ読み取り可能な記憶媒体
JP2001136514A (ja) * 1999-11-01 2001-05-18 Canon Inc カメラ制御システム及びその制御方法及び記憶媒体
JP4389865B2 (ja) * 2005-11-17 2009-12-24 ソニー株式会社 固体撮像素子の信号処理装置および信号処理方法並びに撮像装置
US20070267584A1 (en) * 2006-05-19 2007-11-22 Psc Scanning, Inc. Optical code reader using an anamorphic Scheimpflug optical system
JP2010011105A (ja) * 2008-06-27 2010-01-14 Nyuurii Kk 仏像を高精細に記録する撮影方法
JP5300133B2 (ja) * 2008-12-18 2013-09-25 株式会社ザクティ 画像表示装置及び撮像装置
US8194136B1 (en) * 2009-01-26 2012-06-05 Amazon Technologies, Inc. Systems and methods for lens characterization
JP2011229008A (ja) * 2010-04-21 2011-11-10 Canon Inc 画像撮影装置、及びプログラム
JP2011259168A (ja) * 2010-06-08 2011-12-22 Fujifilm Corp 立体パノラマ画像撮影装置
JP5786847B2 (ja) * 2012-12-19 2015-09-30 カシオ計算機株式会社 撮像装置、撮像方法及びプログラム
JP2014150310A (ja) * 2013-01-31 2014-08-21 Nikon Corp 光学装置および光学装置の制御プログラム
JP6115630B2 (ja) * 2013-03-19 2017-04-19 日本電気株式会社 処理装置、処理装置のデータ処理方法、およびプログラム
WO2017002512A1 (ja) * 2015-06-30 2017-01-05 富士フイルム株式会社 移動式撮像装置及び移動式撮像方法
US10341568B2 (en) * 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
US10412321B2 (en) * 2016-12-12 2019-09-10 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus and image synthesis method
CN106803883B (zh) * 2017-02-28 2019-08-30 努比亚技术有限公司 在全景拍摄时景深前后移动的提示终端及方法
CN107220992B (zh) * 2017-06-16 2019-12-10 华南理工大学 结合机器视觉与红外阵列的手扶电梯楼层板视频监控方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04211211A (ja) * 1990-02-14 1992-08-03 Asahi Optical Co Ltd 深度優先ズームモードを備えたカメラ
WO2017126368A1 (ja) * 2016-01-22 2017-07-27 富士フイルム株式会社 撮影支援装置及び撮影支援方法

Also Published As

Publication number Publication date
US11729494B2 (en) 2023-08-15
CN112969963A (zh) 2021-06-15
CN112969963B (zh) 2022-08-30
CN115412670A (zh) 2022-11-29
WO2020090420A1 (ja) 2020-05-07
US20210321036A1 (en) 2021-10-14
JP7289626B2 (ja) 2023-06-12

Similar Documents

Publication Publication Date Title
US10964108B2 (en) Augmentation of captured 3D scenes with contextual information
JP6395423B2 (ja) 画像処理装置、制御方法及びプログラム
JP5740884B2 (ja) 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム
JP6305053B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2004318823A (ja) 情報表示システム、情報処理装置、ポインティング装置および情報表示システムにおけるポインタマーク表示方法
JP2011147109A (ja) 撮像装置及び画像処理装置
JPWO2018179040A1 (ja) カメラパラメータ推定装置、方法およびプログラム
JP2019054369A (ja) 撮像装置、撮像装置の制御方法及びプログラム
WO2020090420A1 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
JP6584237B2 (ja) 制御装置、制御方法、およびプログラム
JP6210807B2 (ja) 表示制御装置及び表示制御装置の制御方法
JP6685814B2 (ja) 撮像装置およびその制御方法
JP6320165B2 (ja) 画像処理装置及びその制御方法、並びにプログラム
JP5001400B2 (ja) 遮蔽物除去表示装置
KR101714174B1 (ko) 구조물 영상 관리 방법, 영상처리장치, 및 영상조회장치
JP2020135450A (ja) 橋梁などの構造物を効率的に検査するための画像処理システム、画像処理方法及びプログラム
JP2023134182A (ja) 情報処理装置、制御方法、プログラム及びシステム
US11915356B2 (en) Semi-automatic 3D scene optimization with user-provided constraints
JP2022075510A (ja) 情報処理装置、情報処理方法及びプログラム
JP5264274B2 (ja) 通信装置、カメラシステム、制御方法およびプログラム
WO2023026686A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
EP4007265A1 (en) Image processing device, image processing method, program, and storage medium
JP6924622B2 (ja) フォーカスアシスト装置及びそのプログラム
JP2021185644A (ja) 情報処理システム
JP2015197429A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230502

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230531

R151 Written notification of patent or utility model registration

Ref document number: 7289626

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151