JP2020010213A - 情報処理装置、撮像装置の姿勢の設定方法及びプログラム - Google Patents
情報処理装置、撮像装置の姿勢の設定方法及びプログラム Download PDFInfo
- Publication number
- JP2020010213A JP2020010213A JP2018130568A JP2018130568A JP2020010213A JP 2020010213 A JP2020010213 A JP 2020010213A JP 2018130568 A JP2018130568 A JP 2018130568A JP 2018130568 A JP2018130568 A JP 2018130568A JP 2020010213 A JP2020010213 A JP 2020010213A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- depth
- posture
- imaging
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Accessories Of Cameras (AREA)
- Studio Devices (AREA)
Abstract
【課題】撮像装置の姿勢を変更しながら被写体を分割撮影する場合に、例えば平面状をなす被写体がたわみや歪みを含んだ形状をしているときにも、ピントの合った範囲が相互に重なるようにして撮影を実行できるようにする。【解決手段】情報処理装置100は、被写体3を分割撮影するための撮像装置1の姿勢を設定する。姿勢算出部503は、撮像装置1の既に決まった第1の姿勢に対して所定の条件を満たす撮像装置1の第2の姿勢を算出する。被写界深度内撮影範囲算出部504は、被写体3の形状情報に基づいて、姿勢算出部503で算出した第2の姿勢での撮影可能範囲の中で被写界深度内撮影範囲を算出する。姿勢補正部505は、被写界深度内撮影範囲算出部504で算出した第2の姿勢での被写界深度内撮影範囲が、第1の姿勢での被写界深度内撮影範囲に重なるように、姿勢算出部503で算出した第2の姿勢を補正する。【選択図】図5
Description
本発明は、被写体を分割撮影するための撮像装置の姿勢を設定する情報処理装置、撮像装置の姿勢の設定方法及びプログラムに関する。
従来から、絵画や屏風等の美術品を、電動雲台とデジタルカメラを使って分割撮影(対象物を区分けして区分毎に撮影)し、それにより得られた撮影画像を結合することで、超高解像度の画像データとしてデジタルアーカイブする技術が知られている。
分割撮影に関する技術として、例えば特許文献1には、撮影対象の撮影を行う縦横の大きさである撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内の錯乱円径を考慮して、互いのピント範囲が重なる様に各分割フレームをレイアウトする技術が開示されている。
分割撮影に関する技術として、例えば特許文献1には、撮影対象の撮影を行う縦横の大きさである撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内の錯乱円径を考慮して、互いのピント範囲が重なる様に各分割フレームをレイアウトする技術が開示されている。
しかしながら、被写体となる絵画や屏風等の美術品は、厚みを有する平面状をなすが、完全な平面ではなく、たわみや歪みを含んだ形状をしていることがある。
このように完全な平面ではない被写体を分割撮影する場合、特許文献1の手法では、ピント範囲の判定に誤判定が生じ、正しくピント範囲が重なる様に各分割フレームをレイアウトできなくなるおそれがある。
このように完全な平面ではない被写体を分割撮影する場合、特許文献1の手法では、ピント範囲の判定に誤判定が生じ、正しくピント範囲が重なる様に各分割フレームをレイアウトできなくなるおそれがある。
本発明は上記のような点に鑑みてなされたものであり、撮像装置の姿勢を変更しながら被写体を分割撮影する場合に、例えば平面状をなす被写体がたわみや歪みを含んだ形状をしているときにも、ピントの合った範囲が相互に重なるようにして撮影を実行できるようにすることを目的とする。
本発明の情報処理装置は、被写体を分割撮影するための撮像装置の姿勢を設定する情報処理装置であって、前記被写体の形状情報に基づいて、前記被写体が被写界深度に収まる範囲である被写界深度内撮影範囲が相互に重なるように、前記被写体を分割撮影するための前記撮像装置の姿勢を設定する手段を備えたことを特徴とする。
本発明によれば、撮像装置の姿勢を変更しながら被写体を分割撮影する場合に、例えば平面状をなす被写体がたわみや歪みを含んだ形状をしているときにも、ピントの合った範囲が相互に重なるようにして撮影を実行することができる。
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
[第1の実施形態]
図1は、実施形態に係る撮影システムの構成を示す図である。
電動雲台2に、デジタルカメラ等の撮像装置1が搭載される。電動雲台2は、パン、チルト動作により撮像装置1の姿勢を変更する。被写体3は、例えば絵画や屏風等の美術品であり、厚みを有する平面状をなし、幅W、高さHのサイズを持つ。撮像装置1から被写体3までの距離である被写体距離は所定の距離Lに設定される。
情報処理装置100は、電動雲台2及び撮像装置1を制御する装置であり、電動雲台2にパン、チルトの回転角を指定して動作させるための回転動作コマンドや、撮像装置1に撮影を実行させるための撮影コマンドを送信する。
[第1の実施形態]
図1は、実施形態に係る撮影システムの構成を示す図である。
電動雲台2に、デジタルカメラ等の撮像装置1が搭載される。電動雲台2は、パン、チルト動作により撮像装置1の姿勢を変更する。被写体3は、例えば絵画や屏風等の美術品であり、厚みを有する平面状をなし、幅W、高さHのサイズを持つ。撮像装置1から被写体3までの距離である被写体距離は所定の距離Lに設定される。
情報処理装置100は、電動雲台2及び撮像装置1を制御する装置であり、電動雲台2にパン、チルトの回転角を指定して動作させるための回転動作コマンドや、撮像装置1に撮影を実行させるための撮影コマンドを送信する。
このようにした撮影システムでは、情報処理装置100の制御下で、電動雲台2により撮像装置1の姿勢を変更しながら、撮像装置1により被写体3を順次分割撮影し、被写体3全体を包含するように撮影画像群を取得する。
図3に、撮影画像群の一例を示す。図中の一の四角が一の撮影画像を表す。この例では、各撮影画像に示す数字の順で、左上から右下に向かってパン、チルトの回転角を変更しながら被写体3を撮影し、15枚の撮影画像を取得するように分割フレームをレイアウトしている。斜線で示す領域は、相互に隣接する撮影画像間の重複領域である。最終的には、これら撮影画像群に対してレンズ収差補正や重複領域の位置ずれが最小となるような幾何補正処理を施した上で結合処理を行い、1枚の高解像度な画像を生成する。
図3に、撮影画像群の一例を示す。図中の一の四角が一の撮影画像を表す。この例では、各撮影画像に示す数字の順で、左上から右下に向かってパン、チルトの回転角を変更しながら被写体3を撮影し、15枚の撮影画像を取得するように分割フレームをレイアウトしている。斜線で示す領域は、相互に隣接する撮影画像間の重複領域である。最終的には、これら撮影画像群に対してレンズ収差補正や重複領域の位置ずれが最小となるような幾何補正処理を施した上で結合処理を行い、1枚の高解像度な画像を生成する。
本実施形態では、以下に詳述するが、被写体3の形状情報である被写体3のマクロな奥行きに基づいて、被写体3が被写界深度に収まる範囲である被写界深度内撮影範囲が相互に重なるように、被写体3を分割撮影するための撮像装置1の姿勢を設定する。被写界深度内撮影範囲はピントの合った撮影範囲となるので、ピントの合った撮影範囲が相互に重なるように撮像装置1の姿勢を設定することができる。
図2を参照して、実施形態に係る情報処理装置100の構成例を説明する。
CPU101は、RAM102をワークメモリとして、ROM103及びハードディスクドライブ(HDD)105に格納されたプログラムを実行し、システムバス111を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。HDDI/F104は、例えばシリアルATA(SATA)等のインタフェイスであり、HDD105や光ディスクドライブ等の二次記憶装置を接続する。CPU101は、HDDI/F104を介して、HDD105からのデータ読み出し、及びHDD105へのデータ書き込みが可能である。さらにCPU101は、HDD105に格納されたデータをRAM102に展開し、同様に、RAM102に展開されたデータをHDD105に保存することが可能である。そして、CPU101は、RAM102に展開したデータをプログラムとみなし、実行することができる。
CPU101は、RAM102をワークメモリとして、ROM103及びハードディスクドライブ(HDD)105に格納されたプログラムを実行し、システムバス111を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。HDDI/F104は、例えばシリアルATA(SATA)等のインタフェイスであり、HDD105や光ディスクドライブ等の二次記憶装置を接続する。CPU101は、HDDI/F104を介して、HDD105からのデータ読み出し、及びHDD105へのデータ書き込みが可能である。さらにCPU101は、HDD105に格納されたデータをRAM102に展開し、同様に、RAM102に展開されたデータをHDD105に保存することが可能である。そして、CPU101は、RAM102に展開したデータをプログラムとみなし、実行することができる。
入力I/F106は、例えばUSBやIEEE1394等のシリアルバスインタフェイスであり、キーボードやマウス等の入力デバイス107を接続する。CPU101は、入力I/F106を介して入力デバイス107からデータを読み込むことが可能である。出力I/F108は、例えばDVIやHDMI(登録商標)等の映像出力インタフェイスであり、液晶ディスプレイ等の出力デバイス109を接続する。CPU101は、出力I/F108を介して出力デバイス109にデータを送り、表示を実行させることができる。撮像装置I/F110は、例えばUSB等のシリアルバスインタフェイスであり、撮像装置1を接続する。電動雲台I/F112は、USB等のシリアルバスインタフェイスであり、電動雲台2を接続する。
次に、図4を参照して、実施形態に係る撮影システムの分割撮影処理の流れを説明する。図4は、実施形態に係る撮影システムの分割撮影処理の流れを示すフローチャートである。
ステップS401で、情報処理装置100のCPU101は、被写体3を分割撮影するための撮像装置1の姿勢、具体的には電動雲台2のパン、チルトそれぞれの回転角を設定し、この値をRAM102又はHDD105に記憶する。この回転角設定処理の詳細は後述する。
ステップS401で、情報処理装置100のCPU101は、被写体3を分割撮影するための撮像装置1の姿勢、具体的には電動雲台2のパン、チルトそれぞれの回転角を設定し、この値をRAM102又はHDD105に記憶する。この回転角設定処理の詳細は後述する。
ステップS402で、情報処理装置100のCPU101は、ステップS401においてRAM102又はHDD105に記憶した回転角の中から未処理の回転角を一つ読み出す。
ステップS403で、情報処理装置100のCPU101は、電動雲台I/F112を通して、ステップS403において読み出した回転角を回転動作コマンドとともに電動雲台2に送信する。これにより、電動雲台2は、受信した回転角だけパン、チルト動作する。
ステップS403で、情報処理装置100のCPU101は、電動雲台I/F112を通して、ステップS403において読み出した回転角を回転動作コマンドとともに電動雲台2に送信する。これにより、電動雲台2は、受信した回転角だけパン、チルト動作する。
ステップS404で、情報処理装置100のCPU101は、撮像装置I/F110を通して、撮影コマンドを撮像装置1に送信する。これにより、撮像装置1は、撮影を実行して、撮影画像のデータを撮像装置1内の記憶部に記憶する。
ステップS405で、情報処理装置100のCPU101は、撮像装置I/F110を通して、画像転送コマンドを撮像装置1に送信する。これにより、撮像装置1は、自身の記憶部に記憶する撮影画像のデータを情報処理装置100に転送する。情報処理装置100のCPU101は、撮像装置1から転送される撮影画像のデータをRAM102又はHDD105に記憶する。
ステップS406で、情報処理装置100のCPU101は、ステップS401において設定した全ての回転角において撮影が終了したか否かを判定する。撮影が終了していない場合、ステップS402に戻って処理を継続し、撮影が終了している場合、本処理を終了する。
以上により、電動雲台2のパン、チルトの回転角を設定し、それぞれの回転角における撮影を実行させることができる。このように電動雲台2により撮像装置1の姿勢を変更しながら、撮像装置1により被写体3を順次分割撮影し、被写体3全体を包含するように撮影画像群を取得することができる。
以上により、電動雲台2のパン、チルトの回転角を設定し、それぞれの回転角における撮影を実行させることができる。このように電動雲台2により撮像装置1の姿勢を変更しながら、撮像装置1により被写体3を順次分割撮影し、被写体3全体を包含するように撮影画像群を取得することができる。
以下、ステップS401の回転角設定処理の詳細について説明する。
図5は、実施形態に係る情報処理装置100の回転角設定処理に関わる機能構成を示すブロック図である。
回転角設定処理に関わる機能ブロックとして、被写体情報取得部501、撮影パラメータ設定部502、姿勢算出部503、被写界深度内撮影範囲算出部504、姿勢補正部505がある。
CPU101は、ROM103又はHDD105に格納されたプログラムを読み出してRAM102をワークエリアとして実行することで、図5に示す各機能ブロックとしての役割を果たす。なお、CPU101が全ての機能ブロックの役割を果たす必要はなく、各機能ブロックに対応する専用の処理回路を設けるようにしてもよい。
図5は、実施形態に係る情報処理装置100の回転角設定処理に関わる機能構成を示すブロック図である。
回転角設定処理に関わる機能ブロックとして、被写体情報取得部501、撮影パラメータ設定部502、姿勢算出部503、被写界深度内撮影範囲算出部504、姿勢補正部505がある。
CPU101は、ROM103又はHDD105に格納されたプログラムを読み出してRAM102をワークエリアとして実行することで、図5に示す各機能ブロックとしての役割を果たす。なお、CPU101が全ての機能ブロックの役割を果たす必要はなく、各機能ブロックに対応する専用の処理回路を設けるようにしてもよい。
図6は、第1の実施形態におけるステップS401の回転角設定処理の詳細を示すフローチャートである。
ステップS601で、被写体情報取得部501は、入力デバイス107により被写体3のサイズ(幅W、高さH)を取得する。なお、被写体3のサイズを入力デバイス107により取得するとしたが、RAM102やHDD105に予め記憶された情報から取得するようにしてもよい。
ステップS601で、被写体情報取得部501は、入力デバイス107により被写体3のサイズ(幅W、高さH)を取得する。なお、被写体3のサイズを入力デバイス107により取得するとしたが、RAM102やHDD105に予め記憶された情報から取得するようにしてもよい。
ステップS602で、被写体情報取得部501は、入力デバイス107により被写体距離Lを取得する。なお、被写体距離を入力デバイス107により取得するとしたが、RAM102やHDD105に予め記憶された情報から取得するようにしてもよい。
ステップS603で、撮影パラメータ設定部502は、撮像装置1に対してシャッタースピード、F値、ISO感度等を設定する。また、撮影パラメータ設定部502は、撮像装置1の撮像センサのサイズや画素数、レンズの焦点距離を取得して、RAM102やHDD105に記憶する。また、撮影パラメータ設定部502は、入力デバイス107により相互に隣接する分割フレーム間の重複領域の大きさ(以下、重複量と呼ぶ)を取得する。重複量としては、例えば全ての分割フレームに対して一定の値が予め与えられている。なお、重複量を入力デバイス107により取得するとしたが、RAM102やHDD105に予め記憶された情報から取得するようにしてもよい。
ステップS604で、被写体情報取得部501は、入力デバイス107により被写体3のマクロな奥行きを取得する。なお、被写体3のマクロな奥行きを入力デバイス107により取得するとしたが、RAM102やHDD105に予め記憶された情報から取得するようにしてもよい。ここで、被写体3のマクロな奥行きとは、被写体3の奥行き方向の形状に関する情報であり、図7(a)、(b)に示すように、被写体3のたわみや歪みを考慮した場合に、どの程度の奥行き範囲に被写体3が収まっているかを示す情報である。図7(b)に示すように、被写体3のマクロな奥行きは、被写体3を真上又は真横から見たときの、被写体の奥行き方向の最凸部と最凹部との差分値dとして考えることができる。
ステップS605で、姿勢算出部503は、以後の処理の基準となる基準分割フレームを設定する。例えばパン、チルトの回転角がそれぞれ0度で、撮像装置1が被写体3と正対関係にある状態での撮影可能範囲を基準分割フレームとする。
ステップS606で、姿勢算出部503は、カウンタiを1に初期化する。
ステップS606で、姿勢算出部503は、カウンタiを1に初期化する。
ステップS607で、姿勢算出部503は、i番目の分割フレームに対応するパン、チルトの回転角を算出する。具体的には、既に回転角の決まった隣接分割フレームとの間で、ステップS603において設定した重複量で重なるように、i番目の分割フレームに対応する回転角を算出する。例えば図8に示すような順で回転角を算出する場合を考える。例えばステップS605において設定した基準分割フレームを分割フレーム1とする。分割フレーム2に対応する回転角は、既に回転角の決まった隣接分割フレームである分割フレーム1との間で、ステップS603において設定した重複量で重なるように算出される。また、分割フレーム6に対応する回転角は、既に回転角の決まった隣接分割フレームである分割フレーム2及び分割フレーム4との間で、ステップS603において設定した重複量で重なるように算出される。このように姿勢算出部503は、撮像装置1の既に決まった第1の姿勢に対して所定の条件を満たす撮像装置1の第2の姿勢を算出し、本発明でいう姿勢算出手段として機能する。
ステップS608で、姿勢算出部503は、ステップS607において算出した回転角において撮影可能な範囲である撮影可能範囲901を算出する。図9は、回転角補正処理を説明するための図であり、パンの回転角θnと撮影可能範囲901との関係の例を示す。図9では、説明を簡略化するためにパン方向のみに着目するが、チルト方向についても同様である。撮影可能範囲901は、撮像装置1の撮像センサのサイズとレンズの焦点距離から計算される画角ω、被写体距離L、被写体3のマクロな奥行きd、及び回転角θnを用いて算出することができる。その際、被写体3の全体が厚みdを持った平面であると仮定し、被写体距離を(L−d/2)として撮影可能範囲901を算出する。図9に示すように、回転角θnが大きくなるほど、撮影可能範囲901が広がる傾向にある。
ステップS609で、被写界深度内撮影範囲算出部504は、ステップS608において算出した撮影可能範囲901の中で被写界深度内撮影範囲902を算出する。被写界深度内撮影範囲902は、撮影可能範囲901の中のピントの合った撮影範囲となる。被写界深度sは、式(1)により計算される。
ここで、fmainはレンズの焦点距離、Δxは許容錯乱円径、FはレンズのF値、sfocusはフォーカス距離であり、ステップS603において設定した撮影パラメータに基づいて計算することができる。そして、被写体距離が(L±d/2)であるとして、前方被写界深度s1及び後方被写界深度s2から被写界深度内撮影範囲902を算出する。図9に、パンの回転角θnと被写界深度内撮影範囲902との関係の例を示す。回転角θnが大きくなるほど、撮影可能範囲901に対する被写界深度内撮影範囲902の割合が小さくなる傾向にある。このように被写界深度内撮影範囲算出部504は、被写体3のマクロな奥行きに基づいて、姿勢算出部503で算出した第2の姿勢での撮影可能範囲の中で被写界深度内撮影範囲を算出し、本発明でいう被写界深度内撮影範囲算出手段として機能する。
ステップS610で、姿勢補正部505は、ステップS607において算出したパン、チルトの回転角の補正を行う。ここでは、ステップS609において算出した被写界深度内撮影範囲902が、既に回転角の決まった隣接分割フレームにおいて同様に算出された被写界深度内撮影範囲902との間で、ステップS603において設定した重複量で重なるように回転角を補正する。補正後の回転角θn’は、式(2)によって算出される。
ここで、xは被写界深度内撮影範囲902の移動量であり、被写界深度内撮影範囲902を、既に回転角の決まった隣接分割フレームの被写界深度内撮影範囲902との間で、予め設定された重複量で重なるようにするための移動量を示す。図9に、移動量xの例を示す。既述したように、回転角θnが大きくなるほど、撮影可能範囲901に対する被写界深度内撮影範囲902の割合が小さくなる傾向にあるので、回転角θnが大きくなるほど、その補正量は大きくなる。結果として、図8に示すように被写体3の中央部分から分割撮影を始めた場合、外側に行くに従って回転角のステップが細かくなり、撮影枚数が多くなる。ここではパン方向のみについて示したが、チルト方向も同様に計算することができる。ここで算出した回転角θn’を現在処理しているi番目の分割フレームに対応する回転角としてRAM102やHDD105に記憶する。このように姿勢補正部505は、被写界深度内撮影範囲算出部504で算出した第2の姿勢での被写界深度内撮影範囲が、第1の姿勢での被写界深度内撮影範囲に重なるように、姿勢算出部503で算出した第2の姿勢を補正し、本発明でいう姿勢補正手段として機能する。
ステップS611で、姿勢算出部503は、終端条件に至ったか否かを判定する。終端条件は、被写体3のサイズに応じて定められる。終端条件に至っていない場合、ステップS612に進み、終端条件に至った場合、本処理を終了する。
ステップS612で、姿勢算出部503は、カウンタiをインクリメントして、ステップS607に戻る。
ステップS612で、姿勢算出部503は、カウンタiをインクリメントして、ステップS607に戻る。
以上のように、平面状をなす被写体3がたわみや歪みを含んだ形状をしているときにも、被写体3のマクロな奥行きに基づいて、ピントの合った範囲である被写界深度内撮影範囲902が相互に重なるように分割フレームをレイアウトして、撮影を実行することができる。
なお、本実施形態では、ステップS401において全ての分割フレームに対応する回転角を設定してから、ステップS404において撮影を実行する例を説明したが、例えば回転角を都度決めながら撮影を実行するようにしてもよい。
また、重複量は、全ての分割フレームに対して一定の値としたが、例えば被写体の撮影位置に応じて変化させるようにしてもよい。
また、回転角の補正について、式(2)に従う方法を説明したが、例えば回転角を少しずつ変更しながら被写界深度内撮影範囲を算出し、目的の回転角に補正する方法を利用することも可能である。
また、重複量は、全ての分割フレームに対して一定の値としたが、例えば被写体の撮影位置に応じて変化させるようにしてもよい。
また、回転角の補正について、式(2)に従う方法を説明したが、例えば回転角を少しずつ変更しながら被写界深度内撮影範囲を算出し、目的の回転角に補正する方法を利用することも可能である。
[第2の実施形態]
第1の実施形態では、被写体3の形状情報として被写体3のマクロな奥行きを利用したのに対して、第2の実施形態では、被写体3の形状情報として被写体3のデプス値を利用する形態を説明する。なお、撮像装置1、電動雲台2、及び情報処理装置100の構成、及び図4のフローチャートを含む基本的な処理については第1の実施形態と同様であり、以下では、第1の実施形態との相違点となる回転角設定処理を中心に説明する。
第1の実施形態では、被写体3の形状情報として被写体3のマクロな奥行きを利用したのに対して、第2の実施形態では、被写体3の形状情報として被写体3のデプス値を利用する形態を説明する。なお、撮像装置1、電動雲台2、及び情報処理装置100の構成、及び図4のフローチャートを含む基本的な処理については第1の実施形態と同様であり、以下では、第1の実施形態との相違点となる回転角設定処理を中心に説明する。
図10は、第2の実施形態におけるステップS401の回転角設定処理の詳細を示すフローチャートである。
ステップS1001〜ステップS1003は、図6のステップS601〜ステップS603と同様の処理であり、ここではその説明を省略する。
ステップS1004で、被写体情報取得部501は、例えばHDD105に予め記憶された被写体3のデプスマップを取得する。ここで、デプスマップとは、各撮影画素に対応するデプス値を表すものであり、例えば撮像装置1と同じ場所からレーザスキャナ等で測定した被写体3の各位置における距離情報を示す。なお、デプスマップの取得方法はこれに限らず、様々な手法を適用することが可能である。例えば被写体のある位置の奥行きに対する相対的な奥行きとして被写体全体のデプス情報を保持しておいて、撮像装置と被写体の位置関係から絶対的な距離情報に変換するようにしてもよい。
ステップS1001〜ステップS1003は、図6のステップS601〜ステップS603と同様の処理であり、ここではその説明を省略する。
ステップS1004で、被写体情報取得部501は、例えばHDD105に予め記憶された被写体3のデプスマップを取得する。ここで、デプスマップとは、各撮影画素に対応するデプス値を表すものであり、例えば撮像装置1と同じ場所からレーザスキャナ等で測定した被写体3の各位置における距離情報を示す。なお、デプスマップの取得方法はこれに限らず、様々な手法を適用することが可能である。例えば被写体のある位置の奥行きに対する相対的な奥行きとして被写体全体のデプス情報を保持しておいて、撮像装置と被写体の位置関係から絶対的な距離情報に変換するようにしてもよい。
ステップS1005〜ステップS1007は、図6のステップS605〜ステップS607と同様の処理であり、ここではその説明を省略する。
ステップS1008で、姿勢算出部503は、ステップS1107において算出した回転角において撮影可能な撮影可能範囲1101を算出する。図11は、回転角補正処理を説明するための図であり、パンの回転角θnと撮影可能範囲1101との関係の例を示す。図11では、説明を簡略化するためにパン方向のみに着目するが、チルト方向についても同様である。撮影可能範囲1101は、撮像装置1の撮像センサのサイズとレンズの焦点距離から計算される画角ω、被写体距離L、及び回転角θnを用いて算出することができる。図11に示すように、回転角θnが大きくなるほど、撮影可能範囲1101が広がる傾向にある。
ステップS1008で、姿勢算出部503は、ステップS1107において算出した回転角において撮影可能な撮影可能範囲1101を算出する。図11は、回転角補正処理を説明するための図であり、パンの回転角θnと撮影可能範囲1101との関係の例を示す。図11では、説明を簡略化するためにパン方向のみに着目するが、チルト方向についても同様である。撮影可能範囲1101は、撮像装置1の撮像センサのサイズとレンズの焦点距離から計算される画角ω、被写体距離L、及び回転角θnを用いて算出することができる。図11に示すように、回転角θnが大きくなるほど、撮影可能範囲1101が広がる傾向にある。
ステップS1009で、被写界深度内撮影範囲算出部504は、ステップS1004において取得したデプスマップから撮影可能範囲1101に対応するデプス値を取得する。図11に、撮影可能範囲1101に対応するデプス値のイメージを示す。
ステップS1010で、被写界深度内撮影範囲算出部504は、ステップ1008において算出した撮影可能範囲1101の中で被写界深度内撮影範囲1102を算出する。各撮影画素に対応するデプス値を参照して被写体3までの距離を取得し、それが前方被写界深度s1と後方被写界深度s2の間に入っているかを確認することで被写界深度内撮影範囲1102を算出することができる。なお、被写界深度sは、式(1)により計算される。図11に、パンの回転角θnと被写界深度内撮影範囲1102との関係の例を示す。回転角θnが大きくなるほど、撮影可能範囲1101に対する被写界深度内撮影範囲1102の割合が小さくなる傾向にある。
ステップS1011〜ステップS1013は、図6のステップS610〜ステップS612と同様の処理であり、ここではその説明を省略する。
以上のように、平面状をなす被写体3がたわみや歪みを含んだ形状をしているときにも、被写体3のデプス値に基づいて、ピントの合った範囲である被写界深度内撮影範囲1102が相互に重なるように分割フレームをレイアウトして、撮影を実行することができる。
以上のように、平面状をなす被写体3がたわみや歪みを含んだ形状をしているときにも、被写体3のデプス値に基づいて、ピントの合った範囲である被写界深度内撮影範囲1102が相互に重なるように分割フレームをレイアウトして、撮影を実行することができる。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
1:撮像装置、2:電動雲台、3:被写体、100:情報処理装置、501:被写体情報取得部、502:撮影パラメータ設定部、503:姿勢算出部、504:被写界深度内撮影範囲算出部、505:姿勢補正部
Claims (8)
- 被写体を分割撮影するための撮像装置の姿勢を設定する情報処理装置であって、
前記被写体の形状情報に基づいて、前記被写体が被写界深度に収まる範囲である被写界深度内撮影範囲が相互に重なるように、前記被写体を分割撮影するための前記撮像装置の姿勢を設定する手段を備えたことを特徴とする情報処理装置。 - 前記撮像装置の姿勢を設定する手段として、
前記撮像装置の既に決まった第1の姿勢に対して所定の条件を満たす前記撮像装置の第2の姿勢を算出する姿勢算出手段と、
前記被写体の形状情報に基づいて、前記姿勢算出手段で算出した前記第2の姿勢での撮影可能範囲の中で前記被写界深度内撮影範囲を算出する被写界深度内撮影範囲算出手段と、
前記被写界深度内撮影範囲算出手段で算出した前記第2の姿勢での前記被写界深度内撮影範囲が、前記第1の姿勢での前記被写界深度内撮影範囲に重なるように、前記姿勢算出手段で算出した第2の姿勢を補正する姿勢補正手段とを備えたことを特徴とする請求項1に記載の情報処理装置。 - 前記被写体の形状情報は、前記被写体の奥行き方向の形状に関する情報であることを特徴とする請求項1又は2に記載の情報処理装置。
- 前記被写体の形状情報は、前記被写体の奥行き方向の最凸部と最凹部との差分値であることを特徴とする請求項3に記載の情報処理装置。
- 前記被写体の形状情報は、前記被写体のデプス値であることを特徴とする請求項3に記載の情報処理装置。
- 前記撮像装置の姿勢としてパン及びチルトそれぞれの回転角を設定することを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
- 被写体を分割撮影するための撮像装置の姿勢を設定する撮像装置の姿勢の設定方法であって、
前記被写体の形状情報に基づいて、前記被写体が被写界深度に収まる範囲である被写界深度内撮影範囲が相互に重なるように、前記被写体を分割撮影するための前記撮像装置の姿勢を設定するステップを有することを特徴とする撮像装置の姿勢の設定方法。 - 被写体を分割撮影するための撮像装置の姿勢を設定する撮像装置の姿勢の設定方法であって、
前記被写体の形状情報に基づいて、前記被写体が被写界深度に収まる範囲である被写界深度内撮影範囲が相互に重なるように、前記被写体を分割撮影するための前記撮像装置の姿勢を設定する処理をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018130568A JP2020010213A (ja) | 2018-07-10 | 2018-07-10 | 情報処理装置、撮像装置の姿勢の設定方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018130568A JP2020010213A (ja) | 2018-07-10 | 2018-07-10 | 情報処理装置、撮像装置の姿勢の設定方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020010213A true JP2020010213A (ja) | 2020-01-16 |
Family
ID=69152300
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018130568A Pending JP2020010213A (ja) | 2018-07-10 | 2018-07-10 | 情報処理装置、撮像装置の姿勢の設定方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020010213A (ja) |
-
2018
- 2018-07-10 JP JP2018130568A patent/JP2020010213A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3033733B1 (en) | Stereo yaw correction using autofocus feedback | |
US8441541B2 (en) | Control apparatus and control method therefor | |
JP4012710B2 (ja) | 画像入力装置 | |
JP5580164B2 (ja) | 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム | |
WO2017120771A1 (zh) | 一种深度信息获取方法、装置及图像采集设备 | |
CN108700408B (zh) | 三维形状数据及纹理信息生成系统、方法及拍摄控制方法 | |
EP3048787B1 (en) | Image processing apparatus, image pickup apparatus, image processing method, program, and storage medium | |
CN108574825B (zh) | 一种云台摄像机的调整方法和装置 | |
JP4297630B2 (ja) | 電子撮像装置 | |
JP2013123123A (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
JP2012050013A (ja) | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム | |
CN111213364A (zh) | 拍摄设备的控制方法、拍摄设备的控制装置及拍摄设备 | |
JP5857712B2 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
JP7504688B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP7195801B2 (ja) | 画像処理装置およびその制御方法、距離検出装置、撮像装置、プログラム | |
JP5925109B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
JP7289626B2 (ja) | 情報処理装置、その制御方法、プログラム、及び記憶媒体 | |
JP2017103695A (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP2020010213A (ja) | 情報処理装置、撮像装置の姿勢の設定方法及びプログラム | |
WO2019031244A1 (ja) | 情報処理装置、撮影システム、撮影システムの制御方法、及びプログラム | |
JP2010272957A (ja) | 画像補正装置及びそのプログラム | |
JPH11101640A (ja) | カメラおよびカメラのキャリブレーション方法 | |
JP2020067511A (ja) | カメラシステム、その制御方法およびプログラム | |
JP2020036249A (ja) | あおり補正を行う画像処理装置 | |
JP2017009640A (ja) | 撮像装置および撮像装置の制御方法 |