JP2011114575A - 画像撮影システム、画像撮影方法、および画像撮影プログラム - Google Patents

画像撮影システム、画像撮影方法、および画像撮影プログラム Download PDF

Info

Publication number
JP2011114575A
JP2011114575A JP2009269035A JP2009269035A JP2011114575A JP 2011114575 A JP2011114575 A JP 2011114575A JP 2009269035 A JP2009269035 A JP 2009269035A JP 2009269035 A JP2009269035 A JP 2009269035A JP 2011114575 A JP2011114575 A JP 2011114575A
Authority
JP
Japan
Prior art keywords
divided
resolution
image
shooting
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009269035A
Other languages
English (en)
Other versions
JP4779041B2 (ja
Inventor
Takashi Nakasugi
高志 中杉
Takayuki Morioka
隆行 森岡
Nobuo Ikeshoji
伸夫 池庄司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2009269035A priority Critical patent/JP4779041B2/ja
Priority to CN201080042476.1A priority patent/CN102550011B/zh
Priority to PCT/JP2010/068923 priority patent/WO2011065169A1/ja
Priority to EP10833016.8A priority patent/EP2475161A4/en
Priority to US13/499,787 priority patent/US20120257086A1/en
Publication of JP2011114575A publication Critical patent/JP2011114575A/ja
Application granted granted Critical
Publication of JP4779041B2 publication Critical patent/JP4779041B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】分割画像の結合処理を高効率に実現し、高精細な画像の生成を容易とする。
【解決手段】被写体までの距離を算定する距離算定部110と、階層的に解像度を記憶する解像度設定部111と、撮影範囲の画角を所定角度で分割して分割フレームを生成し、各分割フレーム内のピント範囲が重なる様にレイアウトし、分割フレームのレイアウトと該当解像度を分割撮影プランとして記憶する処理を実行するフレームレイアウト部112と、雲台に対し分割撮影プランに基づいて各解像度での各分割フレームの単視点による画像撮影指示を通知して分割画像を取得する分割撮影指示部113と、撮影画像を一段高い解像度に拡大しベース画像とし、この分割画像に関して分割画像とベース画像との間でパターンマッチングを行って分割画像の位置合わせを行って各分割画像を結合する処理を分割撮影プラン毎に実行する分割画像結合部114とから画像撮影システム10を構成する。
【選択図】図1

Description

本発明は、画像撮影システム、画像撮影方法、および画像撮影プログラムに関するものであり、具体的には、論理的に矛盾無い分割撮影と分割画像の結合処理とを高効率かつ低コストに実現し、高精細な結合画像の生成を容易なものとする技術に関する。
従来から高精細な画像を得ようとするニーズがある。特に、絵画などの美術品においては、研究、再利用や保存の観点から本物を忠実にデジタル画像化して再現しようとする研究がなされている。
他方、対象物を画像としてリアルに再現するために、高解像度の画像を得る為の分割撮影(対象物を区分けして各区分毎に撮影)を行って、分割撮影で得た画像らを合成する技術(非特許文献1参照)が提案されている。この技術においては、階層化手法を用いて、対象物全体の写った画像(以後、全体画像と称す)から、最終的に必要な解像度(以後、目標解像度と称す)の分割画像に至るまで、解像度を段階的に変えて撮影を行うことになる。また、こうして得た分割画像の結合時には、全体画像を、次の解像度の分割画像の結合処理における「基準画像」にして画像結合作業を行い、結合された画像を、また次の解像度の分割画像の結合処理における基準画像にして画像結合を行うといった階層化手法を用いて、対象物をよりリアルに画像として再現しようとしている。
また、美術品とは対象を異にしているが、全体画像と分割画像を撮影し、全体画像に対して補正を行い、補正前の全体画像に対する分割画像の位置を求め、この位置と補正された全体画像に基づいて分割画像を結合することで、高解像度の画像データを生成する技術(特許文献1参照)も提案されている。
特開2006−338284号公報
「投影特徴を利用した階層的画像モザイク化手法による絵画等静止画像の高精細ディジタル化」:竹内俊一ほか:電子情報通信学会論文誌D-IIVol.J83-D-IINo.4 PP.1090-1099 2000年4月
しかしながら従来技術においては、以下の問題点がある。すなわち、階層化手法を用いた撮影において、階層化された解像度を実現するために撮影距離を変えて分割撮影を行っている。このため、解像度ごとに視点が変わりことでいわゆる視差問題が発生し、特に凸凹のある撮影対象(例:油絵等)では、画像結合時に矛盾が発生しやすい。また、分割撮影時の撮影位置を特定する為、幾何学パターンを撮影対象に投射し、この投射された幾何学パターンを目印に手動で撮影位置を合わせて撮影しているので、撮影に手間と時間がかかる。更に、分割画像の結合の目印として、投射された幾何学パターンも同時に2種類撮影することとなり、1カ所の分割画像につき3枚分の画像撮影が必要で、同じく撮影に手間と時間がかかる。また、分割画像を一つの解像度で撮影し、全体画像を基にそれらを結合して結合画像を直接生成する場合、全体画像と分割画像との間で解像度に差があれば、結合作業時のパターンマッチングの精度や結合後の画像不整合などの不具合が生じる可能性がある。
そこで本発明は上記課題を鑑みてなされたものであり、論理的に矛盾無い分割撮影と分割画像の結合処理とを高効率かつ低コストに実現し、高精細な結合画像の生成を容易なものとする技術の提供を主たる目的とする。
上記課題を解決する本発明の画像撮影システムは、デジタルカメラおよびその電動雲台と通信可能に接続され、デジタルカメラにおける画像撮影を制御するコンピュータであり、以下の機能部を備えている。すなわち前記画像撮影システムは、撮影対象の画像について得るべき目標解像度と、デジタルカメラのCCD解像度およびレンズの焦点距離とに応じて、撮影対象からのデジタルカメラ固定位置までの距離を所定式により算定し記憶部に格納する距離算定部を備えている。
また、前記画像撮影システムは、撮影対象全体の撮影画像の解像度より前記目標解像度に至るまでの間で階層的に解像度を設定し記憶部に格納する解像度設定部を備えている。
また、前記画像撮影システムは、撮影対象の撮影を行う縦横の大きさ(以後、撮影範囲と称す)の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内のピントの合っている範囲(以後、ピント範囲と称す)が重なる様に各分割フレームをレイアウトし、少なくとも分割フレームのレイアウトと該当解像度とに関する情報を分割撮影プランとして記憶部に格納する処理を、前記記憶部に格納している解像度毎に実行するフレームレイアウト部を備えている。
また、前記画像撮影システムは、撮影対象から前記距離で固定された前記デジタルカメラおよび電動雲台に対し、前記記憶部に格納しているレイアウト情報および解像度の情報を含む分割撮影プランに基づいて、各解像度での各分割フレームの位置に向けた単視点による画像撮影指示を通知し、各解像度での各分割フレームに関し撮影された分割画像を前記デジタルカメラから取得し記憶部に格納する分割撮影指示部を備えている。
また、前記画像撮影システムは、所定分割撮影プランの撮影画像を記憶部から読み出して、前記階層的な解像度のうち一段高い解像度の分割撮影プランと同じ解像度に拡大処理してベース画像とし、前記一段高い解像度の分割撮影プランにおける分割画像に関して、各分割画像の位置に基づいて前記ベース画像上の対応範囲を特定し、分割画像とベース画像との間でパターンマッチングを行って分割画像の位置合わせを行って各分割画像を結合し記憶部に格納する処理を、前記記憶部に格納している分割撮影プラン毎に実行する、分割画像結合部を備えている。
また本発明の画像撮影方法は、デジタルカメラおよびその電動雲台と通信可能に接続され、デジタルカメラにおける画像撮影を制御するコンピュータが、以下の処理を実行することを特徴とする。すなわち、前記コンピュータは、撮影対象の画像について得るべき目標解像度と、デジタルカメラのCCD解像度およびレンズの焦点距離とに応じて、撮影対象からのデジタルカメラ固定位置までの距離を所定式により算定し記憶部に格納する処理を実行する。
また、前記コンピュータは、撮影対象全体の撮影画像の解像度より前記目標解像度に至るまでの間で階層的に解像度を設定し記憶部に格納する処理を実行する。
また、前記コンピュータは、撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内のピント範囲が重なる様に各分割フレームをレイアウトし、少なくとも分割フレームのレイアウトと該当解像度とに関する情報を分割撮影プランとして記憶部に格納する処理を、前記記憶部に格納している解像度毎に実行する処理を実行する。
また、前記コンピュータは、撮影対象から前記距離で固定された前記デジタルカメラおよび電動雲台に対し、前記記憶部に格納しているレイアウト情報および解像度の情報を含む分割撮影プランに基づいて、各解像度での各分割フレームの位置に向けた単視点による画像撮影指示を通知し、各解像度での各分割フレームに関し撮影された分割画像を前記デジタルカメラから取得し記憶部に格納する処理を実行する。
また、前記コンピュータは、所定分割撮影プランの撮影画像を記憶部から読み出して、前記階層的な解像度のうち一段高い解像度の分割撮影プランと同じ解像度に拡大処理してベース画像とし、前記一段高い解像度の分割撮影プランにおける分割画像に関して、各分割画像の位置に基づいて前記ベース画像上の対応範囲を特定し、分割画像とベース画像との間でパターンマッチングを行って分割画像の位置合わせを行って各分割画像を結合し記憶部に格納する処理を、前記記憶部に格納している分割撮影プラン毎に実行する。
また、本発明の画像撮影プログラムは、デジタルカメラおよびその電動雲台と通信可能に接続され、デジタルカメラにおける画像撮影を制御するコンピュータに、以下の処理を実行させるプログラムである。すなわち、本発明の画像撮影プログラムは、コンピュータに、撮影対象の画像について得るべき目標解像度と、デジタルカメラのCCD解像度およびレンズの焦点距離とに応じて、撮影対象からのデジタルカメラ固定位置までの距離を所定式により算定し記憶部に格納する処理と、撮影対象全体の撮影画像の解像度より前記目標解像度に至るまでの間で階層的に解像度を設定し記憶部に格納する処理と、撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内のピント範囲が重なる様に各分割フレームをレイアウトし、少なくとも分割フレームのレイアウトと該当解像度とに関する情報を分割撮影プランとして記憶部に格納する処理を、前記記憶部に格納している解像度毎に実行する処理と、撮影対象から前記距離で固定された前記デジタルカメラおよび電動雲台に対し、前記記憶部に格納しているレイアウト情報および解像度の情報を含む分割撮影プランに基づいて、各解像度での各分割フレームの位置に向けた単視点による画像撮影指示を通知し、各解像度での各分割フレームに関し撮影された分割画像を前記デジタルカメラから取得し記憶部に格納する処理と、所定分割撮影プランの撮影画像を記憶部から読み出して、前記階層的な解像度のうち一段高い解像度の分割撮影プランと同じ解像度に拡大処理してベース画像とし、前記一段高い解像度の分割撮影プランにおける分割画像に関して、各分割画像の位置に基づいて前記ベース画像上の対応範囲を特定し、分割画像とベース画像との間でパターンマッチングを行って分割画像の位置合わせを行って各分割画像を結合し記憶部に格納する処理を、前記記憶部に格納している分割撮影プラン毎に実行する処理と、を実行させることを特徴とする。
本発明によれば、論理的に矛盾無い分割撮影と分割画像の結合処理とを高効率かつ低コストに実現し、高精細な結合画像の生成を容易なものとできる。
本実施形態の画像撮影システムを含むネットワーク構成例を示す図である。 本実施形態の単視点撮影の概要例を示す図である。 本実施形態の画像撮影方法の処理フロー例1を示す図である。 本実施形態の画像撮影方法の処理フロー例2を示す図である。 本実施形態における撮影対象、レンズ、CCDの関係を模式化して例示した図である。 本実施形態の階層的な解像度設定例を示す図である。 本実施形態における分割フレームの均等レイアウト例を示す図である。 本実施形態におけるカメラ角度均等での分割フレームのレイアウト例を示す図である。 本実施形態における錯乱円の計算概念を示す図である。 本実施形態におけるカメラを回転させた時の錯乱円の計算概念を示す図である。 本実施形態における分割フレームの許容錯乱円の範囲例を示す図である。 本実施形態におけるピント範囲を考慮した分割フレームレイアウト例を示す図である。 本実施形態の画像撮影方法の処理フロー例3を示す図である。 本実施形態の画像撮影方法の処理フロー例4を示す図である。
−−−システム構成−−−
以下に本発明の実施形態について図面を用いて詳細に説明する。図1は、本実施形態の画像撮影システム10を含むネットワーク構成例を示す図である。図1に示す画像撮影システム10(以下、システム10)は、論理的に矛盾無い分割撮影と分割画像の結合処理とを高効率かつ低コストに実現し、高精細な結合画像の生成を容易なものとするコンピュータシステムである。
本実施形態の前記ネットワーク15には、前記画像撮影システム10のコンピュータ100と、デジタルカメラ200および電動雲台300とが接続されている。前記コンピュータ100は、例えば絵画等の美術品のデジタルアーカイブ化を行う企業等が管理するサーバ装置であり、LANやWANなどの各種ネットワーク15を介して、撮影対象5たる絵画等の美術品を収納した美術館=撮影場所に設置されたデジタルカメラ200や電動雲台300と通信可能に結ばれた装置を想定できる。勿論、前記コンピュータ100とデジタルカメラ200や電動雲台300とがネットワーク15を介してではなく、一体となっていてもよい。
前記デジタルカメラ200は、被写体=撮影対象5の画像をレンズ250によりCCD(Charge Coupled Device)上で結像させ、この像を前記CCDによってディジタルデータへ変換してフラッシュメモリなどの記憶媒体203に格納するカメラであり、ディジタルスチルカメラとも呼ばれる。デジタルカメラ200は、ネットワーク15を介して前記コンピュータ100と通信する通信部201と、前記通信部201を介してコンピュータ100より受けた画像撮影指示に応じてレンズ250のズーム機構251を制御して指定解像度とし、シャッター機構205に撮影動作を指示する撮影制御部202とを備えている。
また、前記電動雲台300は、前記デジタルカメラ200を可動可能に支持・固定する装置である。電動雲台300は、三脚などの支持部材301上に設置される雲台であり、デジタルカメラ200を載置・固定する載置部302、前記載置部302を垂直・水平に可動させる機構(例:ベアリング、ギア、シリンダ、ステッピングモータ等)たる可動部303、前記可動部303(のステッピングモータ等)に対し前記コンピュータ100からの画像撮影指示に応じた駆動指示(例:モータ等の回転角度指示)を与える雲台制御部304と、ネットワーク15を介してコンピュータ100と通信する通信部305とを備えている。
本実施形態においては前記デジタルカメラ200および電動雲台300により単視点分割撮影を行うこととなる(図2参照)。この単視点分割撮影は、撮影対象5から決められた距離だけ離れた位置(以後、カメラ距離と称す)に、撮影対象5の中心に正対するようにデジタルカメラ200を設置し、デジタルカメラ200(レンズ250)のノーダルポイント(=レンズ固有の焦点の中心)を回転の中心にして、撮影対象5を分割撮影する撮影方法である。要するに、単視点(デジタルカメラ200の撮影位置を一か所に固定)で、デジタルカメラ200の向き(撮影方向)を上下左右に前記電動雲台300で動かして撮影対象5を余すところなく分割撮影する手法である。こうした手法を採用すれば、例えば、凹凸のある撮影対象5を、前記ノーダルポイントを中心に上下左右にカメラを振って分割撮影すれば、各撮影画像間の視差(画素ズレ)を無くすことができる。このノーダルポイントで分割撮影した画像は、論理的に画像間のズレなしに正確に画像結合処理ができる。
上記単視点撮影の様子を模式的に示したのが図2であるが、図中でデジタルカメラ200本体は省略し、レンズ250と撮像素子(CCD)の位置関係だけを表わしている。また、ノーダルポイントを中心に、コンピュータ100の制御でデジタルカメラ200の撮影方向を自由に設定できる電動雲台も回転軸だけを記載し本体を省略している。
続いて、上記コンピュータ100の構成について説明する。コンピュータ100は、前記システム10を構成するサーバ装置を想定できる。このコンピュータ100は、記憶部101、メモリ103、CPUなどの制御部104、通信部107らがBUSにより互いに接続されて構成されている。
前記コンピュータ100は、ハードディスクドライブなどの前記記憶部101に格納されたプログラム102を、メモリ103などの揮発性メモリに読み出すなどして制御部104により実行することになる。また、前記コンピュータ100は、コンピュータ装置が一般に備えている各種キーボードやマウス等の入力部105、ディスプレイなどの出力部106を必要に応じて備えるとしてもよい。また前記コンピュータ100は、他装置との間のデータ授受を担うNIC(Network Interface Card)など通信部107を有し、前記デジタルカメラ200や電動雲台300などとネットワーク15を介して通信可能となっている。
続いて、前記コンピュータ100が、例えばプログラム102に基づき記憶部101にて構成・保持する機能部につき説明を行う。前記コンピュータ100は、撮影対象5の画像について得るべき目標解像度と、デジタルカメラ200のCCD解像度およびレンズ250の焦点距離とに応じて、撮影対象5からのデジタルカメラ固定位置までの距離を所定式により算定し記憶部101に格納する距離算定部110を備える。
また、前記コンピュータ100は、撮影対象全体の撮影画像の解像度より前記目標解像度に至るまでの間で階層的に解像度を設定し記憶部101に格納する解像度設定部111を備えている。
また、前記コンピュータ100は、撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内のピント範囲が重なる様に各分割フレームをレイアウトし、少なくとも分割フレームのレイアウトと該当解像度とに関する情報を分割撮影プランとして記憶部101に格納する処理を、前記記憶部101に格納している解像度毎に実行するフレームレイアウト部112を備えている。
また、前記コンピュータ100は、撮影対象5から前記距離で固定された前記デジタルカメラ200および電動雲台300に対し、前記記憶部101に格納しているレイアウト情報および解像度の情報を含む分割撮影プランに基づいて、各解像度での各分割フレームの位置に向けた単視点による画像撮影指示を通知し、各解像度での各分割フレームに関し撮影された分割画像を前記デジタルカメラ200から取得し記憶部101に格納する分割撮影指示部113を備えている。
また、前記コンピュータ100は、所定分割撮影プランの撮影画像を記憶部101から読み出して、前記階層的な解像度のうち一段高い解像度の分割撮影プランと同じ解像度に拡大処理してベース画像とし、前記一段高い解像度の分割撮影プランにおける分割画像に関して、各分割画像の位置に基づいて前記ベース画像上の対応範囲を特定し、分割画像とベース画像との間でパターンマッチングを行って分割画像の位置合わせを行って各分割画像を結合し記憶部101に格納する処理を、前記記憶部101に格納している分割撮影プラン毎に実行する、分割画像結合部114を備えている。
なお、前記解像度設定部111は、撮影対象全体の撮影画像の解像度より前記目標解像度に至るまでの間で、解像度が高くなるほど解像度間の倍率を高めて階層的に解像度を設定し記憶部101に格納するとしてもよい。
また、前記フレームレイアウト部112は、撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内の錯乱円の直径(以後、錯乱円径と称す)を算定して、テスト撮影等で予めピントの合う範囲の錯乱円径(以後、許容錯乱円径と称す)を決め、前記許容錯乱円径以下の範囲を分割フレームにおけるピント範囲と特定し、互いのピント範囲が重なる様に各分割フレームをレイアウトし、少なくとも分割フレームのレイアウトと該当解像度とに関する情報を分割撮影プランとして記憶部101に格納する処理を、前記記憶部101に格納している解像度毎に実行するとしてもよい。
これまで示した前記コンピュータ100における各部110〜114はハードウェアとして実現してもよいし、コンピュータ100におけるメモリやHDD(Hard Disk Drive)などの適宜な記憶部101に格納したプログラム102として実現するとしてもよい。この場合、コンピュータ100のCPUなど制御部104がプログラム実行に合わせて記憶部101より該当プログラムを読み出して、これを実行することとなる。
−−−処理手順例1−−−
以下、本実施形態における画像撮影方法の実際手順について図に基づき説明する。以下で説明する画像撮影方法に対応する各種動作は、前記システム10を構成する主として前記コンピュータ100(やデジタルカメラ200、電動雲台300)のメモリに読み出して実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。本実施形態の画像撮影方法のメインフローとしては、図3に示す如く、分割撮影プランの生成→分割撮影プランに基づく撮影→分割画像の結合処理、といった流れとなる。
まずは、分割撮影プランの生成処理について主に説明する。図4は、本実施形態の画像撮影方法の処理フロー例1を示す図である。この場合、前記コンピュータ100の距離算定部110は、撮影対象5の撮影範囲の情報を入力部105で受け付けて記憶部101に格納する(s100)。撮影対象5が絵画であれば絵画の縦横の長さ情報を得ることになる。この時、距離算定部110は、撮影誤差(撮影機材の設置や動作の誤差)を考慮し、前記ステップs100で受けた撮影対象5の大きさに対し所定値を加算して、撮影対象5の外側に所定幅の余白を設定し、この余白を含めて撮影範囲としてもよい。
次に、前記距離算定部110は、撮影対象5の最大撮影解像度=目標解像度の情報を入力部105で受け付けて記憶部101に格納する(s101)。例えば、撮影対象5を“1200dpi(dot/inch)”の解像度でデジタル化(画像データ化)する場合、「1200」との入力を入力部105で受け付けることになる(勿論、予め記憶部101に登録されている解像度リストを出力部106に表示し、ユーザに所望の解像度を選択させるようにしてもよい)。
続いて前記距離算定部110は、撮影に使用するデジタルカメラ200の撮像素子(CCD)の大きさ(縦横の長さ)と画素数(縦横の画素数)の各情報を入力部105で受け付けて「カメラ条件」として記憶部101に格納する(s102)。また、前記距離算定部110は、目標解像度の撮影に使用するレンズ250の焦点距離と最短撮影距離(これ以上近づくと撮影できなくなる距離)の各情報を入力部105で受け付けて、「レンズ条件」として記憶部101に格納する(s103)。
また前記距離算定部110は、撮影対象5の画像について得るべき目標解像度と、デジタルカメラ200のCCD解像度およびレンズ250の焦点距離とに応じて、撮影対象5からのデジタルカメラ固定位置までの距離=カメラ距離を所定式により算定し記憶部101に格納する(s104)。図5は、本実施形態における撮影対象5、レンズ250、CCDを模式化して上方から見た図で、デジタルカメラ200の向きを正面(角度:0,0)で撮影した場合(1)と、水平方向に角度θだけ動かした場合(2)を示している。
この図5(1)において、解像度p、撮影範囲w、レンズ250の焦点距離f、ノーダルポイントから撮影対象5までの距離(カメラ距離)z、ノーダルポイントからCCDまでの距離b、CCDの幅Cw、CCDの幅方向の画素数Cdと定義して、目標解像度からカメラ距離zを求める計算を説明する。
ここで、レンズ250の焦点距離f、カメラ距離z、ノーダルポイントからCCDまでの距離bの関係は、レンズの公式より、“1/f=1/z+1/b”、これを変形して“ b=f*z/(z-f)”と定義できる。撮影範囲wとCCDの幅Cwの関係は、図より単純な比率計算で、“z:b=w:Cw”となり、これを変形して“w=z/b*Cw”となる。一方、解像度の計算は、1インチ=25.4mmなので、“p=Cd/w/25.4mm”=“Cd*25.4mm/w”となる。
そこでこれらの式を纏めると、“p=Cd*25.4/(z/b*Cw)”=“Cd*25.4*b/(z*Cw)”=“Cd*25.4*(f*z/(z−f))/(z*Cw)”=“(Cd/Cw*25.4)*f/(z−f)”となる。また、CCDの解像度“Cp=Cd/Cw*25.4”なので、前記式は、“p=Cp*f/(z−f)”となる。この式からカメラ距離zを求める式は、“z=Cp*f/p +f”となる。目標解像度p、CCD解像度Cp、およびレンズの焦点距離fは、予め入力部105で得ているとすれば、カメラ距離zはこの式から求められる。例えば、目標解像度が“1200dpi”、CCDの解像度が“4000dpi”、レンズ250の焦点距離fが“600mm”の場合、カメラ距離zは、“4000*600/1200+600”で“2600mm”となる。なお、前記距離算定部110は、こうして求められるカメラ距離zがレンズ250の最短撮影距離(予め記憶部101にデータ保持)より小さくないか判定し、カメラ距離zが前記最短撮影距離より小さい場合、該当レンズを選択候補から外すべき情報を出力部106に表示するといった処理を実行してもよい。
なお、図5(2)は、デジタルカメラ200を中心からθだけ回転させた状況を示しており、カメラ距離zが同じ場合は中心から離れるほど解像度が小さくなる。式で表わすと、角度θの時のカメラ距離z´は、“z´=z/Cosθ”、角度θに直行する場合の解像度tは、“t= Cp*f/(z/Cosθ-f)”となる。そこで角度θ時の実際の解像度p´は、“p´=t*Cosθ”=“Cp*f/(z/Cosθ-f)*Cosθ”=“Cp*f*Cos2θ/(z−f*Cosθ)”となる。この式から、角度θが大きくなるほど(中心から離れるほど)、撮影範囲は広がり、それに伴って解像度が下がることがわかる。これは単視点撮影時の特徴で、この計算式を用いて、撮影範囲の中で最低の解像度を目標解像度に設定して、撮影プランを作成するとしてもよい。
続いて、前記コンピュータ100の解像度設定部111は、撮影対象全体の撮影画像の解像度より前記目標解像度に至るまでの間で階層的に解像度を設定し記憶部101に格納する(s105)。この時、前記解像度設定部111は、撮影対象全体の撮影画像の解像度より前記目標解像度に至るまでの間で、解像度が高くなるほど解像度間の倍率を高めて階層的に解像度を設定するとすれば好適である。例えば図6に示すように、目標解像度を“1200ppi”とした場合、次なる解像度を“1200ppi”の1/4の解像度“300ppi”とし、更に、次なる解像度を“300ppi”の1/2の解像度“150ppi”とし、更に、次なる解像度を“150ppi”の1/2の解像度“75ppi”とする(この例では、“300ppi”を境に解像度間の倍率が2倍から4倍と変化している)。
次に前記コンピュータ100のフレームレイアウト部112は、撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内のピント範囲が重なる様に各分割フレームをレイアウトし、少なくとも分割フレームのレイアウトと該当解像度とに関する情報を分割撮影プランとして記憶部101に格納する処理を、前記記憶部101に格納している解像度毎に実行する。この時、前記フレームレイアウト部112は、撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内の錯乱円径を算定して許容錯乱円径以下の範囲を分割フレームにおけるピント範囲と特定し、互いのピント範囲が重なる様に各分割フレームをレイアウトするとしてもよい。
以下に、上記フレームレイアウト部112での処理について詳述する。まず、前記フレームレイアウト部112は、作成対象の分割撮影プランにおける解像度を目標解像度とし(s106)、分割撮影時の撮影範囲(以後、分割フレームと称す)のレイアウトを計算する(s107)。ここで、目標解像度での分割撮影では、レンズ250の焦点距離、カメラ距離、CCDの大きさ及び画素数は固定値になり、デジタルカメラ200の向きが決まれば、分割フレームが決まることになる。また、この分割フレームは、最小重なり率(以後、最小オーバラップと称す)を指定することで、撮影対象全体の撮影範囲にタイル状に自動計算して並べることができる。最小オーバラップの情報が必要な理由は、分割フレームの重なり率がゼロ未満になると画像結合の処理時に結合ができなくなる為である。そこで、ユーザは、電動雲台300の機械精度の誤差を見越して、この最小オーバラップを入力部105で指定し、一方、前記フレームレイアウト部112はこの指定を受け付けて記憶部101に格納しておくことになる。
まず前記フレームレイアウト部112は、等角度で分割フレームを並べる。ここで、分割フレームは撮影対象全体の撮影範囲の中心から離れるに従って、パースが掛かり分割フレーム自体が大きくなる(CCDの大きさは変わらないので解像度は下がる)。ただし、分割フレームの画角(デジタルカメラ200から見て分割フレームが広がる角度)は、この場合は全て同じである。ゆえに、撮影対象全体の撮影範囲の画角を分割フレームの画角で分割すると、撮影対象全体の撮影範囲に均等に分割フレームを配置したレイアウトを得られる。
そこでフレームレイアウト部112は、デジタルカメラ200の撮影角度と画角で最初のレイアウトの計算を行う。例えば、撮影対象全体の撮影範囲の横の画角が“50°”で、分割フレームの横の画角が“10°”、最小オーバラップが“0°”であるとする。この場合、例えば、撮影対象の横方向に着目し、カメラ角度を“10°”づつ横にずらして分割フレームを配置すると5個の分割フレームを撮影対象全体の撮影範囲にレイアウトできる(図7参照)。この時の計算式は“(50-0)/(10-0)=5”←分割フレーム数となる。また、最小オーバラップを10%にすると、実際のオーバラップは、20%(2°)になり、カメラ角度を8°づつ横にずらして配置すると6個の分割フレームを全体の撮影範囲にレイアウトできる。この時の計算式は、“(50-1)/(10-1)=5.4”で、実際は“(50-x)/(10-x)=6”←分割フレーム数で、“x=(60-50)/5=2”←実際のオーバラップとなる。
前記フレームレイアウト部112は、こうしたレイアウト方式を撮影対象の縦方向に対しても行い、分割フレームを撮影対象全体の撮影範囲にレイアウトする。
続いて、画角ではなくカメラ角度を均等にして分割フレームをレイアウトする例を示す(図8参照)。図8に示す例では、撮影範囲(灰色部分)に対して、分割フレームを横(x)方向に10°、縦(y)方向に8°づつずらして均等配置している。分割フレームが左右上下整列しないのは、中心から離れるほどパースがかかって分割フレームの大きさが大きくなるためでる。また、この分割フレームのレイアウトを使って分割撮影し、撮影した画像を記録する為に必要な情報は、各分割フレームをユニークに識別する為のフレーム名と、xy方向のカメラの回転角度と、撮影された画像ファイルを識別する為のファイル名となり、前記フレームレイアウト部112が所定アルゴリズムの下、名称付与や数字の採番処理を実行して設定するものである。図中の表1に分割フレームを撮影するのに必要な情報を記録したテーブル(記憶部101に保持)の例を示す。
この表1に示す例では、撮影範囲の左上から分割フレームの縦横の行と列に番号を振って、レイアウト位置が分かり易いようにフレーム名を付けている(Frame+行番号+列番号)。また、デジタルカメラ200が撮影対象に対して正対する位置(撮影対象の中心)の角度をx=0°、y=0°とし、上左方向を+角度とし、右下方向を−角度としてカメラ角度は設定されている。表1の例では、“Frame0403”が撮影対象5の中心を向く角度でカメラ角度がx=0°、y=0°となっている。
また、分割撮影を行う為に分割撮影プランには、先に説明した撮影条件(撮影解像度、撮影範囲、レンズ条件、カメラ条件、ピント条件など)も記録される(図8中の表2参照)。
次に、前記フレームレイアウト部112が実行する、ピントの合っている範囲の算定処理(s108)について説明する。本実施形態において、錯乱円の直径が、ある一定の値以下になる範囲をピントの合っている範囲=ピント範囲としている。錯乱円の計算式を以下に示す。また、図9に錯乱円の計算概念を示す。式では、錯乱円径をCOC(circle of confusion)と記述する。
(この式1は、以下の公式から導き出したものである)。
(被写体からレンズまでの距離をS、レンズから撮像素子までの距離をf、撮像素子の位置に焦点を結ぶ位置(=フォーカスが合っている位置)をS、レンズの口径をAとし、相似3角形の式に基づく)。
(錯乱円径COCとCの関係は、レンズの拡大率の計算から)。
(無限遠点での焦点距離をfとした時のレンズの公式から)。
(絞り値をNとすると、絞りNと焦点距離fとレンズ口径Aの関係式から)。
ここで本実施形態ではレンズ250のノーダルポイントを中心にデジタルカメラ200を回転させて分割フレームの撮影を行う。デジタルカメラ200を回転させた場合のピント範囲の計算(錯乱円の計算)の概念図を図10に示す。図10はデジタルカメラ200を垂直方向にθ度回した時の、撮像素子(=CCD)と被写体との関係を表した図である。撮像素子の両端に対応する被写体位置U,Dからレンズまでの距離を各々US、DS、レンズから撮像素子までの距離をf1、撮像素子の位置に焦点を結ぶ位置(フォーカス面)から撮像素子までの距離をSとする。又、デジタルカメラ200のフォーカスは撮像素子の中央部分に相当するエリアに合っているものとする。
この場合も、前記式1を用いて錯乱円径(COC)を求めることができる。例えば、被写体位置U,Dは以下の様に計算できる。
また、被写体位置U,D以外の位置も三角関数を用いて幾何計算をすることによりレンズと被写体の距離がわかるので、分割撮影される範囲(分割フレーム)の全ての位置の錯乱円径COCを求めることができる。図10では、撮像素子の中央部分の錯乱円径COCはゼロで、中央から離れるに従い錯乱円径COCの値は大きくなる。即ち、ピントが外れてボケていくことになる。
結局、分割フレーム内のピント範囲は、分割フレームのデジタルカメラ200の角度(図10のθ:撮影対象5の中央からの回転角度)が決まれば、式1から錯乱円の大きさを計算することで求めることができる。この時、ピント範囲を左右する値は、ピントが合っているとする錯乱円の大きさ=許容錯乱円径と、絞り値とデジタルカメラ200の回転角度である。絞り値と許容錯乱円径の大きさを大きくするほどピント範囲が広がり、デジタルカメラ200の回転角度が大きくなるほどピント範囲が小さくなる。
また前記フレームレイアウト部112は、許容錯乱円径と絞り値を決定する。フレームレイアウト部112は、前記式1を用いて、先の説明で均等レイアウトした分割フレーム内の錯乱円COCを計算して許容錯乱円径の値を決定し、その値以下の範囲をピント範囲とする。均等レイアウトした分割フレームでピント範囲を計算した結果の様子を図11に示す。図11の斜線で示している部分が、各分割フレームのピント範囲で、グレー部分が撮影対象でありながらピント範囲から抜けている領域である。一方、図11で示したピント範囲が重なる様に分割フレームをレイアウトした例を図12に示す。図12に示した分割フレームのレイアウトに基づいて分割フレームを撮影することで、ピントの合っていない部分の無い結合画像を得ることができる。以下に、図12で示したピント範囲が重なる様に分割フレームをレイアウトする実施例を示す。
ここで前記フレームレイアウト部112は、例えば、撮影範囲の中央に分割フレームを配置し、中央の分割フレームのピント範囲に重なる様に、周辺の分割フレームのピント範囲を計算して配置する(s109)。またフレームレイアウト部112は、前記中央の分割フレームを中心に配置した一群の分割フレームのピント範囲を合成し、前記中央のピント範囲として特定する(s110)。前記フレームレイアウト部112は、ここで特定した中央のピント範囲が撮影範囲を満たすまで、前記中心から順に周辺へピント範囲が重なる様に分割フレームを配置することで、全ての分割フレームのピント範囲(の周縁)が互いに重なるレイアウトを行う(s111:いいえ→s109→s110→s111:はい)。他方、前記フレームレイアウト部112は、前記特定した中央のピント範囲が撮影範囲を満たした場合(s111:はい)、目標解像度の分割撮影プランにおける撮影範囲に分割フレームを適正に配置し終わったことになり、この分割撮影プランの情報(=前記表1、表2が含むデータ)を記憶部101に保存する(s112)。
フレームレイアウト部112は、前記ステップs108〜s112を、記憶部101に格納している各解像度(に対応する分割撮影プラン)について全て終了するまで繰り返し実行する(s113:いいえ→s114→s108〜s112→s113:はい)。こうして分割撮影プランの作成処理は実行される。
なお、上述の撮影範囲、カメラ条件、レンズ条件、ピント条件等の中で、必ず撮影対象ごとに設定しなければならないのは撮影範囲であり、その他の条件はデジタルカメラ200やレンズ250を決めれば一意に決まる値である。よって、本実施形態で使用するデジタルカメラ200やレンズ250の条件をコンピュータ100の記憶部101に登録(データベース化)しておき、入力部105で指定された目標解像度と撮影範囲に合わせてコンピュータ100が最適なものを検索して選択するとしてもよい(例えば、目標解像度“1200dpi”に対応するカメラ条件、レンズ条件、ピント条件を備えるデジタルカメラ200、レンズ250等をコンピュータ100が選択)。或いは、特定の組合せ条件に名前を付与して記憶部101に保持しておき、入力部105での指定条件に合わせてコンピュータ100が該当組み合わせ条件を選択するとしてもよい(例えば、“1200dpi撮影セット”、“600dpi撮影セット”など)。
−−−処理手順例2−−−
図13は本実施形態の画像撮影方法の処理フロー例2を示す図である。次に、分割撮影プランに基づく分割撮影処理について説明する。この場合、前記コンピュータ100の分割撮影指示部113は、撮影対象5から前記距離=カメラ距離で固定された前記デジタルカメラ200および電動雲台300に対し、前記記憶部101に格納しているレイアウト情報および解像度の情報を含む分割撮影プランに基づいて、各解像度での各分割フレームの位置に向けた単視点による画像撮影指示を通知し、各解像度での各分割フレームに関し撮影された分割画像を前記デジタルカメラ200から取得し記憶部101に格納する。以下、この分割撮影指示部113の処理について詳述する。
どの解像度の分割撮影プランから撮影を行ったとしても分割画像の結合処理には影響しないが、本実施形態では解像度の低い分割撮影プランからの撮影手順について説明することとする。コンピュータ100の分割撮影指示部113は、ユーザの指示を入力部105で受けて、撮影対象全体を撮影する分割撮影プランを記憶部101から読みだして出力部106に表示する(s200)。ユーザは、この分割撮影プランが示す撮影条件(前記表1、2が該当解像度に関して示すデータであり、撮影解像度、撮影範囲、レンズ条件、カメラ条件、ピント条件など)に合わせて、対応するデジタルカメラ200、レンズ250、電動雲台300を撮影対象5の中心に正対する正確な位置(カメラ距離に対応した位置)に設置することになる。
次に前記コンピュータ100の分割撮影指示部113は、前記分割撮影プランが示す分割フレームの位置情報や解像度等の情報を読み込み(s201)、入力部105で受けたユーザからの撮影開始トリガに応じ、前記分割フレームの位置情報に従った電動雲台300への可動部303における回転角度の指示や、前記解像度(例:75dpi)に応じた焦点距離となるようデジタルカメラ200のレンズズーム機構へのズーム指示と、デジタルカメラ200へのシャッター押下の指示とを行って、撮影対象5の中心にデジタルカメラ200のレンズを向けさせて(s202)、全体画像撮影を開始させる(s203)。
前記デジタルカメラ200では、撮影を行って撮影画像データを取得し、この撮影画像データに、撮影画像を一意に特定可能な名前を付与してフラッシュメモリなどの記憶媒体に格納することになる。「画像を一意に特定可能な名前」としては、例えば、「解像度値+分割フレームの番号」などが想定できる。なお、ここで対象となっている分割撮影プランは、撮影対象の全体画像を撮影するプラン(=撮影画像は1枚)であり、解像度75dpiとすると、「Plan75-f0001」などと画像名を付与すればよい。或いは、コンピュータ100の分割撮影指示部113が、前記デジタルカメラ200と通信してデジタルカメラ200での撮影毎に撮影画像データを取得し、この撮影画像のデータに、画像を一意に特定可能な名前を付与して記憶部101に格納するとしてもよい。
なお、前記デジタルカメラ200は、前記分割撮影プランが示す分割フレームのうち、撮影を行った分割フレームについて、対応する撮影画像名を記憶媒体に記録する。つまり、分割フレームとそこに関する撮影画像との対応リストを作成するのである(ただし、上述の例のように、画像名自体が分割フレーム名を含むとなればリストを新たに生成せずとも各画像名を抽出すれば足りる)。デジタルカメラ200は、分割フレームとそこについて得た撮影画像名との対応リストを前記コンピュータ100に転送するとしてもよい。この場合、コンピュータ100の分割撮影指示部113は、前記対応リストを受信して記憶部101に格納することとなる。
撮影対象5の全体画像の撮影を上記のように完了したならば(s204:はい)、前記コンピュータ100の分割撮影指示部113は、目標解像度に対応した分割撮影プランを終えた訳ではないので(s205:いいえ)、記憶部101において、前記全体画像の撮影時の分割撮影プランのものに比べ一段高い解像度に対応した分割撮影プランを選択し(s206)、処理を前記ステップs201に戻す。
次に前記コンピュータ100の分割撮影指示部113は、前記分割撮影プランが示す、最初の分割フレーム(例:分割フレームの名称が含む数字や文字の昇順・降順など)を記憶部101から読み込み、その分割フレームが示す位置情報や解像度等の情報を読み込み(s201)、前記最初の分割フレームの位置情報に従った電動雲台300への可動部303における回転角度の指示や、前記解像度に応じた焦点距離とするためのデジタルカメラ200のレンズズーム機構へのズーム指示と、デジタルカメラ200へのシャッター押下の指示とを行って、前記最初の分割フレームにデジタルカメラ200のレンズを向けさせて(s202)、分割画像撮影を開始させる(s203)。
前記デジタルカメラ200では、撮影を行って撮影画像データ=分割画像のデータを取得し、この分割画像のデータに、撮影画像を一意に特定可能な名前を付与してフラッシュメモリなどの記憶媒体に格納することになる。「画像を一意に特定可能な名前」としては、例えば、「解像度値+分割フレームの番号」などが想定できる。対象となっている分割撮影プランは、解像度“150dpi”のプランであり、前記最初の分割フレームを“f0001”とすると「Plan150-f0001」などと分割画像名を付与すればよい。或いは、コンピュータ100の分割撮影指示部113が、前記デジタルカメラ200と通信してデジタルカメラ200での撮影毎に分割画像のデータを取得し、この分割画像のデータに、画像を一意に特定可能な名前を付与して記憶部101に格納するとしてもよい。前記デジタルカメラ200が、前記分割撮影プランが示す分割フレームのうち、撮影を行った分割フレームについて、対応する分割画像名を記憶媒体に記録する点は上記同様である。
解像度“150dpi”に対応した前記分割撮影プランにおける最初の分割フレームの撮影を上記のように完了しても、まだ分割フレームが残っているならば(s204:いいえ)、前記コンピュータ100の分割撮影指示部113は、次なる分割フレーム(例:分割フレームの名称が含む数字や文字の昇順・降順など)を記憶部101から読み込み(s204a)、その分割フレームが示す位置情報や解像度等の情報を読み込み(s201)、前記次なる分割フレームの位置情報に従った電動雲台300への可動部303における回転角度の指示や、前記解像度“150dpi”に応じた焦点距離とするためのデジタルカメラ200のレンズズーム機構へのズーム指示と、デジタルカメラ200へのシャッター押下の指示とを行って、前記次なる分割フレームにデジタルカメラ200のレンズを向けさせて(s202)、分割画像撮影を実行させる(s203)。
前記デジタルカメラ200では、撮影を行って分割画像のデータを取得し、この分割画像のデータに、撮影画像を一意に特定可能な名前を付与してフラッシュメモリなどの記憶媒体に格納することになる。対象となっている分割撮影プランは、解像度“150dpi”のプランであり、前記次なる分割フレームを“f0002”とすると「Plan150-f0002」などと分割画像名を付与すればよい。或いは、コンピュータ100の分割撮影指示部113が、前記デジタルカメラ200と通信してデジタルカメラ200での撮影毎に分割画像のデータを取得し、この分割画像のデータに、画像を一意に特定可能な名前を付与して記憶部101に格納するとしてもよい。前記デジタルカメラ200が、前記分割撮影プランが示す分割フレームのうち、撮影を行った分割フレームについて、対応する分割撮影画像名を記憶媒体に記録する点は上記同様である。
こうして、解像度“150dpi”に対応した前記分割撮影プランにおける各分割フレームの撮影を上記の如く実行して、ついに最後の分割フレームについても撮影が完了したならば(s204:はい)、前記コンピュータ100の分割撮影指示部113は、目標解像度に対応した分割撮影プランを終えたか判定する(s205)。勿論、本実施形態の例では、まだ“300dpi”、“1200dpi”の解像度に対応した各分割撮影プランが残っているので(s205:いいえ)、前記分割撮影指示部113は、記憶部101において、前記解像度“150dpi”の分割撮影プランのものに比べ一段高い解像度“300dpi”に対応した分割撮影プランを選択し(s206)、処理を前記ステップs201に戻す。
こうした処理を繰り返し実行した結果、目標解像度“1200dpi”の分割撮影プランに関する撮影も完了した場合(s205:はい)、前記分割撮影指示部113は処理を終了する。
−−−処理手順例3−−−
図14は本実施形態の画像撮影方法の処理フロー例3を示す図である。次に、分割撮影プランに基づいて撮影された分割画像の結合処理について説明する。この場合、前記コンピュータ100の分割画像結合部114は、所定分割撮影プランの撮影画像を記憶部101から読み出して、前記階層的な解像度のうち一段高い解像度の分割撮影プランと同じ解像度に拡大処理してベース画像とし、前記一段高い解像度の分割撮影プランにおける分割画像に関して、各分割画像の位置に基づいて前記ベース画像上の対応範囲を特定し、分割画像とベース画像との間でパターンマッチングを行って分割画像の位置合わせを行って各分割画像を結合し記憶部101に格納する処理を、前記記憶部101に格納している分割撮影プラン毎に実行する。以下、この分割画像結合部114の処理例について詳述する。
本実施形態の例では、まず前記分割画像結合部114は、記憶部101から分割撮影プランを読み込み(s300)、そのうち撮影対象5の全体画像の撮影に対応したプラン=解像度最小の“75dpi”の分割撮影プランを特定する(s301)。また、分割画像結合部114は、この解像度“75dpi”の分割撮影プランに関して記憶部101に格納されている撮影画像のデータを読み出し(s302)、光学系で発生するゴミや歪みの除去処理を実行する(s303)。このゴミや歪みの除去処理は、前記撮影画像データに対し、レンズとカメラの撮像素子の間にあるゴミを取り除くような処理や、レンズや絞りで発生する歪みを補正する処理を実行するものとなる。これら補正は従来技術を採用すればよい。
続いて分割画像結合部114は、前記全体画像に、撮影時に発生する歪みや位置ずれを補正し、撮影対象5の実際形状と相似形な全体画像を作成する(s304)。この補正は、例えばパース補正により、撮影対象5に対する実際の測定から得られた形状を全体画像と同じ解像度にし、これに、前記全体画像の4点(例えば額縁の4隅)を合わせるよう、全体画像の変形を行うことが想定できる。
また、分割画像結合部114は、上記ステップs304で補正された全体画像を、一段高い解像度の分割撮影プランが示す解像度“150dpi”に拡大処理し、これより得た拡大画像をベース画像として記憶部101に格納する(s305)。
次に分割画像結合部114は、一段高い解像度、つまり解像度“150dpi”の分割撮影プランを記憶部101から読み込み(s306)、読み込んだ分割撮影プランに関して記憶部101に格納されている分割画像のデータを所定ルール(ファイル名の降順・昇順など)で1つ読み込む(s307)。ここで読み込む分割画像のデータは、勿論、まだ以降の処理を実施されていない未処理のものである(処理の未済ステータスはフラグ等で管理すればよい)。
続いて分割画像結合部114は、前記ステップs307で読み込んだ分割画像のデータに対し、光学系で発生するゴミや歪みの除去処理を実行する(s308)。この処理は、前記ステップs303で述べた処理と同様の処理となる。また分割画像結合部114は、前記分割画像からピントの合っている範囲を切り出し、前記ベース画像における対応位置に配置する(s309)。ピントの合っている範囲の切り出し処理は従来の画像処理技術を採用すればよい。また、分割画像をベース画像上の対応位置に配置する際には、例えば、前記分割画像に対応した分割フレーム(=分割画像名から“f0001”などと名称特定できる)の撮影時における、デジタルカメラ200の回転角度やカメラ距離(これは分割フレームや分割撮影プランに関係なく固定)の情報を該当分割撮影プランの情報から読み出し、これら情報に基づいて撮影対象面上の該当分割画像の位置を算定できるから、ここで算定した位置(例:撮影対象面の平面座標系上の座標値)に対応するベース画像上での箇所(ベース画像面の平面座標系上で同じ座標値)に、分割画像を配置すればよい。
次に、分割画像結合部114は、分割画像の中央範囲(所定画素数の矩形範囲など)をパターンマッチングポイントに設定する(s310)。また、分割画像結合部114は、設定されたパターンマッチングポイントについて、ベース画像とパターンマッチングし、各パターンマッチングポイントの移動量から分割画像を変形配置する(s311)。この場合、分割画像結合部114は、前記パターンマッチングポイントたる前記分割画像の中央範囲と重なる位置のベース画像とのパターンマッチングを行って、例えば同じ撮影箇所に由来する画素であるがその位置がずれている場合、該当画素間の距離=移動量を求め、分割画像の対象画素の位置をベース画像の該当画素の位置と一致させる方向に前記移動量だけ、前記分割画像をベース画像上で移動させる(=パース補正)。
前記移動量がゼロないし規定値以下でなく、かつこれまで設定したパターンマッチングポイント数が規定値以上(例えば、16ポイント以上など)でない場合(s312:いいえ)、分割画像結合部114は、例えば、前記移動後の位置で分割画像を4分割して、それぞれの分割領域の中央範囲をパターンマッチングポイントとして追加する(s313)。そして、この4つのパターンマッチングポイント各々とベース画像をそれぞれパターンマッチングし、上記同様に移動量を求めて4点のパース補正を行う(s311)。上記同様に、ここでの移動量がゼロないし規定値以下でなく、かつこれまで設定したパターンマッチングポイント数が規定値以上でない場合(s312:いいえ)、分割画像結合部114は、更に、このパース補正後の分割画像を16分割して(s313)、それぞれの分割領域の中央範囲をベース画像とそれぞれパターンマッチングして、同様に移動量を求めて16点のパース補正を行う(s311)。
前記分割画像結合部114は、こうした処理を「移動量」がゼロないし規定値以下であり、かつこれまで設定したパターンマッチングポイント数が規定値以上になるまで行い(s312:いいえ→s310〜s311→s312:はい)、分割画像とベース画像の対応範囲との画像形状を同じにしていく。
前記分割画像結合部114は、上記ステップs307〜s312(ないしs313)までの処理を、該当分割撮影プランに関する全分割フレームに関する処理が終了するまで繰り返し実行する(s314:いいえ→s307)。他方、前記分割画像結合部114は、上記ステップs307〜s312(ないしs313)までの処理を繰り返し実行して、該当分割撮影プランに関する全分割フレームに関する処理が終了したならば(s314:はい)、すべての分割画像のパース補正処理と位置合わせが終了したと認識し、変形(=パース補正)と位置あわせの終了した全ての分割画像の結合処理を行う(s315)。
次に、前記分割画像結合部114は、前期ステップs315で結合された分割画像が、目標解像度の分割撮影プランでない場合(s316:いいえ)は、結合された分割画像を次の解像度"300dpi"の分割撮影プランの解像度に拡大しベース画像とする(s317)。
次に、前記分割画像結合部114は、処理を前記ステップs306に戻し、各解像度に対応した分割撮影プランに関して同様に、上記ステップ306〜s315までの処理を繰り返し実行する
最後に、前記ステップs315で結合処理された分割画像が、目標解像度の分割撮影プランに関するものであれば(s316:はい)、前記分割画像結合部114は、最後に結合処理された分割画像を目標解像度の結合画像として記憶部101に格納し、処理を終了する。
本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、前記画像撮影システムにおける前記解像度設定部は、撮影対象全体の撮影画像の解像度より前記目標解像度に至るまでの間で、解像度が高くなるほど解像度間の倍率を高めて階層的に解像度を設定し記憶部に格納するとしてもよい。
また、前記画像撮影システムにおける前記フレームレイアウト部は、撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内の錯乱円径を算定して許容錯乱円径以下の範囲を分割フレームにおけるピント範囲と特定し、互いのピント範囲が重なる様に各分割フレームをレイアウトし、少なくとも分割フレームのレイアウトと該当解像度とに関する情報を分割撮影プランとして記憶部に格納する処理を、前記記憶部に格納している解像度毎に実行するとしてもよい。
以上説明したように本実施形態によれば、論理的に矛盾無い分割撮影と分割画像の結合処理とを高効率かつ低コストに実現し、高精細な結合画像の生成を容易なものとできる。
以上、本発明の実施の形態について、その実施の形態に基づき具体的に説明したが、これに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
5 撮影対象
15 ネットワーク
10 画像撮影システム
100 コンピュータ
101 記憶部
102 プログラム
103 メモリ
104 制御部(CPU)
105 入力部(キーボード、マウス等)
106 出力部(ディスプレイ、スピーカー等)
107 通信部
110 距離算定部
111 解像度設定部
112 フレームレイアウト部
113 分割撮影指示部
114 分割画像結合部
200 デジタルカメラ
201 通信部
202 撮影制御部
250 レンズ
300 電動雲台
301 支持部材
302 載置部
303 可動部
304 雲台制御部
305 通信部

Claims (5)

  1. デジタルカメラおよびその電動雲台と通信可能に接続され、デジタルカメラにおける画像撮影を制御するコンピュータであり、
    撮影対象の画像について得るべき目標解像度と、デジタルカメラのCCD解像度およびレンズの焦点距離とに応じて、撮影対象からのデジタルカメラ固定位置までの距離を所定式により算定し記憶部に格納する距離算定部と、
    撮影対象全体の撮影画像の解像度より前記目標解像度に至るまでの間で階層的に解像度を設定し記憶部に格納する解像度設定部と、
    撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内のピント範囲が重なる様に各分割フレームをレイアウトし、少なくとも分割フレームのレイアウトと該当解像度とに関する情報を分割撮影プランとして記憶部に格納する処理を、前記記憶部に格納している解像度毎に実行するフレームレイアウト部と、
    撮影対象から前記距離で固定された前記デジタルカメラおよび電動雲台に対し、前記記憶部に格納しているレイアウト情報および解像度の情報を含む分割撮影プランに基づいて、各解像度での各分割フレームの位置に向けた単視点による画像撮影指示を通知し、各解像度での各分割フレームに関し撮影された分割画像を前記デジタルカメラから取得し記憶部に格納する分割撮影指示部と、
    所定分割撮影プランの撮影画像を記憶部から読み出して、前記階層的な解像度のうち一段高い解像度の分割撮影プランと同じ解像度に拡大処理してベース画像とし、前記一段高い解像度の分割撮影プランにおける分割画像に関して、各分割画像の位置に基づいて前記ベース画像上の対応範囲を特定し、分割画像とベース画像との間でパターンマッチングを行って分割画像の位置合わせを行って各分割画像を結合し記憶部に格納する処理を、前記記憶部に格納している分割撮影プラン毎に実行する、分割画像結合部と、
    を含むことを特徴とする画像撮影システム。
  2. 前記解像度設定部は、
    撮影対象全体の撮影画像の解像度より前記目標解像度に至るまでの間で、解像度が高くなるほど解像度間の倍率を高めて階層的に解像度を設定し記憶部に格納することを特徴とする請求項1に記載の画像撮影システム。
  3. 前記フレームレイアウト部は、
    撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内の錯乱円径を算定して許容錯乱円径以下の範囲を分割フレームにおけるピント範囲と特定し、互いのピント範囲が重なる様に各分割フレームをレイアウトし、少なくとも分割フレームのレイアウトと該当解像度とに関する情報を分割撮影プランとして記憶部に格納する処理を、前記記憶部に格納している解像度毎に実行することを特徴とする請求項1または2に記載の画像撮影システム。
  4. デジタルカメラおよびその電動雲台と通信可能に接続され、デジタルカメラにおける画像撮影を制御するコンピュータが、
    撮影対象の画像について得るべき目標解像度と、デジタルカメラのCCD解像度およびレンズの焦点距離とに応じて、撮影対象からのデジタルカメラ固定位置までの距離を所定式により算定し記憶部に格納する処理と、
    撮影対象全体の撮影画像の解像度より前記目標解像度に至るまでの間で階層的に解像度を設定し記憶部に格納する処理と、
    撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内のピント範囲が重なる様に各分割フレームをレイアウトし、少なくとも分割フレームのレイアウトと該当解像度とに関する情報を分割撮影プランとして記憶部に格納する処理を、前記記憶部に格納している解像度毎に実行する処理と、
    撮影対象から前記距離で固定された前記デジタルカメラおよび電動雲台に対し、前記記憶部に格納しているレイアウト情報および解像度の情報を含む分割撮影プランに基づいて、各解像度での各分割フレームの位置に向けた単視点による画像撮影指示を通知し、各解像度での各分割フレームに関し撮影された分割画像を前記デジタルカメラから取得し記憶部に格納する処理と、
    所定分割撮影プランの撮影画像を記憶部から読み出して、前記階層的な解像度のうち一段高い解像度の分割撮影プランと同じ解像度に拡大処理してベース画像とし、前記一段高い解像度の分割撮影プランにおける分割画像に関して、各分割画像の位置に基づいて前記ベース画像上の対応範囲を特定し、分割画像とベース画像との間でパターンマッチングを行って分割画像の位置合わせを行って各分割画像を結合し記憶部に格納する処理を、前記記憶部に格納している分割撮影プラン毎に実行する処理と、
    を実行することを特徴とする画像撮影方法。
  5. デジタルカメラおよびその電動雲台と通信可能に接続され、デジタルカメラにおける画像撮影を制御するコンピュータに、
    撮影対象の画像について得るべき目標解像度と、デジタルカメラのCCD解像度およびレンズの焦点距離とに応じて、撮影対象からのデジタルカメラ固定位置までの距離を所定式により算定し記憶部に格納する処理と、
    撮影対象全体の撮影画像の解像度より前記目標解像度に至るまでの間で階層的に解像度を設定し記憶部に格納する処理と、
    撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内のピント範囲が重なる様に各分割フレームをレイアウトし、少なくとも分割フレームのレイアウトと該当解像度とに関する情報を分割撮影プランとして記憶部に格納する処理を、前記記憶部に格納している解像度毎に実行する処理と、
    撮影対象から前記距離で固定された前記デジタルカメラおよび電動雲台に対し、前記記憶部に格納しているレイアウト情報および解像度の情報を含む分割撮影プランに基づいて、各解像度での各分割フレームの位置に向けた単視点による画像撮影指示を通知し、各解像度での各分割フレームに関し撮影された分割画像を前記デジタルカメラから取得し記憶部に格納する処理と、
    所定分割撮影プランの撮影画像を記憶部から読み出して、前記階層的な解像度のうち一段高い解像度の分割撮影プランと同じ解像度に拡大処理してベース画像とし、前記一段高い解像度の分割撮影プランにおける分割画像に関して、各分割画像の位置に基づいて前記ベース画像上の対応範囲を特定し、分割画像とベース画像との間でパターンマッチングを行って分割画像の位置合わせを行って各分割画像を結合し記憶部に格納する処理を、前記記憶部に格納している分割撮影プラン毎に実行する処理と、
    を実行させることを特徴とする画像撮影プログラム。
JP2009269035A 2009-11-26 2009-11-26 画像撮影システム、画像撮影方法、および画像撮影プログラム Active JP4779041B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009269035A JP4779041B2 (ja) 2009-11-26 2009-11-26 画像撮影システム、画像撮影方法、および画像撮影プログラム
CN201080042476.1A CN102550011B (zh) 2009-11-26 2010-10-26 图像摄影系统、图像摄影方法
PCT/JP2010/068923 WO2011065169A1 (ja) 2009-11-26 2010-10-26 画像撮影システム、画像撮影方法、および画像撮影プログラムを格納する記憶媒体
EP10833016.8A EP2475161A4 (en) 2009-11-26 2010-10-26 Image capture system, image capture method, and storage medium for storing image capture program
US13/499,787 US20120257086A1 (en) 2009-11-26 2010-10-26 Imaging system, imaging method, and storage medium storing imaging program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009269035A JP4779041B2 (ja) 2009-11-26 2009-11-26 画像撮影システム、画像撮影方法、および画像撮影プログラム

Publications (2)

Publication Number Publication Date
JP2011114575A true JP2011114575A (ja) 2011-06-09
JP4779041B2 JP4779041B2 (ja) 2011-09-21

Family

ID=44066273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009269035A Active JP4779041B2 (ja) 2009-11-26 2009-11-26 画像撮影システム、画像撮影方法、および画像撮影プログラム

Country Status (5)

Country Link
US (1) US20120257086A1 (ja)
EP (1) EP2475161A4 (ja)
JP (1) JP4779041B2 (ja)
CN (1) CN102550011B (ja)
WO (1) WO2011065169A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI697720B (zh) * 2018-03-21 2020-07-01 大陸商北京獵戶星空科技有限公司 拍攝方法、裝置、智慧型裝置及儲存媒體

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9235902B2 (en) 2011-08-04 2016-01-12 University Of Southern California Image-based crack quantification
WO2013090830A1 (en) 2011-12-16 2013-06-20 University Of Southern California Autonomous pavement condition assessment
CN102591366B (zh) * 2012-02-17 2013-09-25 广州盈可视电子科技有限公司 一种云台控制的方法及装置
CN103716541B (zh) * 2013-12-23 2019-08-02 宇龙计算机通信科技(深圳)有限公司 一种拍摄大分辨率照片的方法及终端
CN104104869A (zh) * 2014-06-25 2014-10-15 华为技术有限公司 一种拍照方法、装置及电子设备
CN105205796A (zh) * 2014-06-30 2015-12-30 华为技术有限公司 广域图像获取方法和装置
JP6372696B2 (ja) 2014-10-14 2018-08-15 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム
CN105744158B (zh) * 2016-02-03 2019-01-08 广东欧珀移动通信有限公司 视频图像显示的方法、装置及移动终端
US10620507B2 (en) * 2016-02-25 2020-04-14 William Conn Lefever Remote controlled rotating camera mount
JP2018098613A (ja) * 2016-12-12 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および、撮像装置の制御方法
JP6688277B2 (ja) * 2017-12-27 2020-04-28 本田技研工業株式会社 プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
CN110135426B (zh) * 2018-02-09 2021-04-30 北京世纪好未来教育科技有限公司 样本标注方法及计算机存储介质
TWI692969B (zh) * 2019-01-15 2020-05-01 沅聖科技股份有限公司 攝像頭自動調焦檢測方法及裝置
CN113362331A (zh) * 2020-03-04 2021-09-07 阿里巴巴集团控股有限公司 图像分割方法、装置、电子设备及计算机存储介质
CN111951328A (zh) * 2020-08-05 2020-11-17 清华大学苏州汽车研究院(吴江) 一种物体位置检测方法、装置、设备和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0918750A (ja) * 1995-06-29 1997-01-17 Canon Inc 電子カメラおよびこれを用いた電子カメラシステム、撮像装置、信号処理装置
JP3984346B2 (ja) * 1997-12-26 2007-10-03 コニカミノルタホールディングス株式会社 撮像装置及び画像合成方法
JPH11196317A (ja) * 1997-12-26 1999-07-21 Minolta Co Ltd 撮像装置
JPH11295783A (ja) * 1998-04-07 1999-10-29 Canon Inc 撮像装置及びその制御方法
JP2001128051A (ja) * 1999-10-27 2001-05-11 Ricoh Co Ltd 撮像装置
JP2002077707A (ja) * 2000-08-30 2002-03-15 Minolta Co Ltd 撮像装置および撮像方法
US7561790B2 (en) * 2004-12-28 2009-07-14 Fujinon Corporation Auto focus system
JP4776983B2 (ja) 2005-06-01 2011-09-21 東京電力株式会社 画像合成装置及び画像合成方法
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
CN101197044B (zh) * 2006-12-06 2011-02-02 鸿富锦精密工业(深圳)有限公司 图像合成系统及方法
US7961983B2 (en) * 2007-07-18 2011-06-14 Microsoft Corporation Generating gigapixel images
JP4727691B2 (ja) 2008-04-30 2011-07-20 光生アルミニューム工業株式会社 摩擦圧接方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI697720B (zh) * 2018-03-21 2020-07-01 大陸商北京獵戶星空科技有限公司 拍攝方法、裝置、智慧型裝置及儲存媒體

Also Published As

Publication number Publication date
CN102550011A (zh) 2012-07-04
EP2475161A4 (en) 2017-02-15
JP4779041B2 (ja) 2011-09-21
EP2475161A1 (en) 2012-07-11
WO2011065169A1 (ja) 2011-06-03
US20120257086A1 (en) 2012-10-11
CN102550011B (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
JP4779041B2 (ja) 画像撮影システム、画像撮影方法、および画像撮影プログラム
JP4012710B2 (ja) 画像入力装置
CN111872544B (zh) 激光出光指示点的标定方法、装置和振镜同轴视觉系统
CN105128539B (zh) 一种光学投影激光打标的方法及激光打标系统
CN110809786A (zh) 校准装置、校准图表、图表图案生成装置和校准方法
JP2000196939A (ja) 歪曲収差及び面方向色収差のない画像形成装置及びその方法
JP6411115B2 (ja) ズーム系を有するデジタル光学撮像システムを較正するための方法、ズーム系を有するデジタル光学撮像システムにおける収差を補正するための方法、及びデジタル光学撮像システム
JP4270949B2 (ja) キャリブレーションチャート画像表示装置、キャリブレーション装置、キャリブレーション方法
JPH11211988A (ja) 顕微鏡画像遠隔制御システム
JP2009206800A (ja) 画像処理装置、プロジェクタ、画像処理方法
CN111445537B (zh) 一种摄像机的标定方法及系统
CN109146781A (zh) 激光切割中的图像校正方法及装置、电子设备
JP2013036831A (ja) キャリブレーション装置及び歪み誤差算出方法
CN110136205B (zh) 多目相机的视差校准方法、装置及系统
JP4477863B2 (ja) 細胞計測支援システムおよび細胞観察装置
Kaufmann et al. Elimination of color fringes in digital photographs caused by lateral chromatic aberration
JP5925109B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP2006010613A (ja) 画像の歪み補正方法
CN114466143A (zh) 一种拍摄角度校准方法、装置、终端设备以及存储介质
JP4390779B2 (ja) 画像入力装置
JPH095051A (ja) 3次元形状データ処理装置
JPH024237A (ja) 立体画像表示用装置
JP4536428B2 (ja) ズームレンズのキャリブレーション装置及びキャリブレーション方法、撮影装置
JP5538809B2 (ja) スキャナーの較正方法
JP2004340753A (ja) キャリブレーションチャート画像表示装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110607

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110704

R150 Certificate of patent or registration of utility model

Ref document number: 4779041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250