JP2022159118A - 物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム - Google Patents

物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム Download PDF

Info

Publication number
JP2022159118A
JP2022159118A JP2022053192A JP2022053192A JP2022159118A JP 2022159118 A JP2022159118 A JP 2022159118A JP 2022053192 A JP2022053192 A JP 2022053192A JP 2022053192 A JP2022053192 A JP 2022053192A JP 2022159118 A JP2022159118 A JP 2022159118A
Authority
JP
Japan
Prior art keywords
data
processing device
imaging system
image
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022053192A
Other languages
English (en)
Other versions
JP7364726B2 (ja
Inventor
ヨナタン・デムト
Demuth Jonathan
クリストフ・カゼナヴェ
Casenave Christophe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss AG
Original Assignee
Carl Zeiss AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss AG filed Critical Carl Zeiss AG
Publication of JP2022159118A publication Critical patent/JP2022159118A/ja
Application granted granted Critical
Publication of JP7364726B2 publication Critical patent/JP7364726B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30Polynomial surface description
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/50Lighting effects
    • G06T15/506Illumination models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189Recording image signals; Reproducing recorded image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20056Discrete and fast Fourier transform, [DFT, FFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Silver Salt Photography Or Processing Solution Therefor (AREA)

Abstract

【課題】 物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システムを提供する。【解決手段】 本発明は、物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム(1)に関する。方法において、物体に関するデータは第一のデータ処理装置(3)により提供され、第一のデータを有する第一のデータレコードが提供される。第一のデータレコードは、第一のデータ処理装置(3)から第二のデータ処理装置(4)にロードされる。第二のデータレコードは、第二のデータ処理装置(4)にロードされた第一のデータレコードに依存してデータメモリ(5)から第二のデータ処理装置(4)にロードされる。処理データレコードは、第二のデータレコードに基づいて生成又は検出される。物体の2次元出力画像は、処理データレコードを使って物体に関するデータを処理することによって生成され、出力画像は事前に決定可能な数の出力画像ピクセルを有する。【選択図】 図1

Description

本発明は、物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システムに関する。
かねてより光イメージングシステムを用いて画像を形成することがすでに知られており、光イメージングシステムはレンズと画像捕捉ユニットを有する。画像捕捉ユニットは、例えば電子イメージセンサとして形成される。特に、電子イメージセンサは、例えばCMOSの形態のデジタル画像捕捉ユニットとして形成される。その代替案として、画像捕捉ユニットは感光化学フィルムとして形成されるようになされる。複数の画像を含む画像シーケンスもまた、既知の光イメージングシステムで形成できる。既知の光イメージングシステムで形成された画像は、以下において、実際に形成された画像とも呼ばれる。さらに、既知の光イメージングシステムで形成された画像シーケンスは、以下において、実際に形成された画像シーケンスとも呼ばれる。
既知の光イメージングシステムは、例えばカメラとして形成される。特に、カメラは映画撮影の分野で使用されるフィルムカメラとして形成されるようになされる。この代替案として、カメラは写真の分野で使用されるカメラとして形成されるようになされる。
上述のカメラのレンズは、少なくとも1つのレンズユニットと、開口を備える少なくとも1つの絞りユニットを有する。例えば、レンズは少なくとも1つのレンズ群を有し、これは、物体にレンズの焦点を合わせるため、及び/又はレンズの焦点距離を設定するために、レンズの光軸に沿って移動される。レンズ群とは、以上及び以下において、1つのレンズ素子又は複数のレンズ素子を有する群を意味すると理解されたい。それに加えて、レンズ群はまた、少なくとも1つのプリズムも有し得る。
既知の光イメージングシステムにより実際に形成される画像には一般に、例えば球面収差、幾何学的歪み、及び/又はビネッティングによる結像エラーがある。この場合、幾何学的歪みは基本的に画像内の直線の歪みである。ビネッティングとは、周辺に向かう光の減少であり、すなわち画像の縁部に向かって暗くなることである。実際に形成される画像シーケンスにも上述の結像エラーがある可能性がある。
写真及び映画撮影においては、画像又はフィルムを見ている人の注意を画像の特定の内容に向けるための、又はその画像のこれらの内容を見ている人のために特別に変更することによってより高度な審美的印象を実現するための、既知のスタイル機器がある。これを実現するために、先行技術からは、非常に特殊な1つ又は複数のレンズを使って物体の画像を形成することが知られている。例えば、大きい開口を有するレンズは、写真や映画撮影において、速いレンズ速度だけでなく、これらが浅い被写界深度で画像を形成できることから有利である。被写界深度とは、カメラのレンズの正面の領域であり、このレンズは物体の画像形成に使用される。物体がこの領域内、すなわち被写界深度内にある場合、これはレンズにより焦点の合った状態で結像される。この領域内にある物体は、レンズの焦点をこの物体に合わせることによって画像内で焦点の合った状態で表現され、被写界深度の外にある空間は実際に、画像の不鮮鋭さによりぼける。その結果、見ている人の注意は物体の鮮鋭な画像領域に向けられる。言い換えれば、物体は、レンズの焦点を非常に特殊な物体平面に合わせることによって鮮鋭に結像すること、正確に言えば、他方で、それと同時に、物体のうち物体平面の正面及び背後にある部分を焦点のずれた状態で結像することが可能となる。これらの部分は焦点のずれた状態で結像される。
前述のように、スタイル機器は良好な審美的印象を実現するために使用される。例えば、物体の特定の領域が画像内で特定の形態をとることが望ましいことが多い。それゆえ、例えば、結像対象の物体の一部であり、合焦される物体平面からかなりはずれた位置にある強力な局所光源が、画像内で均一な円形のディスクとして表現されることが望ましい場合がよくある。画像内の物体のこれらの特定領域の形態と結像品質は、当業者の間でボケとも呼ばれる。ボケは、ある物体の画像内の焦点のずれた領域の(主観的ではあるが)審美的品質を説明する。この場合、ボケは、これらが焦点からどの程度ずれているかではなく、画像内の物体の結像領域の形態と品質を指す。
先行技術から、コンピュータグラフィックデザイナは、複数の3次元表現のシーケンスを有する3次元シーンを作成し、及び/又はデータの数学的計算により3次元表現を作成することができることが知られている。すると、これらのデータは、この3次元シーンを2次元画像シーケンスに変換し、及び/又は3次元表現を2次元画像に変換するために使用される。この方法はまた、レンダリングとしても知られる。3次元シーン及び/又は3次元表現を作成するために、コンピュータグラフィックデザイナは、3次元シーンの、及び/又は3次元表現の数学モデルを使用する。数学モデルは、例えば特に3次元シーン及び/又は3次元表現で表現されることになる、モデル化対象の物体の形態、色、及び表面仕上げを説明するパラメータを含む。さらに、数学モデルは、例えば物体の照明、特にモデル化対象の光源の位置、種類、色、及び方向を説明するパラメータを含む。それに加えて、数学モデルは、以下のうちの少なくとも1つの3次元シーン及び/又は3次元表現内の物体の位置を含む:仮想カメラの捕捉方向、視野、焦点距離、合焦、画像フォーマット、画像捕捉ユニットの大きさ、位置及び移動経路。これらのパラメータに基づいて、2次元画像及び/又は2次元画像シーケンスを計算できる。この計算のために、仮想カメラはピンホールカメラとして形成されると仮定されることが多く、その結像はそこからの放射に応じて計算できる。原理上、ピンホールカメラには何れの結像エラーもないため、計算される2次元画像及び/又は計算される2次元画像シーケンスに画像エラーはない。
先行技術から、レンダリングによって、いわば基本的に人工的に、形成された2次元画像又は2次元画像シーケンスを光イメージングシステム、例えばフィルムカメラですでに形成済みの画像及び/又は画像シーケンスと混合することが知られている。上述の混合には、3Dコンピュータグラフィクス及び映画撮影において「視覚効果」(多くの場合、VFXと略される)と呼ばれる効果の創出が含まれ得る。上述の混合はまた、拡張とも呼ばれる。拡張は、例えば映画フィルムの制作後の段階、特に異なる供給元からの画像を組み合わせる、いわゆるコンポジティングの中で行われる。コンポジティングにより作成された混合画像及び/又はコンポジティングにより作成された混合画像シーケンス内でレンダリングにより形成された2次元画像及び/又は画像シーケンスには、実際に形成された画像及び/又は画像シーケンスとの認識可能な差が一切ないか、わずかな認識可能な差しかないことが望ましく、それによって物体又はシーンの良好な審美的印象と、できるだけ写実的な印象も付与される。
先行技術からはまた、レンダリングによって、基本的に人工的に、形成された2次元画像又は2次元画像シーケンスを混合せず、それらを完全な動画像及び/又は画像シーケンスのために使用することも知られている。これは例えば、アニメーションフィルムの制作及び/又は仮想現実の分野で使用され、仮想現実は、例えばコンピュータゲーム、パイロットの訓練用の飛行シミュレータ、船長の訓練用の船舶シミュレータ、及び/又は列車の運転士の訓練用の列車シミュレータで使用される。ここで、レンダリングにより、基本的に人工的に、形成された2次元画像及び/又は画像シーケンスにも、実際に形成された画像及び/又は画像シーケンスとの認識可能な差がない、又はわずかな認識可能な差しかないことも望ましく、それによって物体又はシーンの良好な審美的印象と、できるだけ写実的な印象が付与される。
本発明は、一方で実際に形成された画像及び/又は画像シーケンス内の結像エラーが修正され、他方で物体の人工的に形成された表現に実際に形成された画像及び/又は画像シーケンスとの認識可能な差がないか、又はわずかな認識可能な差しかないようにする、物体の画像の形成方法及びその方法を実行する画像形成システムを提供するという目的に基づく。
本発明によれば、この目的は、特許請求項1又は特許請求項18の特徴を有する方法により達成される。画像形成システムのプロセッサにロードすることができ、それがプロセッサにロードされると、その実行中に画像形成システムを、本発明による方法が実行されるような方法で制御するプログラムコードによるコンピュータプログラム製品は、請求項19の特徴により提供される。さらに、本発明は、特許請求項20の特徴を有する画像形成システムに関する。本発明のその他の特徴は、以下の説明文、付属の特許請求の範囲、及び/又は添付の図面から明らかとなる。
本発明は、ある物体の画像を形成する方法に関する。本発明による方法において、その物体に関するデータが第一のデータ処理装置により提供される。この場合、物体に関するデータとは、以上及び以下において、物体を説明するあらゆるデータと理解されたい。例えば、物体に関するデータは、物体の少なくとも1つの2次元入力画像である。それに加えて、又はその代わりに、物体に関するデータは例えば、物体の少なくとも1つの3次元表現である。物体に関するデータの両方の実施形態について、後でさらに詳しく述べる。再びそれに加えて、又はその代わりに、物体に関するデータは、それを用いて物体の多次元、例えば2次元又は3次元表現を計算できるデータであるようになされる。物体に関するデータの上述の羅列が全てであると理解すべきではない。むしろ、物体を説明し、本発明を実行するのに適した、物体に関する何れのデータも使用され得る。物体に関するこれらのデータをどのように取得できるかについては、さらに後述する。
第一のデータ処理装置は例えば電子システムであり、これは中央ユニット及び周辺機器により形成される。例えば、中央ユニットはローカルコンピュータ、サーバユニット、複数のワークステーションによるネットワーク、クラウドベースの仮想サーバ、タブレットコンピュータ、及び/又はスマートフォンである。周辺機器は例えば、特にキーボードの形態の入力及び/又は出力ユニットとして、及び/又はモニタとして形成される。
本発明による方法はまた、第一のデータ処理装置により少なくとも1つの第一のデータレコードを提供することを含む。第一のデータレコードは第一のデータを有し、これは以下を含む:(i)少なくとも、それにより物体に関するデータが生成された第一のイメージングシステムの第一のイメージングパラメータ、及び/又は(ii)少なくとも、その特性により物体の画像が物体に関するデータに基づいて表示ユニット上で表現されることになる、第二のイメージングシステムの第二のイメージングパラメータ。
その結果、第一のデータは少なくとも、それにより物体に関するデータが生成された第一のイメージングシステムの第一のイメージングパラメータを含み得る。後でより詳しく説明するように、第一のイメージングパラメータは例えば、第一のイメージングシステムの第一のメタデータ、特に第一のカメラデータと第一のレンズデータを含む。第一のデータのその他の例については、後でさらに述べる。
第一のイメージングシステムは例えば、第一の光イメージングシステムであり、これは少なくとも1つのレンズ素子を有する。第一の光イメージングシステムは例えばカメラとして形成される。これについては、後でより詳しく説明する。
それに加えて、又はその代わりに、第一のイメージングシステムはコンピュータグラフィクスシステムとして形成され、それによって複数の3次元表現のシーケンスを有する3次元シーンがデータの数学的計算により作成されるようになされる。その代替案として、コンピュータグラフィクスシステムにより、3次元表現はデータの数学的計算により作成される。第一のデータレコードの第一のデータはすると、例えばこの数学的計算により生成されたデータを含む。それに加えて、又はその代わりに、上述の数学的に計算されたデータは2次元画像シーケンス及び/又は2次元画像に変換される。すると、第一のデータは2次元画像シーケンス及び/又は2次元画像のデータを含む。
前述のように、3次元シーン又は3次元表現のデータは数学的に計算される。この目的のために、コンピュータグラフィックデザイナは例えば、3次元シーン及び/又は3次元表現の数学モデルを使用する。数学モデルは例えば、特に3次元シーン及び/又は3次元表現の中で表現されることになるモデル化対象の物体の形態、色、及び表面仕上げを説明するパラメータを含む。さらに、数学モデルは例えば、物体の照明、特にモデル化される光源の位置、種類、色、及び方向を説明するパラメータを含む。それに加えて、数学モデルは、以下のうちの少なくとも1つの3次元シーン及び/又は3次元表現の中の物体の位置を含む:仮想カメラの捕捉方向、視野、焦点距離、結像、画像フォーマット、画像捕捉ユニットの大きさ、位置及び移動経路。
前述のように、第一のデータはそれに加えて、又はその代わりに、少なくとも、第二のイメージングシステムの第二のイメージングパラメータを含む。第二のイメージングシステムの特性により、物体の画像は物体に関するデータに基づいて表示ユニット上で表現されることになる。後でより詳しくさらに説明するように、第二のイメージングパラメータは、例えば第二のイメージングシステムの第二のメタデータ、特に第二のカメラデータと第二のレンズデータを含む。第一のデータのその他の例については、後でさらに述べる。
第二のイメージングシステムは、例えば第二の光イメージングシステムであり、これは少なくとも1つのレンズ素子を有する。第二の光イメージングシステムは、例えばカメラとして形成される。これについては、後でより詳しく述べる。
それに加えて、又はその代わりに、第二のイメージングシステムは仮想カメラとして形成されるようになされる。少なくとも第二のイメージングパラメータは、物体に関するデータに基づく物体の画像が表示ユニット上で、第二のイメージングパラメータを使用する仮想カメラが物体の画像を実際に形成したかのような方法で表現される効果を有する。換言すれば、物体の画像は物体に関するデータに基づいて数学的計算により形成されて、表示ユニット上で、第二のイメージングパラメータにより選択された特性を有するカメラが物体の画像を実際に形成したかのような方法で表現されることが意図される。
本発明による方法において、第一のデータレコードを第一のデータ処理装置から第二のデータ処理装置にロードすることも行われる。第一のデータ処理装置と第二のデータ処理装置は例えば、データ交換のために相互に接続される。特に、第一のデータ処理装置を第二のデータ処理装置に配線により接続することが想定される。それに加えて、又はその代わりに、第一のデータ処理装置を第二のデータ処理装置にワイヤレスで、データ交換を行うことができるように接続することが想定される。例えば、第一のデータ処理装置と第二のデータ処理装置との間のワイヤレス接続は、無線接続又はWLANによる接続である。それに加えて、又はその代わりに、第一のデータ処理装置と第二のデータ処理装置は、インタネットにより相互に接続される。第二のデータ処理装置は例えば、中央ユニットを有する電子システムである。例えば、中央ユニットはローカルコンピュータ、サーバユニット、複数のワークステーションによるネットワーク、クラウドベースの仮想サーバ、タブレットコンピュータ、及び/又はスマートフォンである。それに加えて、第二のデータ処理装置は例えば、周辺機器を備え得る。周辺機器は、特に例えばキーボードの形態の入力及び/又は出力ユニットとして、及び/又はモニタとして形成される。
本発明による方法はまた、第二のデータレコードをデータメモリから第二のデータ処理装置に、第二のデータ処理装置にロードされる第一のデータレコードに依存してロードすることも含む。第二のデータレコードは第二のデータを有し、これは以下を含む:(i)第一のイメージングシステムの第一のイメージングパラメータに依存して結像エラーを修正するための修正データ、及び/又は(ii)第二のイメージングシステムの第二のイメージングパラメータに依存して物体に関するデータを修正するための修正データ。
その結果、第二のデータは、第一のイメージングシステムの第一のイメージングパラメータに依存して結像エラーを修正するための修正データを含み得る。言い換えれば、第二のデータは、物体に関するデータを生成するとき(特に物体の前述の2次元入力画像を形成するとき)に発生した結像エラーを修正するために使用できる修正データを含む。特に、修正データを用いて、結像エラーを減らすことも増やすこともできる。例えば、修正データは、第一のイメージングシステムの第一のイメージングパラメータに依存して結像エラーを補正するための補正データを有し得る。言い換えれば、第二のデータは、物体に関するデータを生成するとき(特に物体の前述の2次元入力画像形成するとき)に発生した結像エラーを減らすか、完全に補正するために使用できる補正データを含む。それに加えて、又はその代わりに、修正データを使用することにより、1つ又は複数の結像エラーを再構成することも想定される。言い換えれば、結像エラーは、修正データを使用することによって画像に挿入され得る。
それに加えて、又はその代わりに、第二のデータは、第二のイメージングシステムの第二のイメージングパラメータに依存して物体に関するデータを修正するための修正データを含む。言い換えれば、修正データを利用することにより、物体に関するデータは第二のイメージングシステムの第二のイメージングパラメータに依存して修正できる。物体に関するデータの修正は、例えば物体に関するデータの修正が前述の第二の光イメージングシステムで形成された物体の画像又は前述の仮想カメラにより形成された物体の画像に基本的に対応する、又は実質的に対応する物体の画像を形成する効果を有するような方法で行われる。
第二のデータレコードは、例えば多項式の形態で設計され得る。多項式は例えば、仮想カメラを表現し、数学的形態で、仮想カメラのレンズに入射し、再びレンズから射出する光ビームが仮想カメラの画像捕捉ユニット上にどのようにどこで結像されるかを説明する。例えば、多項式は以下の形態を有する:
Figure 2022159118000002
ただし、xとyは、画像捕捉ユニットの表面上の射出光ビームのビーム位置を表し、xとyは仮想絞りの平面での入射光ビームのビーム位置を表し、βは所望のイメージングスケールである。
本発明による方法では、処理データレコードは特に第一のデータ処理装置及び/又は第二のデータ処理装置により第二のデータレコードに基づいて生成されるようになされる。例えば、処理データレコードは補正マップを含む。その代替案として、例えば第一のデータ処理装置及び/又は第二のデータ処装置により、第二のデータレコードが変更されずに処理データレコードとして使用されることが検出されるようになされる。特に、例えば第一のデータ処理装置及び/又は第二のデータ処理装置により、第二のデータレコードが変更されずに処理データレコードとして使用されると特定される。
それに加えて、本発明による方法において、物体の2次元出力画像が、例えば第一のデータ処理装置及び/又は第二のデータ処理装置により、処理データレコードを使用して物体に関するデータを処理することによって形成されるようになされ、出力画像は事前に特定可能な数の出力画像ピクセルを有する。例えば、処理データレコードとして形成される補正マップが物体の2次元入力画像の上に置かれ、結像エラーの補正が行われる。形成された2次元出力画像はすると、補正された物体の2次元入力画像である。例えば、処理データレコードが第二のデータレコードとして、特に多項式の形態で形成された場合、物体に関するデータは処理データレコードで、前述の第二の光イメージングシステムにより形成された物体の画像又は前述の仮想カメラにより形成された物体の画像に基本的に対応する、又は実質的に対応する物体の画像が2次元出力画像として形成されるような方法で処理される。すると、物体の2次元出力画像は表示ユニット上で表示できる。
本発明は、実際に形成された画像及び/又は画像シーケンス内のある結像エラー又は複数の結像エラーを容易に修正できる、物体の画像の形成方法を提供する。この目的のために、本発明は常に、それを用いて、実際に形成された画像内のその結像エラー又はその複数の結像エラーを修正でき、特に完全に又は実質的に補正できる適切な処理データレコードを提供する。それに加えて、本発明では、物体の人工的に作成された表現に、実際に形成された画像及び/又は画像シーケンスとの認識可能な差がないか、又はわずかな認識可能な差しかないことが確実にされる。この目的のためにも、それによって物体の人工的に作成された表現を相応に処理できる適切な処理データレコードが常に提供される。
本発明による方法の1つの実施形態において、追加的又は代替的に、第二のデータレコードが第二のデータ処理装置から第一のデータ処理装置にロードされるようになされる。それに加えて、第一のデータ処理装置は、処理データレコードを生成するため、又は第二のデータレコードが処理データレコードとして使用されることを検出するために使用されるようになされる。
本発明による方法の別の実施形態において、追加的又は代替的に、第一のデータ処理装置が物体の2次元出力画像を形成するために使用されるようになされる。
本発明による方法のまた別の実施形態において、追加的又は代替的に、第二のデータ処理装置が処理データレコードを生成するため、又は第二のデータレコードが処理データレコードとして使用されることを検出するために使用されるようになされる。それに加えて、例えば、処理データレコードが第二のデータ処理装置から第一のデータ処理装置にロードされ、第一のデータ処理装置が物体の2次元出力画像を形成するために使用されるようになされる。その代替案として、例えば、第二のデータ処理装置が物体の2次元出力画像を形成するために使用され、2次元出力画像が第二のデータ処理装置から第一のデータ処理装置にロードされるようになされる。
上ですでに述べたように、本発明による方法の1つの実施形態において、追加的又は代替的に、物体に関するデータが物体の少なくとも1つの2次元入力画像を含むようになされる。物体の入力画像は、所定の数の入力画像ピクセルを有する。2次元入力画像は例えば、カメラの形態の光イメージングシステムで形成される。特に、2次元入力画像をデータキャリアに保存することが想定され、そこから第一のデータ処理装置は入力画像をロードし、提供する。物体の出力画像の形成中に、物体の入力画像の所定の数の入力画像ピクセルのうちの少なくとも1つの入力画像ピクセルは、例えば第一のデータ処理装置により、及び/又は第二のデータ処理装置により、処理データレコードを使用することによって処理され、物体の入力画像の入力画像ピクセルのピクセル値は、処理データレコードのデータで修正される。例えば、入力画像ピクセルのグレイスケール値又は色値が修正される。
上ですでに述べたように、本発明による方法の別の実施形態において、追加的又は代替的に、物体に関するデータが少なくとも1つの3次元表現に関係するようになされる。物体に関するデータは、第一の次元の第一のデータコンテンツ、第二の次元の第二のデータコンテンツ、及び第三の次元の第三のデータコンテンツを含む。本発明は、3次元表現に関する物体に関するデータの上述の実施形態に限定されない。むしろ、本発明に適した何れの実施形態も使用でき、これは例えば、何れの所望の形態もとり得る本体を有する3次元表現である。例えば、本体は球、立方、及び/又は回転対称である。これらの本体は、特に加算により、又は減算により相互に結合され得る。上ですでに述べたように、複数の3次元表現のシーケンスを有する3次元シーン及び/又は3次元表現は、データの数学的計算により作成され得る。この目的のために、3次元シーン及び/又は3次元表現の数学モデルが使用される。数学モデルは例えば、特に3次元シーン及び/又は3次元表現の中で表現されることになるモデル化対象の物体の形態、色、及び表面仕上げを説明するパラメータを含む。さらに、数学モデルは例えば、物体の照明、特にモデル化対象の光源の位置、種類、色、及び方向を説明するパラメータを含む。それに加えて、数学モデルは、以下のうちの少なくとも1つの3次元シーン及び/又は3次元表現の中の物体の位置を含む:仮想カメラの捕捉方向、視野、焦点距離、合焦、画像フォーマット、画像捕捉ユニットの大きさ、位置、及び移動経路。物体の出力画像の形成中に、例えば第一のデータコンテンツ、第二のテータコンテンツ、及び/又は第三のデータコンテンツは、例えば第一のデータ処理装置及び/又は第二のデータ処理装置により、処理データレコードを使用することによって処理され、第一のデータコンテンツ、第二のデータコンテンツ、及び/又は第三のデータコンテンツは処理データレコードのデータで修正される。
上ですでに述べたように、本発明による方法のまた別の実施形態において、追加的又は代替的に、第一の光イメージングシステムは第一のイメージングシステムとして使用されるようになされる。例えば、第一の光イメージングシステムは、第一のレンズと第一の画像捕捉ユニットを有する。第一の画像捕捉ユニットは、例えば電子イメージセンサとして形成される。特に、電子イメージセンサは、例えばCMOSの形態のデジタル画像捕捉ユニットとして形成される。この代替案として、画像捕捉ユニットは感光化学フィルムとして形成されるようになされる。第一の光イメージングシステムは、例えばカメラとして形成される。特に、カメラは映画撮影の分野で使用されるフィルムカメラとして形成されるようになされる。その代替案として、カメラは写真の分野で使用されるカメラとして形成されるようになされる。第一のレンズは少なくとも1つのレンズユニットと、開口を有する少なくとも1つの絞りユニットを有する。例えば、第一のレンズは少なくとも1つのレンズ群を有し、これは、物体上での第一のレンズの合焦を設定するため、及び/又は第一のレンズの焦点距離を設定するために、第一のレンズの光軸に沿って移動される。レンズ群とは、以上及び以下において、1つのレンズ素子又は複数のレンズ素子を有する群を意味すると理解されたい。それに加えて、レング群は少なくとも1つのプリズムも持ち得る。
本発明による方法の別の実施形態において、追加的又は代替的に、第一のイメージングシステムの第一のメタデータが第一のイメージングパラメータとして使用されるようになされる。第一のメタデータは、例えば第一のイメージングシステムのイメージング特性及び/又は機能ユニットを含む。第一のメタデータは特に、第一のデータ処理装置によって物体に関するデータから、又は第一のイメージングシステムの特性に対応するデータから自動的に読み出されるか、第一のデータ処理装置に手作業で入力される。例えば、以下のパラメータのうちの少なくとも1つが第一のイメージングパラメータとして使用される:
-それによって物体に関するデータが生成された第一のカメラに関する第一のカメラデータ。
-それによって物体に関するデータが生成された第一のレンズに関する第一のレンズデータ。
-それによって物体に関するデータが生成された第一の絞りユニットに関する第一の絞りユニットデータ。
-それによって物体に関するデータが生成された第一の合焦ユニットに関する第一の合焦ユニットデータ。
-それによって物体に関するデータが生成された第一の焦点距離設定ユニットに関する第一の焦点距離設定ユニットデータ。
-空間内の第一のイメージングシステムの位置及び場所に関する第一の情報。言い換えれば、例えば3次元空間内の第一のイメージングシステムの位置とアラインメントに関する情報が提供される。
-第一のイメージングシステムの解像度に関する第一の情報。言い換えれば、それによって物体に関するデータが生成された解像度が提供される。例えば、解像度はいわゆる「フルHD」の解像度、すなわち特に1920×1080ピクセルの解像度である。それに加えて、又はその代わりに、解像度はいわゆる2k解像度、すなわち特に2560×1440ピクセルの解像度である。しかしながら、本発明は上記の解像度に限定されない。むしろ、本発明にとって適当な何れの解像度も使用できる。それに加えて、又は代替案として、第一の情報がユーザが希望する、例えば第一のデータ処理装置に入力できる目標解像度を有するようになされる。目標解像度は例えば、上述の解像度の1つであり得る。
本発明による方法のまた別の実施形態において、追加的又は代替的に、第二の光イメージングシステムが第二のイメージングシステムとして使用されるようになされる。例えば、第二の光イメージングシステムは、第二のレンズと第二の画像捕捉ユニットを有する。第二の画像捕捉ユニットは、例えば電子イメージセンサとして形成される。特に、電子イメージセンサは、例えばCMOSの形態のデジタル画像捕捉ユニットとして形成される。この代替案として、第二の画像捕捉ユニットは感光化学フィルムとして形成されるようになされる。第二の光イメージングシステムは、例えばカメラとして形成される。特に、カメラは映画撮影の分野で使用されるフィルムカメラとして形成されるようになされる。この代替案として、カメラは写真の分野で使用されるカメラとして形成されるようになされる。第二のレンズは少なくとも1つのレンズユニットと、開口が設けられた少なくとも1つの絞りユニットを有する。例えば、第二のレンズは少なくとも1つのレンズ群を有し、これは、物体上での第二のレンズの合焦を設定するため、及び/又は第二のレンズの焦点距離を設定するために第二のレンズの光軸に沿って移動される。レンズ群とは、以上及び以下において、1つのレンズ素子又は複数のレンズ素子を有する群を意味すると理解されたい。それに加えて、レンズ群はまた、少なくとも1つのプリズムも含み得る。
本発明によるまた別の実施形態において、追加的又は代替的に、第二のイメージングシステムの第二のメタデータが第二のイメージングパラメータとして使用されるようになされる。第二のメタデータは、例えば第二のイメージングシステムのイメージング特性及び/又は機能ユニットを含む。第二のメタデータは特に、物体に関するデータから又は第二のイメージングシステムの特性に対応するデータから第一のデータ処理装置によって自動的に読み出されるか、第一のデータ処理装置に手作業で入力される。例えば、以下のパラメータのうちの少なくとも1つが第二のイメージングパラメータとして使用される:
-その特性によって物体に関するデータが表示ユニット上で表現されることになる第二のカメラに関する第二のカメラデータ。
-その特性によって物体に関するデータが表示ユニット上で表現されることになる第二のレンズに関する第二のレンズデータ。
-その特性によって物体に関するデータが表示ユニット上で表現されることになる第二の絞りユニットに関する第二の絞りユニットデータ。
-その特性によって物体に関するデータが表示ユニット上で表現されることになる第二の合焦ユニットに関する第二の合焦ユニットデータ。
-その特性によって物体に関するデータが表示ユニット上で表現されることになる第二の焦点距離設定ユニットに関する第二の焦点距離設定ユニットデータ。
-空間内の第二のイメージングシステムの位置及び場所に関する第二の情報。言い換えれば、例えば3次元空間内の第二のイメージングシステムの位置とアラインメントに関する第二の情報が提供される。
-第二のイメージングシステムの解像度に関する第二の情報。言い換えれば、それによって物体に関するデータが表示ユニット上で表現されることになる解像度が提供される。例えば、解像度はいわゆる「フルHD」の解像度、すなわち特に1920×1080ピクセルの解像度である。それに加えて、又はその代わりに、解像度はいわゆる2k解像度、すなわち特に2560×1440ピクセルの解像度である。しかしながら、本発明は上記の解像度に限定されない。むしろ、本発明にとって適当な何れの解像度も使用できる。それに加えて、又は代替案として、第二の情報がユーザが希望する、特に第一のデータ処理装置に手作業で入力できる目標解像度を有するようになされる。目標解像度は例えば、上述の解像度の1つであり得る。
本発明による方法の1つの実施形態において、追加的又は代替的に、第一のイメージングシステムの歪みを修正するためのデータが修正データとして使用されるようになされる。それに加えて、又はその代替案として、第一のイメージングシステムのビネッティングを修正するためのデータが修正データとして使用されるようになされる。
本発明による方法の別の実施形態において、追加的又は代替的に、第一のイメージングシステムの歪みを補正するためのデータが修正データとして使用されるようになされる。それ加えて、又はその代替案として、第一のイメージングシステムのビネッティングを補正するためのデータが修正データとして使用されるようになされる。
上ですでに述べたように、本発明による方法の1つの実施形態において、追加的又は代替的に、仮想カメラが第二のイメージングシステムとして使用されるようになされ、物体の画像は仮想カメラにより、物体に関するデータに基づく数学的計算によって、第二のイメージングパラメータにより選択された特性を有するカメラが物体の画像を実際に形成したかのような方法で形成される。同様に上ですでに述べたように、本発明による方法の1つの実施形態において、数学的マッピングルール、特に多項式又はフーリエ展開式が第二のデータレコードとして使用されるようになされ、数学的マッピングルールは、仮想カメラを表し、仮想カメラのレンズに入射し、再びレンズから射出する光ビームが仮想カメラの画像捕捉ユニット上にどのようにどこで結像されるかを数学的形態で説明する。数学的マッピングルールは、上述の実施形態に限定されないことを明確に指摘する。むしろ、本発明にとって適当な何れの数学的マッピングルールも使用できる。
本発明による方法のまた別の実施形態において、追加的又は代替的に、第一のデータ処理装置から第二のデータ処理装置にロードされる第一のデータレコードが物体に関するデータの識別データ及び/又はユーザ識別データを有するようになされる。言い換えれば、識別データによって物体に関するデータの明確な識別を行うことを可能にする第一のデータレコードが使用される。このようにして、例えば3次元表現に関係する物体に関する2次元入力画像及び/又はデータを明確に識別することが可能となる。同じことがユーザ識別データにも同様に当てはまる。ユーザ識別データによって、本発明による方法のユーザを明確に識別することが可能となる。例えば、ユーザ識別データは、本発明による方法又は本発明による方法の一部を実行するための使用許可を含む。使用許可は例えば、ユーザが本発明による方法を実行するための支払いを行った、近い将来行う、本発明による方法を実行するための信用供与を受けた、又は本発明による方法を実行するためのライセンスを取得した場合に常に存在し得る。
本発明による方法のまた別の実施形態において、追加的又は代替的に、以下の方法ステップが実行されるようになされる:識別データ及びユーザ識別データに基づいて、第一のデータ処理装置及び/又は第二のデータ処理装置を使用することにより、第一のデータ処理装置及び/又は第二のデータ処理装置で第二のデータレコードを使用するための使用許可があるか否かを確認するステップと、使用許可がある場合にのみ処理データレコードを生成するステップ。例えば、上記の方法ステップは、第一のデータ処理装置で処理データレコードを生成又は検出する前に実行される。
本発明による方法のまた別の実施形態において、追加的又は代替的に、例えば第二のデータレコードを第二のデータ処理装置から第一のデータ処理装置にロードした後に、以下のステップが実行されるようになされる:(i)識別データ及び/又はユーザ識別データが第一のデータ処理装置から第二のデータ処理装置に再びロードされるステップと、(ii)識別データ及び/又はユーザ識別データに基づいて、第二のデータ処理装置を使用することにより、第一のデータ処理装置及び/又は第二のデータ処理装置で第二のデータレコードを使用するための使用許可があるか否かをかが確認されるステップ。処理データレコードは、使用許可がある場合にのみ生成される。例えば、上記の方法ステップは、第一のデータ処理装置で処理データレコードを生成又は検出する前に実行される。
本発明による方法の1つの実施形態において、追加的又は代替的に、物体の2次元出力画像を形成した後に、2次元出力画像が再び修正されるようになされる。この実施形態では、この目的のために、第二のデータレコードの第二のデータが、第一のイメージングシステムの第一のイメージングパラメータに依存して物体の出力画像の中に結像エラーを組み込むために、物体の形成された出力画像を修正するための修正データを含む。さらに、形成又は検出された後に、処理データレコードは修正データに基づく処理データを有する。本発明による方法のこの実施形態において、物体の出力画像の修正が、物体の出力画像の事前に決定できる数の出力画像ピクセルのうちの少なくとも1つの出力画像ピクセルを、例えば第一のデータ処理装置及び/又は第二のデータ処理装置で処理データを使用することによって処理することによって行われ、物体の出力画像の出力画像ピクセルのピクセル値は処理データで修正される。この実施形態において、例えばそれ以前に完全に、又は事実上完全に補正されて結像エラーのない出力画像が、光イメージングシステムで作成された実際の画像の場合のようにほとんど自然な審美的印象が生成されるような方法で結像エラーを組み込むことによって処理される点が有利である。
本発明は、物体の画像の別の形成方法に関する。本発明による別の方法は、前述の特徴の少なくとも1つ又はさらに前で述べた特徴の少なくとも2つの組み合わせを有し得る。本発明による別の方法において、物体に関するデータは同じく第一のデータ処理装置により提供される。物体に関するデータ及び第一のデータ処理装置に関して、さらに前で述べたコメントを参照されたく、それがここにも当てはまる。
本発明による別の方法はまた、第一のデータ処理装置により少なくとも第一のデータレコードを提供することも含む。第一のデータレコードは第一のデータを有し、これは以下を含む:(i)少なくとも、それによって物体に関するデータが生成された第一のイメージングシステムの第一のイメージングパラメータ、及び/又は(ii)少なくとも、その特性によって物体の画像が物体に関するデータに基づいて表示ユニット上で表現されることになる第二のイメージングシステムの第二のイメージングパラメータ。第一のイメージングパラメータ、第一のイメージングシステム、第二のイメージングパラメータ、及び第二のイメージングシステムに関して、前述のコメントを参照されたく、それがここにも当てはまる。
本発明による別の方法において、第一のデータレコードを第一のデータ処理装置から第二のデータ処理装置にロードすることも行われる。第二のデータ処理装置に関しては、さらに前で述べたコメントを参照されたく、それがここにも当てはまる。
さらに、本発明による別の方法において、ライセンスデータレコードを生成することは、第二のデータ処理装置にロードされた第一のデータレコードに依存して行われる。ライセンスデータレコードは基本的に電子キーであり、それによって適当な第二のデータレコードを復号化して(すなわち開けて)、物体に関するデータを処理することができる。その後、ライセンスデータレコードを第二のデータ処理装置から第一のデータ処理装置にロードすることが行われる。
本発明による別の方法はまた、第二データ処理装置にロードされた第一のデータレコードに依存して第二のデータレコードをデータメモリから第一のデータ処理装置にロードすることも含む。第二のデータレコードは第二のデータを有し、これは以下を含む:(i)第一のイメージングシステムの第一のイメージングパラメータに依存して結像エラーを修正するための修正データ、及び/又は(ii)第二のイメージングシステムの第二のイメージングパラメータに依存して物体に関するデータを修正するための修正データ。第二のデータレコードに関して、さらに前で述べたコメントを参照されたく、それがここにも当てはまる。それに加えて、本発明による別の方法において、第二のデータレコードの復号化は、ライセンスデータレコードを使って行われる。
さらに、本発明による別の方法において、第一のデータ処理装置が第二のデータレコードに基づいて処理データレコードを生成するために使用されるようになされる。例えば、処理データレコードは補正マップを含む。その代替案として、第一のデータ処理装置で、第二のデータレコードが変更されずにデータ処理レコードとして使用されることが検出されるようになされる。
それに加えて、本発明による別の方法において、物体の2次元出力画像が、例えば第一のデータ処理装置及び/又は第二のデータ処理装置で処理データレコードを使用することによって物体に関するデータを処理することにより形成されるようになされ、出力画像は事前に決定可能な数の出力画像ピクセルを有する。例えば、処理データレコードとして形成される補正マップが物体の2次元入力画像の上に置かれ、結像エラーの補正が行われる。すると、形成された2次元出力画像は補正が行われた物体の2次元入力画像である。例えば、処理データレコードが、特に多項式の形態で第二のデータレコードとして形成されると、物体に関するデータは処理データレコードで、前述の第二の光イメージングシステムで形成された物体の画像又は前述の仮想カメラで形成された物体の画像に基本的に対応する、又は実質的に対応する物体の画像が2次元出力画像として形成されるような方法で処理される。その後、物体の2次元出力画像を表示ユニット上に表示できる。
本発明による別の方法には、さらに上ですでに述べた利点も有する。これらもここに当てはまる。
本発明はまた、コンピュータプログラム製品にも関し、これは、画像形成システムのプロセッサに一部又は全部をロードできるか、すでにロードされ、プロセッサにロードされると、その実行中に画像形成システムを、前述の、若しくはさらに後述する特徴の少なくとも1つを有する、又はさらに前で述べた、若しくはさらに後述する特徴の少なくとも2つの組み合わせを有する方法が実行されるような方法で制御するプログラムコードを有する。言い換えれば、本発明はコンピュータプログラム製品に関し、これはプロセッサに一部又は全部をロードできるか、すでにロードされ、プロセッサ内のその実行中に画像形成システムを、前述の、若しくはさらに後述する特徴の少なくとも1つを有する、又はさらに前で述べた、若しくはさらに後述する特徴の少なくとも2つの組み合わせを有する方法が実行されるような方法で制御する。
本発明はまた、物体の画像を形成する画像形成システムにも関する。本発明による画像形成システムは表示ユニットを有し、これは例えばモニタとして形成される。しかしながら、本発明はこのような表示ユニットに限定されない。むしろ、本発明にとって適当な何れの表示ユニットも本発明に使用できる。さらに、本発明による画像形成システムは、第一のイメージングシステムと第二のイメージングシステムを有する。それに加えて、本発明による画像形成システムは、物体に関するデータを提供するため、及び第一のデータを有する第一のデータレコードを提供するための第一のデータ処理装置を有する。第一のデータは少なくとも、それによって物体に関するデータが生成された第一のイメージングシステムの第一のイメージングパラメータを含む。それに加えて、又はその代替案として、第一のデータは少なくとも、その特性によって物体の画像が物体に関するデータに基づいて表示ユニット上で表現されることになる第二のイメージングシステムの第二のイメージングパラメータを含む。第一のイメージングパラメータ及び第二のイメージングパラメータに関しては、さらに前で述べたコメントを参照されたく、それがここにも当てはまる。また、第一のイメージングシステム及び第二のイメージングシステムに関しても、さらに前で述べたコメントを参照されたく、それがここにも当てはまる。
第一のデータ処理装置は例えば、中央ユニットと周辺機器により形成される電子システムである。例えば、中央ユニットはローカルコンピュータ、サーバユニット、複数のワークステーションによるネットワーク、クラウドベースの仮想サーバ、タブレットコンピュータ、及び/又はスマートフォンである。周辺機器は例えば、特にキーボードの形態の入力及び/又は出力ユニット、及び/又はモニタとして形成される。
本発明による画像形成システムは第二のデータ処理装置を有し、これはデータ交換のために第一のデータ処理装置に接続される。特に、第一のデータ処理装置を第二のデータ処理装置に配線により接続することが想定される。それに加えて、又はその代替案として、第一のデータ処理装置を第二のデータ処理装置に、データ交換を行うことができるようにワイヤレスで接続することが想定される。例えば、第一のデータ処理装置と第二のデータ処理装置との間のワイヤレス接続は、無線接続又はWLAN接続である。それに加えて、又はその代替案として、第一のデータ処理装置と第二のデータ処理装置は相互にインタネットにより接続される。第二のデータ処理装置は例えば、中央ユニットを有する電子システムである。例えば、中央ユニットはローカルコンピュータ、サーバユニット、複数のワークステーションによるネットワーク、クラウドベースの仮想サーバ、タブレットコンピュータ、及び/又はスマートフォンである。それに加えて、第二のデータ処理装置には例えば周辺機器が提供され得る。周辺機器は、特に例えばキーボードの形態での入力及び/又は出力ユニット、及び/又はモニタとして形成される。
本発明による画像形成システムは追加的に、データメモリを有し、そこに第二のデータレコードが保存され、第二のデータレコードは第二のデータを有する。第二のデータは、第一のイメージングシステムの第一のイメージングパラメータに依存して結像エラーを修正するための修正データを含む。例えば、修正データは、第一のイメージングシステムの第一のイメージングパラメータに依存して結像エラーを補正するためのデータである。それに加えて、又はその代替案として、第二のデータは、第二のイメージングシステムの第二のイメージングパラメータに依存して物体に関するデータを修正するための修正データを有する。データメモリは例えば、第一のデータ処理装置及び/又は第二のデータ処理装置に割り当てられる。例えば、データメモリは第一のデータ処理装置及び/又は第二のデータ処理装置のユニットであるようになされる。データメモリの場所は、第一のデータ処理装置及び/又は第二のデータ処理装置の場所と同じである必要はない。むしろ、データメモリはまた、第一のデータ処理装置及び/又は第二のデータ処理装置から離れた場所に配置されてもよい。
それに加えて、本発明による画像形成システムはプロセッサを含み、その中にさらに前で述べた、若しくはさらに後述する特徴のうちの少なくとも1つ又はさらに前で述べた、若しくはさらに後述する特徴のうちの少なくとも2つの組み合わせを有するコンピュータプログラム製品がロードされる。
本発明による画像形成システムの1つの実施形態において、追加的又は代替的に、第一のイメージングシステムは第一の光イメージングシステムとして形成されるようになされる。特に、第一の光イメージングシステムは少なくとも1つのレンズ素子を有するようになされる。例えば、第一の光イメージングシステムは第一のレンズと第一の画像捕捉ユニットを有する。第一の画像捕捉ユニットは、例えば電子イメージセンサとして形成される。特に、電子イメージセンサは、例えばCMOSの形態のデジタル画像捕捉ユニットとして形成される。その代替案として、画像捕捉ユニットは感光化学フィルムとして形成されるようになされる。第一の光イメージングシステムは、例えばカメラとして形成される。特に、カメラは映画撮影の分野で使用されるフィルムカメラとして形成されるようになされる。その代替案として、カメラは写真の分野で使用されるカメラとして形成されるようになされる。第一のレンズは、第一のレンズユニットと、開口を有する少なくとも1つの絞りユニットを有する。例えば、第一のレンズは少なくとも1つのレンズ群を有し、これは、物体上の第一のレンズの合焦を設定するため、及び/又は第一のレンズの焦点距離を設定するために第一のレンズの光軸に沿って移動させられる。レンズ群とは、以上及び以下において、1つのレンズ素子又は複数のレンズ素子を有する群を意味すると理解されたい。それに加えて、レンズ群はまた少なくとも1つのプリズムも有し得る。
本発明による画像形成システムの別の実施形態において、追加的又は代替的に、第一のイメージングシステムはコンピュータグラフィクスシステムとして形成されるようになされ、それによって複数の3次元表現のシーケンスを有する3次元シーンがデータの数学的計算により作成される。代替案として、コンピュータグラフィクスシステムにより、3次元表現はデータの数学的計算により作成される。第一のデータレコードの第一のデータはすると、例えばこの数学的計算により生成されたデータを含む。それに加えて、又はその代替案として、上述の数学的に計算されたデータは2次元画像シーケンス及び/又は2次元画像に変換される。すると、第一のデータは2次元画像シーケンス及び/又は2次元画像のデータを含む。
前述のように、3次元シーン又は3次元表現のデータは数学的に計算される。この目的のために、コンピュータグラフィックデザイナは例えば、3次元シーン及び/又は3次元表現の数学モデルを使用する。数学モデルは、例えば特に、3次元シーン及び/又は3次元表現で表現されることになるモデル化対象の物体の形態、色、及び表面仕上げを説明するパラメータを含む。さらに、数学モデルは、例えば物体の照明、特にモデル化対象の光源の位置、種類、色、及び方向を説明するパラメータを含む。それに加えて、数学モデルは、以下のうちの少なくとも1つの3次元シーン及び/又は3次元表現の中の物体の位置を含む:仮想カメラの捕捉方向、視野、焦点距離、合焦、画像フォーマット、画像捕捉ユニットの大きさ、位置、及び移動経路。
本発明による画像形成システムのまた別の実施形態において、追加的又は代替的に、第二のイメージングシステムが光イメージングシステムとして形成されるようになされる。例えば、第二の光イメージングシステムは少なくとも1つのレンズ素子を有する。第二の光イメージングシステムは、例えばカメラとして形成される。特に、カメラは映画撮影の分野で使用されるフィルムカメラとして形成されるようになされる。その代替案として、カメラは写真の分野で使用されるカメラとして形成されるようになされる。第二のレンズは少なくとも1つのレンズユニットと、開口が設けられた少なくとも1つの絞りユニットを有する。例えば、第二のレンズは少なくとも1つのレンズ群を有し、これは、物体上での第二のレンズの合焦を設定するため、及び/又は第二のレンズの焦点距離を設定するために第二のレンズの光軸に沿って移動される。レンズ群とは、以上及び以下において、1つのレンズ素子又は複数のレンズ素子を有する群を意味すると理解されたい。それに加えて、レンズ群はまた少なくとも1つのプリズムも有し得る。
本発明による画像形成システムの1つの実施形態において、追加的又は代替的に、第二のイメージングシステムは仮想カメラとして形成されるようになされる。少なくとも第二のイメージングパラメータは、物体に関するデータに基づく物体の画像が表示ユニット上で、第二のイメージングパラメータを使用する仮想カメラが物体の画像を実際に形成したかのような方法で表現される効果を有する。言い換えれば、物体の画像は、物体に関するデータに基づく数学的計算によって形成され、表示ユニット上で、第二のイメージングパラメータにより選択された特性を有するカメラが物体の画像を実際に形成したかのような方法で表現されることになる。
上ですでに述べたように、本発明による画像形成システムの1つの実施形態において、追加的又は代替的に、第一のイメージングシステムが以下の特徴のうちの少なくとも1つを有するようになされる:第一のカメラ、第一のレンズ、第一の絞りユニット、第一の合焦ユニット、及び/又は第一の焦点距離設定ユニット。第一のカメラと第一のレンズに関して、さらに前で述べたコメントを参照されたく、それがここにも当てはまる。第一の絞りユニットは、例えば調整可能な開口を有する絞りである。第一の合焦ユニット及び第一の焦点距離設定ユニットは例えば1つのレンズ素子又は複数のレンズ素子を有し、これらを組み合わせてレンズ群を形成することができる。1つ又は複数のレンズは移動可能に設計され、それによって一方で、第一のイメージングシステムは物体上に合焦でき、他方で、第一のイメージングシステムの焦点距離を設定できる。
上ですでに述べたように、本発明による画像形成システムの別の実施形態において、追加的又は代替的に第二のイメージングシステムが以下の特徴のうちの少なくとも1つを有するようになされる:第二のカメラ、第二のレンズ、第二の絞りユニット、第二の合焦ユニット、及び/又は第二の焦点距離設定ユニット。第二のカメラと第二のレンズに関して、さらに上で述べたコメントを参照されたく、それがここにも当てはまる。第二の絞りユニットは例えば、調整可能な開口を有する絞りである。第二の合焦ユニットと第二の焦点距離設定ユニットは、例えば1つのレンズ素子又は複数のレンズ素子を有し、これらを組み合わせてレンズ群を形成できる。1つ又は複数のレンズは移動可能に設計され、それによって、一方で、第二のイメージングシステムは物体上に合焦でき、他方で、第二のイメージングシステムの焦点距離を設定できる。
上ですでに述べたように、本発明による画像形成システムの1つの実施形態において、追加的又は代替的に、第二のイメージングシステムが、物体の画像を、物体に関するデータに基づく数学的計算によって、第二のイメージングパラメータにより選択された特性を有するカメラが物体の画像を実際に形成したかのような方法で形成するための仮想カメラであるようになされる。それに加えて、又はその代替案として、第二のデータレコードが数学的イメージングルールとして、特に多項式又はフーリエ展開式として形成されるようになされ、数学的マッピングルールは仮想カメラを表し、仮想カメラのレンズに入射し、レンズから再び射出する光ビームが仮想カメラの画像捕捉ユニット上でどのようにどこで結像されるかを数学的な形態で説明する。数学的マッピングルールは上述の実施形態に限定されないことを明確に指摘する。むしろ、本発明にとって適当な何れの数学的マッピングルールも使用できる。
本発明の別の実践的な実施形態及び利点を図面に関連して以下に説明する。図中:
本発明による画像形成システムの概略表現を示す。 カメラの形態のイメージングシステムの概略表現を示す。 図2によるイメージングシステムの別の概略表現を示す。 本発明による方法のある実施形態のフロー図の概略表現を示す。 図4による本発明による方法の別の方法ステップの概略表現を示す。 2次元入力画像の概略表現を示す。 データの3次元表現を示す。 イメージングシステムのイメージングパラメータの概略表現を示す。 本発明による方法の別の実施形態のフロー図の概略表現を示す。 本発明による方法のまた別の実施形態のフロー図の概略表現を示す。 本発明による方法のまた別の実施形態のフロー図の概略表現を示す。 本発明による方法のある実施形態のフロー図の概略表現を示す。 本発明による方法の別の実施形態のフロー図の概略表現を示す。
図1は、本発明による画像形成システム1の概略表現を示し、これは物体の画像を形成する機能を果たす。画像形成システム1は表示ユニット2を有し、これは例えばモニタとして形成される。しかしながら、本発明はこのような表示ユニット2に限定されない。むしろ、本発明にとって適当である何れの表示ユニット2も本発明に使用できる。
それに加えて、画像形成システム1は第一のデータ処理装置3を有する。第一のデータ処理装置3は例えば、中央ユニットと周辺機器により形成される電子システムである。例えば、中央ユニットはローカルコンピュータ、サーバユニット、複数のワークステーションによるネットワーク、クラウドベースの仮想サーバ、タブレットコンピュータ、及び/又はスマートフォンである。周辺機器は、例えば特にキーボードの形態の入力及び/又は出力ユニットとして、及び/又はモニタとして形成される。
画像形成システム1はまた、第二のデータ処理装置4を有し、これはデータ交換のために第一のデータ処理装置3に接続される。特に、第一のデータ処理装置3を第二のデータ処理装置4に配線により接続することが想定される。それに加えて、又はその代替案として、第一のデータ処理装置3を第二のデータ処理装置4にワイヤレスで、データ交換を行うことができるように接続することが想定される。例えば、第一のデータ処理装置3と第二のデータ処理装置4との間のワイヤレス接続は、無線接続又はWLAN接続である。それに加えて、又は代替案として、第一のデータ処理装置3は第二のデータ処理装置4にインタネットにより接続され得る。
第二のデータ処理装置4は例えば、中央ユニットを有する電子システムである。例えば、中央ユニットはローカルコンピュータ、サーバユニット、複数のワークステーションによるネットワーク、クラウドベースの仮想サーバ、タブレットコンピュータ、及び/又はスマートフォンである。それに加えて、第二のデータ処理装置4は例えば、周辺機器を備え得る。周辺機器は、特に例えばキーボードの形態の入力及び/又は出力ユニットとして、及び/又はモニタとして形成される。
画像形成システム1はそれに加えて、データメモリ5を有する。データメモリ5は例えば、第一のデータ処理装置3及び/又は第二のデータ処理装置4に割り当てられる。例えば、データメモリ5は第一のデータ処理装置3及び/又は第二のデータ処理装置4のユニットであるようになされる。データメモリ5の場所は、第一のデータ処理装置3及び/又は第二のデータ処理装置4の場所と同じである必要はない。むしろ、データメモリ5はまた、第一のデータ処理装置3及び/又は第二のデータ処理装置4から離れた場所にも配置され得る。
画像形成システム1はまた、第一のイメージングシステム6を有する。例えば、第一のイメージングシステム6は第一の光イメージングシステムとして形成される。第一の光イメージングシステムの形態の第一のイメージングシステム6は少なくとも1つのレンズ素子を有する。例えば、第一の光イメージングシステムの形態の第一のイメージングシステム6は、第一のレンズと、第一の画像捕捉ユニットを有する。第一の画像捕捉ユニットは、例えば電子イメージセンサとして形成される。特に、電子イメージセンサは、例えばCMOSの形態のデジタル画像捕捉ユニットとして形成される。その代替案として、画像捕捉ユニットは感光化学フィルムとして形成されるようになされる。第一の光イメージングシステムの形態の第一のイメージングシステム6は、例えばカメラとして形成される。特に、カメラは映画撮影の分野で使用されるフィルムカメラとして形成されるようになされる。その代替案として、カメラは写真の分野で使用されるカメラとして形成されるようになされる。第一のレンズは少なくとも1つのレンズユニットと、開口が設けられた少なくとも1つの絞りユニットを有する。例えば、第一のレンズは少なくとも1つのレンズ群を有し、これは、物体上での第一のレンズの合焦を設定するため、及び/又は第一のレンズの焦点距離を設定するために第一のレンズの光軸に沿って移動される。レンズ群とは、以上及び以下において、1つのレンズ素子又は複数のレンズ素子を有する群を意味すると理解されたい。それに加えて、レンズ群はまた、少なくとも1つのプリズムも持ち得る。
図2及び3は、カメラ1000の形態の第一のイメージングシステム6のある実施形態を示す。図2は、カメラ1000の概略表現を示す。カメラ1000は、例えば写真カメラとして、又はフィルムカメラとして形成される。カメラ1000はハウジング1001を有し、その上にレンズ1002が配置される。画像捕捉ユニット1003は、レンズ1002により結像される画像を捕捉するものであり、ハウジング1001上に配置される。例えば、画像捕捉ユニット1003はデジタル画像捕捉ユニット、特にCMOSセンサである。しかしながら、本発明はデジタル画像捕捉ユニットの使用に限定されない。むしろ、本発明にとって適当な何れの画像捕捉ユニットも、例えば写真フィルムも画像捕捉ユニットのために使用され得る。図2に示される実施形態において、レンズ1002は交換可能レンズとして形成される。しかしながら、本発明はこのようなレンズに限定されない。むしろ、カメラ1000のハウジング1001上に取外し不能に配置されるレンズも本発明に適している。例えば、XDデータインタフェース1017は、データメモリユニットを接続するためにレンズ1002上に配置される。
図3は、図2によるカメラ1000の、縦の断面における別の概略表現を示す。この実施形態において、レンズ1002は第一のレンズユニット1004と第二のレンズユニット1005を有し、これらはレンズ1002の光軸OAに沿って相互に前後に配置される。レンズ1002は、特定の数の個別のレンズ素子、レンズ群、及び/又は例えばプリズムやミラーの形態の別の光学ユニットを有することができる。本発明はレンズの特定の実施形態に限定されない。むしろ、何れの適当なレンズも本発明で使用できる。絞りユニット1016は、直径Dの調整可能な開口を有し、第一のレンズユニット1004と第二のレンズユニット1005との間に配置される。カメラ1000はまた、プロセッサ1006とモニタ1007も有する。画像捕捉ユニット1003もまたカメラ1000上に提供される。画像形成対象の物体Oから画像捕捉ユニット1003の方向に、まず物体O、次にレンズ1002、次に画像捕捉ユニット1003が配置される。それに加えて、カメラ1000及び/又はレンズ1002はSLAMモジュール1008を有し、その構成、機能、及び動作モードについては後でより詳しく説明する。
SLAMモジュール1008は、慣性測定ユニット、深度カメラ、及び環境カメラを有する。SLAMモジュール1008の慣性測定ユニットは、加速度センサと回転率センサを有し、それによって例えば、カメラ1000又はレンズ1002の6自由度での移動を検出することが可能となる。慣性測定ユニットは基本的に、慣性ナビゲーションシステムであり、カメラ1000又はレンズ1002の空間内の動きを検出し、位置を特定する役割を果たす。SLAMモジュール1008の深度カメラは、空間内のある点、すなわちカメラ1000の環境中のある点からレンズ1002までの距離を特定する役割を果たす。例えば、深度カメラはプレノプティックイメージングユニットとして、立体鏡イメージングユニットとして、飛行時間イメージングユニットとして(すなわち、TOFイメージングユニットとして)、及び/又はパターンの投射及び捕捉(例えば、構造的光投射又は点群の投射のため)のユニットとして形成される。プレノプティックイメージングユニット、例えばプレノプティックカメラは先行技術から知られている。プレノプティックカメラにより、画像捕捉ユニット1003上の光ビームの位置と強度を特定することが可能であるだけでなく、光ビームがどの方向から入射したかを特定することも可能である。立体鏡イメージングユニットは、例えば立体鏡カメラの形態であり、同じく先行技術から知られている。これは、立体鏡の原理に基づく。さらに、TOFイメージングユニットは、例えばTOFカメラの形態であり、同じく先行技術から知られている。TOFカメラの場合、物体OとTOFカメラとの間の距離は飛行時間方式で測定される。しかしながら、本発明は距離を測定するための上記のイメージングユニットの使用に限定されないことを指摘する。むしろ、何れの適当な方法及び/又は何れの適当なイメージングユニットも距離の特定に使用できる。例えば、距離はまた、超音波測定方法を利用することによって超音波測定ユニットで特定され得る。SLAMモジュール1008の環境カメラは、カメラ1000の環境を捕捉する役割を果たす。
カメラ1000にはまた、通信機器1009も設けられる。その代替案として、レンズ1002に通信機器1009が設けられ、これは図3において破線で示されている。通信機器1009は、ある伝送経路又は複数の伝送経路上である伝送規格又は複数の伝送規格を使用するラジオ機器として形成される。例えば、Bluetoothが伝送規格として使用される。ワイヤレスローカルネットワーク、すなわちWLANもまた伝送のために使用される。上ですでに説明したように、本発明はこのような形態の通信機器に限定されない。むしろ、通信機器1009は本発明にとって適当な何れの形態も有し得る。
画像形成システム1の別の実施形態において、追加的又は代替的に、第一のイメージングシステム6はコンピュータグラフィクスシステムとして形成されるようになされ、それによって複数の3次元表現のシーケンスを有する3次元シーンがデータの数学的計算によって作成される。代替案として、コンピュータグラフィクスシステムにより、3次元表現はデータの数学的計算によって作成される。計算のために、コンピュータグラフィックデザイナは例えば、3次元シーン及び/又は3次元表現の数学モデルを使用する。数学モデルは例えば、特に、3次元シーン及び/又は3次元表現の中で表現されることになるモデル化対象の物体の形態、色、及び表面仕上げを説明するパラメータを含む。さらに、数学モデルは例えば、物体の照明、特にモデル化対象の光源の位置、種類、色、及び方向を説明するパラメータを含む。それに加えて、数学モデルは、以下のうちの少なくとも1つの3次元シーン及び/又は3次元表現における物体の位置を含む:仮想カメラの捕捉方向、視野、焦点距離、合焦、画像フォーマット、画像捕捉ユニットの大きさ、位置、及び移動経路。
画像形成システム1はまた、第二のイメージングシステム7も有する。例えば、第二のイメージングシステム7は第二の光イメージングシステムとして形成される。第二の光イメージングシステムの形態の第二のイメージングシステム7は、少なくとも1つのレンズ素子を有する。第二の光イメージングシステムの形態の第二のイメージングシステム7は、例えば第二のレンズを有するカメラとして形成される。特に、カメラは映画撮影の分野で使用されるフィルムカメラとして形成されるようになされる。その代替案として、カメラは写真の分野で使用されるカメラとして形成されるようになされる。第二のレンズは少なくとも1つのレンズユニットと、開口が設けられた少なくとも1つの絞りユニットを有する。例えば、第二のレンズは少なくとも1つのレンズ群を有し、これは、物体上の第二のレンズの合焦を設定するため、及び/又は第二のレンズの焦点距離を設定するために、第二のレンズの光軸に沿って移動される。レンズ群とは以上及び以下において、1つのレンズ素子又は複数のレンズ素子を有する群を意味すると理解されたい。それに加えて、レンズ群はまた、少なくとも1つのプリズムも有し得る。
第二のイメージングシステム7は例えば、同様に図2及び3に示されるように形成され得る。前述のコメントを参照されたく、それがここにも当てはまる。
画像形成システム1の1つの実施形態において、追加的又は代替的に、第二のイメージングシステム7は仮想カメラとして形成されるようになされる。仮想カメラにより、物体の画像は数学的計算により形成されて、表示ユニット2上で、仮想カメラと同じ特性を有するカメラが物体の画像を実際に形成したかのような方法で表現される。
画像形成システム1は、第一のプロセッサ8と第二のプロセッサ9を有する。第一のプロセッサ8は、第一のデータ処理装置3に割り当てられる。言い換えれば、第一のプロセッサ8は第一のデータ処理装置3に接続される。例えば、第一のプロセッサ8は第一のデータ処理装置3のユニットであるようになされる。第二のプロセッサ9は第二のデータ処理装置4に割り当てられる。言い換えれば、第二のプロセッサ9は第二のデータ処理装置4に接続される。例えば、第二のプロセッサ9は第二のデータ処理装置4のユニットであるようになされる。
第一のプロセッサ8と第二のプロセッサ9はコンピュータプログラム製品を有し、これは、第一のプロセッサ8及び/又は第二のプロセッサ9に部分的又は完全にロードされているプログラムコードを有する。プログラムコードの実行中に、画像形成システム1は、本発明による方法が実行されるような方法で制御される。本発明による方法の実施形態については、後でより詳しく説明する。
図4及び5は、本発明による方法のある実施形態のフロー図を示す。方法ステップS1で、物体に関するデータが第一のデータ処理装置3により提供される。さらに前ですでに説明したように、物体に関するデータは物体を説明するデータである。例えば、物体に関するデータは物体の少なくとも1つの2次元入力画像である。それに加えて、又はその代替案として、物体に関するデータは例えば物体の少なくとも1つの3次元表現である。再び、それに加えて、又はその代替案として、物体に関するデータは、それによって物体の多次元、例えば2次元又は3次元表現を計算することのできるデータであるようになされる。物体に関するデータの上述の羅列は全てであると理解されるべきではない。むしろ、物体を説明し、本発明を実行するのに適した物体に関する何れのデータも使用され得る。
すでに前述したように、物体に関するデータは例えば、物体の少なくとも1つの2次元入力画像を含む。図6は、2次元入力画像10のある実施形態の概略表現を示すし、これは所定の数の入力画像ピクセルPopを有しており、oとpは整数で、それには以下が当てはまる:1≦o≦n及び1≦p≦n。ここで、nは入力画像ピクセルの総数に対応する。図6の実施形態について、以下が当てはまる:n=81。例えば、入力画像ピクセルのうちの4つが参照番号、詳しくはP11、P19、P91、及びP99で示されている。入力画像ピクセルの総数は上記の値に限定されないことを明確に指摘する。むしろ、入力画像ピクセルの総数は適当な何れの値をとることもできる。特に、入力画像ピクセルの総数は十分に6桁以内、十分に7桁以内、十分に8桁以内、又は十分に9桁の範囲内に入る。
2次元入力画像10は、例えば第一のイメージングシステム6で形成される。例えば、2次元入力画像10は図2及び3に示されるカメラ1000で形成される。その範囲で、さらに前で説明した定義により、2次元入力画像10は実際に形成された画像である。特に、2次元入力画像10をデータキャリア(図示せず)に保存することが想定され、そこから第一のデータ処理装置3が入力画像10をロードして提供する。
同様にすでに前に述べたように、物体に関するデータは例えば少なくとも1つの3次元表現を含む。図7は、3次元表現11のある実施形態の概略表現を示す。これは、第一の次元D1の第一のデータコンテンツ、第二の次元D2の第二のデータコンテンツ、及び第三の次元D3の第三のデータコンテンツを含む。第一のデータコンテンツ、第二のデータコンテンツ、及び第三のデータコンテンツは例えばボクセルVijkとして表現され得て、i、j、及びkは整数であり、それには例えば以下が当てはまる:1≦i≦m、1≦j≦m、及び1≦k≦m。ここで、mはボクセルの総数に対応する。ボクセル総数は、適当な何れの値をとることもできる。特に、ボクセルの総数は十分に6桁以内、十分に7桁以内、十分に8桁以内、又は十分に9桁の範囲内に入る。本発明は3次元表現について、物体に関するデータの前述の実施形態に限定されない。むしろ、本発明にとって適当な何れの実施形態も使用できる。さらに前のコメントを参照されたく、それがここにも当てはまる。
すでに前述したように、複数の3次元表現のシーケンスを有する3次元シーン、及び/又は3次元表現は、データの数学的計算により作成され得る。この目的のために、3次元シーン及び/又は3次元表現の数学モデルが使用される。数学モデルは例えば、特に3次元シーン及び/又は3次元表現の中で表現されることになるモデル化対象の物体の形態、色、及び表面仕上げを説明するパラメータを含む。さらに、数学モデルは、例えば物体の照明、特にモデル化対象の光源の位置、種類、色、及び方向を説明するパラメータを含む。それに加えて、数学モデルは、以下の少なくとも1つの3次元シーン及び/又は3次元表現の中の物体の位置を含む:仮想カメラの捕捉方向、視野、焦点距離、合焦、画像フォーマット、画像捕捉ユニットの大きさ、位置、及び移動経路。数学モデルで計算されたデータは例えば、物体に関するデータである。
方法ステップS2で、第一のデータ処理装置3は、第一のデータレコードを提供するために使用される。本発明による方法の1つの実施形態において、第一のデータレコードは以下の第一のデータを含む:
(i)それによって本発明による方法のユーザを明確に識別することが可能となるユーザ識別データ。例えば、ユーザ識別データは、本発明による方法又は本発明による方法の一部を実行するための使用許可を含む。使用許可は例えば、ユーザが本発明による方法を実行するための支払いを行った、近い将来行う、本発明による方法を実行するための信用供与を受けた、又は本発明による方法を実行するためのライセンスを取得した場合に常に存在し得る。
(ii)それによって物体に関するデータの明確な識別が可能となる識別データ。このようにして、例えば3次元表現11に関係する物体に関する2次元入力画像10及び/又はデータを明確に識別することが可能となる。
(iii)少なくとも、それによって物体に関するデータが生成された第一のイメージングシステム6の第一のイメージングパラメータ、及び/又は少なくとも、その特性によって物体の画像が物体に関するデータに基づいて表示ユニット2上で表現されることになる第二のイメージングシステム7の第二のイメージングパラメータ。
その結果、第一のデータは少なくとも、それによって物体に関するデータが生成された第一のイメージングシステム6の第一のイメージングパラメータを含み得る。第一のイメージングパラメータの例は図8に示されている。例えば、第一のイメージングシステム6の第一のメタデータ12Aは第一のイメージングパラメータとして使用される。第一のメタデータ12Aは、例えば第一のイメージングシステム6のイメージング特性及び/又は機能ユニットを含む。これらは特に、第一のデータ処理装置3によって物体のデータから読み出されるか、又は第一のデータ処理装置3に手作業で入力される。例えば、第一のメタデータ12Aは以下のパラメータのうちの少なくとも1つを含む:
-それによって物体に関するデータが生成されたカメラ1000に関する第一のカメラデータ13A。
-それによって物体に関するデータが生成されたレンズ1002に関する第一のレンズデータ14A。
-それによって物体に関するデータが生成された絞りユニット1016に関する第一の絞りユニットデータ15A。
-それによって物体に関するデータが生成された、第一のレンズユニット1004及び第二のレンズユニット1005の形態の第一の合焦ユニットに関する第一の合焦ユニットデータ16A。
-それによって物体に関するデータが生成された、第一のレンズユニット1004及び第二のレンズユニット1005の形態の第一の焦点距離設定ユニットに関する第一の焦点距離設定ユニットデータ17A。
-カメラ1000の形態の第一のイメージングシステム6の空間内の位置と場所に関する第一の情報18A。言い換えれば、例えば3次元空間内の第一のイメージングシステム6の位置とアラインメントに関する第一の情報18Aが提供される。
-第一のイメージングシステム6の解像度に関する第一の情報19A。言い換えれば、それによって物体に関するデータが生成された解像度が提供される。例えば、解像度はいわゆる「フルHD」の解像度、すなわち特に1920×1080ピクセルの解像度である。それに加えて、又はその代替案として、解像度はいわゆる2k解像度、すなわち特に2560×1440ピクセルの解像度である。しかしながら、本発明は上述の解像度に限定されない。むしろ、本発明にとって適当な何れの解像度も使用できる。それに加えて、又はその代替案として、ユーザは所望の目標解像度を入力し得る。
前述のように、第一のイメージングシステム6はまた、コンピュータグラフィクスシステムとしても形成され得、それにより複数の3次元表現のシーケンスを有する3次元シーンがデータの数学的計算により作成される。その代替案として、コンピュータグラフィクスシステムにより、3次元表現はデータの数学的計算により作成される。すると、第一のデータレコードの第一のデータは例えば、数学的計算により生成されたデータを含む。それに加えて、又はその代替案として、上述の数学的に計算されたデータは、2次元画像シーケンス及び/又は2次元画像に変換される。すると、第一のデータは2次元画像シーケンス及び/又は2次元画像のデータを含む。
前述のように、第一のデータは追加的又は代替的に、少なくとも第二のイメージングシステム7の第二のイメージングパラメータを含む。第二のイメージングシステム7の特性により、物体の画像は物体に関するデータに基づいて表示ユニット2上で表現されることになる。第二のイメージングシステム7が第二の光イメージングシステムとして形成される実施形態に関して、第二のイメージングパラメータの例が図8に示されている。例えば、第二のイメージングシステム7の第二のメタデータ12Bは、第二のイメージングパラメータとして使用される。第二のメタデータ12Bは、例えば第二のイメージングシステム7のイメージング特性及び/又は機能ユニットを含む。これらは特に、第一のデータ処理装置3によって物体のデータから読み出され、又は第一のデータ処理装置3に手作業で入力される。例えば、第二のメタデータ12Bは、以下のパラメータのうちの少なくとも1つを含む:
-その特性により物体に関するデータが表示ユニット2上で表現されることになるカメラ1000に関する第二のカメラデータ13B。
-その特性により物体に関するデータが表示ユニット2上で表現されることになるレンズ1002に関する第二のレンズデータ14B。
-その特性により物体に関するデータが表示ユニット2上で表現されることになる絞りユニット1016に関する第二の絞りユニットデータ15B。
-その特性により物体に関するデータが表示ユニット2上で表現されることになる、第一のレンズユニット1004及び第二のレンズユニット1005の形態の第二の合焦ユニットに関する第二の合焦ユニットデータ16B。
-その特性により物体に関するデータが表示ユニット2上で表現されることになる、第一のレンズユニット1004及び第二のレンズユニット1005の形態の第二の焦点距離設定ユニットに関する第二の焦点距離設定ユニットデータ17B。
-カメラ1000の形態の第二のイメージングシステム7の空間内の位置と場所に関する第二の情報18B。言い換えれば、例えば3次元空間内の第二のイメージングシステム7の位置とアラインメントに関する第二の情報18Bが提供される。
-第二のイメージングシステム7の解像度に関する第二の情報19B。言い換えれば、それによって物体に関するデータが生成された解像度が提供される。例えば、解像度はいわゆる「フルHD」の解像度、すなわち特に1920×1080ピクセルの解像度である。それに加えて、又はその代替案として、解像度はいわゆる2k解像度、すなわち特に2560×1440ピクセルの解像度である。しかしながら、本発明は上述の解像度に限定されない。むしろ、本発明にとって適当な何れの解像度も使用できる。それに加えて、又はその代替案として、ユーザは所望の目標解像度を入力し得る。
それに加えて、又はその代替案として、第二のイメージングシステム7は仮想カメラとして形成されるようになされる。少なくとも第二のイメージングパラメータは、物体に関するデータに基づく物体の画像が表示ユニット2上で、第二のイメージングパラメータを使用する仮想カメラが物体の画像を実際に形成したかのような方法で表現される効果を有する。言い換えれば、物体の画像は、物体に関するデータに基づく数学的計算によって形成され、表示ユニット2上で、第二のイメージングパラメータにより選択された特性を有するカメラが物体の画像を実際に形成したかのような方法で表現されることが意図される。
方法ステップS3で、第一のデータレコードを第一のデータ処理装置3から第二のデータ処理装置4にロードすることが行われる。すると、方法ステップS4で、第二のデータレコードをロードすることは、第二のデータ処理装置4にロードされた第一のデータレコードに依存してデータメモリ5から第二のデータ処理装置4へと行われる。言い換えれば、第二のデータレコードは、第二のデータ処理装置4にロードされた第一のデータレコードに依存して選択され、その後、データメモリ5から第二のデータ処理装置4にロードされる。第一のデータレコードが第一のイメージングシステム6の第一のイメージングパラメータに関する場合、その後、第二のデータレコードは第二のデータを有し、これは第一のイメージングシステム6の第一のイメージングパラメータに依存して結像エラーを修正するための修正データを含む。例えば、修正データは、第一のイメージングシステム6の第一のイメージングパラメータに依存して結像エラーを補正するためのデータである。第一のデータレコードが追加的又は代替的に第二のイメージングシステム7の第二のイメージングパラメータに関する場合、第二のデータレコードは第二データを有し、これは、第二のイメージングシステム7の第二のイメージングパラメータに依存して物体に関するデータを修正するための修正データを含む。
その結果、第二のデータは、第一のイメージングシステム6の第一のイメージングパラメータに依存して結像エラーを修正するための修正データを含み得る。特に、修正データは、第一のイメージングシステム6の第一のイメージングパラメータに依存して結像エラーを補正するためのデータである。言い換えれば、第二のデータは、物体に関するデータを生成するとき(特に、物体の上述の2次元入力画像10を形成するとき)に発生した結像エラーを軽減し、又は完全に補正するために使用できる補正データを含む。例えば、補正データは、第一のイメージングシステム6の歪みを補正するためのデータである。それに加えて、又はその代替案として、第一のイメージングシステム6のビネッティングを補正するためのデータが補正データとして使用されるようになされる。
その代わりに、又は代替案として、第二のデータは、第二のイメージングシステム7の第二のイメージングパラメータに依存して物体に関するデータを修正するための修正データを含む。言い換えれば、修正データを利用して、物体に関するデータを第二のイメージングシステム7の第二イメージングパラメータに依存して修正できる。物体に関するデータ修正は、例えば、物体に関するデータの修正が前述の第二の光イメージングシステム7で形成された物体の画像又は前述の仮想カメラで形成された物体の画像に基本的に対応する、又は実質的に対応する物体の画像を形成する効果を有するような方法で行われる。
第二のデータレコードは、例えば多項式の形態で設計され得る。多項式は、例えば仮想カメラを表し、仮想カメラのレンズに入射し、レンズから再び射出する光ビームが仮想カメラの画像捕捉ユニット上にどのようにどこで結像されるかを数学的形態で説明する。例えば多項式は以下の形態を有する:
Figure 2022159118000003
ただし、xとyは画像捕捉ユニットの表面上の射出光ビームのビーム位置を表し、xとyは仮想絞りの平面上の入射光ビームのビーム位置を表し、βは所望のイメージングスケールである。
方法ステップS5で、第二のデータ処理装置4から第一のデータ処理装置3に第二のデータレコードをロードすることが行われる。この場合、物体のデータに関する識別データを第二のデータレコードと一緒に第二のデータ処理装置4から第一のデータ処理装置3にロードすることができる。それに加えて、又はその代替案として、方法を実行するためのコストに関する情報が第二のデータレコードとともに第二のデータ処理装置4から第一のデータ処理装置3にロードされるようになされる。
ユーザがコストについて同意した場合、方法ステップS6が実行される。ユーザがコストについて同意しなければ、第二のデータは第一のデータ処理装置3から消去され、方法は停止される。その代替案として、ユーザに方法の実行を続けるためのコストを通知し、その後、方法ステップS6を実行することが想定される。すると、方法ステップS6で、処理データレコードが第二のデータに基づいて第一のデータ処理装置3により生成される。例えば、処理データレコードは補正マップを含む。その代替案として、第二のデータレコードが変更されずに処理データレコードとして使用されたことが第一のデータ処理装置3により検出されるようになされる。
方法ステップS7で、物体の2次元出力画像が第一のデータ処理装置3により、処理データレコードを使って物体に関するデータを処理することによって形成され、出力画像は事前に決定可能な数の出力画像ピクセルを有する。例えば、処理データレコードとして形成された補正マップが物体の2次元入力画像10の上に置かれ、結像エラーの補正が行われる。形成された2次元出力画像はすると、補正された物体の2次元入力画像10である。例えば、処理データレコードが第二のデータレコードとして、特に多項式の形態で形成された場合、物体に関するデータは処理データレコードで、前述の第二の光イメージングシステム7で形成された物体の画像又は前述の仮想カメラで形成された物体の画像に基本的に対応する、又は実質的に対応する物体の画像が2次元出力画像として形成されるような方法で処理される。その後、物体の2次元出力画像を表示ユニット2上に表示することができる。
上ですでに述べたように、本発明による方法のこの実施形態において、第二のデータ処理装置4にロードされた第一のデータレコードは、物体に関するデータの識別データ及び/又はユーザ識別データを有するようになされる。本発明による方法の別の実施形態では、第二のデータレコードがデータメモリ5にロードされる方法ステップS4を実行する前に、まず、第二のデータレコードを使用するための使用許可があるか否かに関するチェックが行われる。本発明による方法のこの実施形態は図9に示されている。それゆえ、方法ステップS3Aで、第一のデータ処理装置3及び/又は第二のデータ処理装置4で第二のデータレコードを使用するための使用許可があるか否かが、第一のデータ処理装置3及び/又は第二のデータ処理装置4を使用することによって、識別データ及び/又はユーザ識別データに基づいてチェックされる。使用許可は例えば、使用者が本発明による方法を実行するための支払いを行った、近い将来行う、本発明による方法を実行するための信用供与を受けた、又は本発明による方法を実行するためのライセンスを取得した場合に常に存在し得る。方法ステップS3Bにより、使用許可がある場合、方法ステップS4が実行される。使用許可がなければ、ユーザにこれが通知される。この場合、ユーザは例えば本発明による方法を実行するための使用料金を支払うによって、又はライセンスを取得することによって、使用許可を取得できる。ユーザが使用許可を受けていない場合、方法ステップS3Bにより本発明による方法は停止される。それに加えて、又はその代替案として、第二のデータレコードを消去することが想定される。
本発明による方法のまた別の実施形態において、追加的又は代替的に、処理データレコードが生成されるか、検出される方法ステップS6を実行する前に、まず、第二のデータレコードを使用するための使用許可があるか否かについてのチェックが行われる。本発明による方法のこの実施形態は、図10に示されている。それゆえ、方法ステップS5の後に、まず方法ステップS5Aが実行される。この場合、識別データ及び/又はユーザ識別データは再び第一のデータ処理装置3から第二のデータ処理装置4にロードされる。方法ステップS5Bで、識別データ及び/又はユーザ識別データに基づいて、第二のデータ処理装置4を使用することにより、第一のデータ処理装置3及び/又は第二のデータ処理装置4で第二のデータレコードを使用するための使用許可があるか否かがチェックされる。使用許可は例えば、ユーザが本発明による方法を実行するための支払いを行った、近い将来行う、本発明による方法を実行するための信用供与を受けた、又は本発明による方法を実行するためのライセンスを取得した場合に常に存在し得る。方法ステップS5Cにより使用許可があれば、方法ステップS6が実行される。処理データレコードは、使用許可がある場合のみ生成又は検出される。使用許可がなければ、ユーザにそれが通知される。この場合、ユーザは、例えば本発明による方法を実行するための使用料を支払うことによって、又はライセンスを取得することによって、使用許可を取得できる。ユーザが使用許可を取得しない場合、本発明による方法は方法S5Cにより停止される。その代わりに、又はその代替案として、第二のデータレコードを消去することが想定される。
本発明による方法の1つの実施形態において、追加的又は代替的に、方法ステップS7を実行した後に、別の方法ステップS8が実行されるようになされる。方法ステップS8は図11に示されている。本発明による方法のこの実施形態において、物体の2次元出力画像を形成した後に、2次元出力画像は再び修正されるようになされる。この目的のために、第二のデータレコードの第二のデータは、第一のイメージングシステム6の第一のイメージングパラメータに依存して物体の出力画像に結像エラーを組み込むために物体の形成された出力画像を修正するための修正データを含むようになされる。さらに、形成又は検出された後、処理データレコードは修正データに基づく処理データを有する。方法ステップS8で、物体の出力画像は、処理データを使用することによって第一のデータ処理装置3により物体の出力画像の事前に決定可能な数の出力画像ピクセルのうちの少なくとも1つの出力画像ピクセルを処理することによって修正され、物体の出力画像の出力画像ピクセルのピクセル値は処理データで修正される。この実施形態では、例えば以前に完全に、又は実質的に完全に補正され、結像エラーのない出力画像が、光イメージングシステムで作成された実際の画像の場合のように、ほとんど自然な審美的印象が生成されるような方法で結像エラーを組み込むことによって処理される点が有利である。
図12は、本発明による方法の別の実施形態の概略表現を示す。本発明による方法のこの別の実施形態は、図4及び5による実施形態に基づく。したがって、まず、さらに前に行った記述を参照されたく、それがここにも当てはまる。図12による別の実施形態も同様に、方法ステップS1~S3を有する。方法ステップS3の後に方法ステップS10が実行される。方法ステップS10で、第二のデータ処理装置4は、第二のデータ処理装置4にロードされた第一のデータレコードに依存してライセンスデータレコードを生成するために使用される。ライセンスデータレコードは基本的に電子キーであり、それにより適当な第二のデータレコードを復号化し(すなわち、開き)、物体に関するデータを処理することができる。
方法ステップS11で、第二のデータ処理装置4から第一のデータ処理装置3へのライセンスデータレコードのロードが行われる。この場合、物体のデータに関する識別データをライセンスデータレコードとともに第二のデータ処理装置4から第一のデータ処理装置3にロードすることができる。それに加えて、又はその代替案として、方法を実行するためのコストに関する情報がライセンスデータレコードとともに第二のデータ処理装置4から第一のデータ処理装置3にロードされるようになされる。
ユーザがコストに同意した場合、方法ステップS12が実行される。ユーザがコストに同意しなければ、ライセンスデータレコードは第一のデータ処理装置3から消去され、方法が停止される。その代替案として、方法の実行を続けるためのコストをユーザに通知し、その後、方法ステップS12を実行することが想定される。
方法ステップS12で、第二のデータレコードが、第二のデータ処理装置4にロードされた第一のデータレコードに依存してデータメモリ5から第一のデータ処理装置3にロードされる。第二のデータレコードは第二のデータを有し、これは以下を含む:(i)第一のイメージングシステム6の第一のイメージングパラメータに依存して結像エラーを修正するための修正データ、特に第一のイメージングシステム6の第一のイメージングパラメータに依存して結像エラーを補正するための補正データ、及び/又は(ii)第二のイメージングシステム7の第二のイメージングパラメータに依存して物体に関するデータを修正するための修正データ。第二のデータレコードに関して、さらに前に行ったコメントを参照されたく、それがここにも当てはまる。
その後、方法ステップS13で、第一のデータ処理装置3は、ライセンスデータレコードを使用することによって第二のデータレコードを復号化するために使用される。方法ステップS13の後に、方法ステップS6及びその後に続く可能性のある別の方法ステップの全てが実行される。
すでに前述したように、本発明による方法のこの実施形態において、第二のデータ処理装置4にロードされた第一のデータレコードが物体に関するデータの識別データ及び/又はユーザ識別データを有するようになされる。図12による本発明による方法の別の実施形態では、ライセンスデータレコードが生成される方法ステップS10を実行する前に、まず、ライセンスデータレコードを使用するための使用許可があるか否かについてのチェックが行われる。本発明による方法のこの実施形態は、図9に示される実施形態と同様に行われる。それゆえ、第一のデータ処理装置3及び/又は第二のデータ処理装置4でライセンスデータレコードを使用するための使用許可があるか否かは、第一のデータ処理装置3及び/又は第二のデータ処理装置4を使用することによって識別データ及び/又はユーザ識別データに基づいてチェックされる。使用許可は例えば、ユーザが本発明による方法を実行するための支払いを行った、近い将来行う、本発明による方法を実行するための信用供与を受けた、又は本発明による方法を実行するためのライセンスを取得した場合に常に存在し得る。使用許可がある場合、方法ステップS10が実行される。使用許可がなければ、ユーザにそれが通知される。この場合、ユーザは、例えば本発明による方法を実行するための使用料金を支払うか、ライセンスを取得することによって使用許可を取得できる。ユーザが使用許可を取得しない場合、本発明による方法は停止される。
図12による本発明による方法のまた別の実施形態において、追加的又は代替的に、第二のデータレコードがデータメモリ5から第一のデータ処理装置3にロードされる方法ステップS12を実行する前に、まず、ライセンスデータレコードを使用するための使用許可があるか否かについてのチェックが行われる。本発明による方法のこの実施形態は、図10による実施形態と同様に行われる。それゆえ、まず、識別データ及び/又はーザ識別データが再び第一のデータ処理装置3から第二のデータ処理装置4にロードされる。識別データ及び/又はユーザ識別データに基づいて、第一のデータ処理装置3及び/又は第二のデータ処理装置4でライセンスデータレコードを使用するための使用許可があるか否かが、第二のデータ処理装置4を使ってチェックされる。使用許可は例えば、ユーザが本発明による方法を実行するための支払いを行った、近い将来行う、本発明による方法を実行するための信用供与を受けた、又は本発明による方法を実行するためのライセンスを取得した場合に常に存在し得る。使用許可がある場合、方法ステップS12が実行される。使用許可がなければ、ユーザにこれが通知される。この場合、ユーザは、例えば本発明による方法を実行するための使用料金を支払うか、ライセンスを取得することによって使用許可を取得できる。ユーザが使用許可を取得しない場合、本発明による方法は停止される。その代わりに、又はその代替案として、ライセンスデータレコードを消去することが想定される。
図13は、本発明による方法のまた別の実施形態の概略表現を示す。本発明による方法のこのまた別の実施形態は、図4による実施形態に基づく。したがって、まず、さらに前に行った記述を参照されたく、それがここにも当てはまる。図13による別の実施形態も同様に、方法ステップS1~S4を有する。方法ステップS4の後に、方法ステップS14が実行される。方法ステップS14で、第二のデータ処理装置4は、処理データレコードを生成するため、又は第二のデータレコードが処理データレコードとして使用されていることを検出するために使用される。それに加えて、例えば、処理データレコードは第二のデータ処理装置4から第一のデータ処理装置3にロードされ(方法ステップS15)、第一のデータ処理装置3が物体の2次元出力画像を形成するために使用される(方法ステップS16)ようになされる。その代替案として、方法ステップS14の後に、第二のデータ処理装置4は物体の2次元出力画像を形成するために使用され(方法ステップS17)、2次元出力画像が第二のデータ処理装置4から第一のデータ処理装置3にロードされる(方法ステップS18)ようになされる。出力画像を形成することに関して、さらに前に行ったコメントを参照されたく、それがここにも当てはまる。
本発明は、それによって実際に形成された画像及び/又は画像シーケンスの1つの結像エラー又は複数の結像エラーを容易に修正、特に補正できる、物体の画像を形成するための方法及び画像形成システム1を提供する。この目的のために、本発明によれば、それによって実際に形成された画像のその結像エラー又はその複数の結像エラーを完全に又は実質的に補正できる適切な処理データレコードが常に提供される。それに加えて、本発明により、物体の人工的に作成された表現に、実際に形成された画像及び/又は画像シーケンスとの認識可能な差がないか、又はわずかな認識可能な差しかないことが確実となる。同じくこの目的のために、それによって物体の人工的に作成された表現を相応に処理することのできる適切な処理データレコードが常に提供される。
本明細書、図面、及び特許請求の範囲で開示される本発明の特徴は、個別にも、任意の組合せでも、その各種の実施形態において本発明を実現する上で不可欠であり得る。本発明は、前述の実施形態に限定されない。これは、特許請求の範囲内で、関係する当業者の知見を考慮して、変更することができる。
1 画像形成システム
2 表示ユニット
3 第一のデータ処理装置
4 第二のデータ処理装置
5 データメモリ
6 第一のイメージングシステム
7 第二のイメージングシステム
8 第一のプロセッサ
9 第二のプロセッサ
10 入力画像
11 3次元表現
12A 第一のメタデータ
12B 第二のメタデータ
13A 第一のカメラデータ
13B 第二のカメラデータ
14A 第一のレンズデータ
14B 第二のレンズデータ
15A 第一の絞りユニットデータ
15B 第二の絞りユニットデータ
16A 第一の合焦ユニットデータ
16B 第二の合焦ユニットデータ
17A 第一の焦点距離設定ユニットデータ
17B 第二の焦点距離設定ユニットデータ
18A 位置と場所に関する第一の情報
18B 位置と場所に関する第二の情報
19A 第一のイメージングシステムの解像度に関する第一の情報
19B 第二のイメージングシステムの解像度に関する第二の情報
1000 カメラ
1001 ハウジング
1002 レンズ
1003 画像捕捉ユニット
1004 第一のレンズユニット
1005 第二のレンズユニット
1006 プロセッサ
1007 モニタ
1008 SLAMモジュール
1009 通信機器
1016 絞りユニット
1017 XDデータインタフェース
O 物体
OA 光軸
D 直径
D1 第一の直径
D2 第二の直径
D3 第三の直径
S1~S8 方法ステップ
S10~S18 方法ステップ
S3A~S3B 方法ステップ
S5A~S5C 方法ステップ
V ボクセル

Claims (24)

  1. 物体(O)の画像を形成する方法であって、以下の方法ステップ;
    -第一のデータ処理装置(3)により前記物体(O)に関するデータを提供するステップと、
    -前記第一のデータ処理装置(3)によって少なくとも第一のデータレコードを提供するステップであって、前記第一のデータレコードは第一のデータを有し、これは以下:(i)少なくとも、それによって前記物体(O)に関する前記データが生成された第一のイメージングシステム(6)の第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)、及び/又は(ii)少なくとも、その特性によって前記物体(O)の画像が前記物体(O)に関する前記データに基づいて表示ユニット(2)で表現されることになる第二のイメージングシステム(7)の第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)、を含むステップと、
    -前記第一のデータレコードを前記第一のデータ処理装置(3)から前記第二のデータ処理装置(4)にロードするステップと、
    -第二のデータレコードをデータメモリ(5)から前記第二のデータ処理装置(4)に、前記第二のデータ処理装置(4)にロードされた前記第一のデータレコードに依存してロードするステップであって、前記第二のデータレコードは第二のデータを有し、これは以下:(i)前記第一のイメージングシステム(6)の前記第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)に依存して結像エラーを修正するための修正データ、及び/又は(ii)前記第二のイメージングシステム(7)の前記第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)に依存して前記物体に関する前記データを修正するための修正データ、を含むステップと、
    -処理データレコードを前記第二のデータレコードに基づいて生成するか、又は前記第二のデータレコードが前記処理データレコードとして使用されていることを検出するステップと、
    -前記物体(O)の2次元出力画像を、前記処理データレコードを使用して前記物体に関する前記データを処理することによって形成するステップであって、前記出力画像は事前に決定可能な数の出力画像ピクセルを有するステップと
    を有する方法。
  2. -前記第二のデータレコードは前記第二のデータ処理装置(4)から前記第一のデータ処理装置(3)にロードされ、
    -前記第一のデータ処理装置(3)は、前記処理データレコードを生成するため、又は前記第二のデータレコードが前記処理データレコードとして使用されていることを検出するために使用される、
    請求項1に記載の方法。
  3. 前記第一のデータ処理装置(3)は前記物体(O)の前記2次元出力画像を形成するために使用される、請求項1又は2に記載の方法。
  4. 前記第二のデータ処理装置(4)は、前記処理データレコードを生成するため、又は前記第二のデータレコードが前記処理データレコードとして使用されていることを検出するために使用される、請求項1に記載の方法。
  5. 以下の方法ステップ:
    (i)前記処理データレコードは前記第二のデータ処理装置(4)から前記第一のデータ処理装置(3)にロードされ、前記第一のデータ処理装置(3)は、前記物体(O)の前記2次元出力画像を形成するために使用されるステップと、
    (ii)前記第二のデータ処理装置(4)は、前記物体(O)の前記2次元出力画像を生成するために使用され、前記2次元出力画像は前記第二のデータ処理装置(4)から前記第二のデータ処理装置(3)にロードされるステップ
    のうちの1つを有する、請求項4に記載の方法。
  6. -前記物体(O)に関する前記データは、前記物体(O)の少なくとも1つの2次元出力画像(10)を含み、
    -前記物体(O)の前記入力画像(10)は所定の数の入力画像ピクセル(Pop)を有し、
    -前記物体(O)の前記出力画像の前記形成ステップ中に、前記物体(O)の前記入力画像(10)の前記所定の数の入力画像ピクセル(Pop)のうちの少なくとも1つの入力画像ピクセル(Pop)は前記処理データレコードを使用することによって処理され、前記物体(O)の前記入力画像(10)の前記入力画像ピクセル(Pop)のピクセル値は前記処理データレコードのデータで修正される、
    請求項1~5のいずれか1項に記載の方法。
  7. -前記物体(O)に関する前記データは少なくとも1つの3次元表現(11)に関し、
    -前記物体(O)に関する前記データは、第一の次元(D1)の第一のデータコンテンツ(Vijk)、第二の次元(D2)の第二のデータコンテンツ(Vijk)、及び第三の次元(D3)の第三のデータコンテンツ(Vijk)を含み、
    -前記物体(O)の前記出力画像の前記形成ステップ中に、前記第一のデータコンテンツ(Vijk)、前記第二のデータコンテンツ(Vijk)、及び/又は前記第三のデータコンテンツ(Vijk)は、前記処理データレコードを使用することによって処理され、前記第一のデータコンテンツ(Vijk)、前記第二のデータコンテンツ(Vijk)、及び/又は前記第三のデータコンテンツ(Vijk)は前記処理データレコードのデータで修正される、
    請求項1~6のいずれか1項に記載の方法。
  8. 第一の光イメージングシステム(1000)は前記第一のイメージングシステム(6)として使用される、請求項1~7のいずれか1項に記載の方法。
  9. 前記第一のイメージングシステム(6)の以下のパラメータ:
    (i)前記第一のイメージングシステム(6)の第一のメタデータ(12A)、
    (ii)それによって前記物体(O)に関する前記データが生成された第一のカメラ(1000)に関する第一のカメラデータ(13A)、
    (iii)それによって前記物体(O)に関する前記データが生成された第一のレンズ(1002)に関する第一のレンズデータ(14A)、
    (iv)それによって前記物体(O)に関する前記データが生成された第一の絞りユニット(1016)に関する第一の絞りユニットデータ(15A)、
    (v)それによって前記物体(O)に関する前記データが生成された第一の合焦ユニット(1004、1005)に関する第一の合焦ユニットデータ(16A)、
    (vi)それによって前記物体(O)に関する前記データが生成された第一の焦点距離設定ユニット(1004、1005)に関する第一の焦点距離設定ユニットデータ(17A)、
    (vii)空間内の前記第一のイメージングシステム(6)の位置と場所に関する第一の情報(18A)、
    (viii)前記第一のイメージングシステムの解像度に関する、及び/又は所望の目標解像度に関する第一の情報(19A)
    のうちの少なくとも1つが前記第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)として使用される、請求項1~8のいずれか1項に記載の方法
  10. 第二の光イメージングシステムは前記第二のイメージングシステム(7)として使用される、請求項1~9のいずれか1項に記載の方法。
  11. 前記第二のイメージングシステムの以下のパラメータ:
    (i)前記第二の光イメージングシステム(7)の第二のメタデータ(12B)、
    (ii)その特性によって前記物体(O)に関する前記データが前記表示ユニット(2)上で表現されることになる第二のカメラ(1000)に関する第二のカメラデータ(13B)、
    (iii)その特性によって前記物体(O)に関する前記データが前記表示ユニット(2)上で表現されることになる第二のレンズ(1002)に関する第二のレンズデータ(14B)、
    (iv)その特性によって前記物体(O)に関する前記データが前記表示ユニット(2)上で表現されることになる第二の絞りユニット(1016)に関する第二の絞りユニットデータ(15B)、
    (v)その特性によって前記物体(O)に関する前記データが前記表示ユニット(2)上で表現されることになる第二の合焦ユニット(1004、1005)に関する第二の合焦ユニットデータ(16B)、
    (vi)その特性によって前記物体(O)に関する前記データが前記表示ユニット(2)上で表現されることになる第二の焦点距離設定ユニット(1004、1005)に関する第二の焦点距離設定ユニットデータ(17B)、
    (vii)空間内の前記第二のイメージングシステム(7)の位置と場所に関する第二の情報(18B)、
    (viii)前記第一のイメージングシステムの解像度に関する、及び/又は所望の目標解像度に関する第二の情報(19B)
    のうちの少なくとも1つが前記第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)として使用される、請求項1~10のいずれか1項に記載の方法。
  12. 以下の方法ステップ:
    (i)前記第一のイメージングシステム(6)の歪みを修正するためのデータが修正データとして使用されるステップと、
    (ii)前記第一のイメージングシステム(6)のビネッティングを修正するためのデータが修正データとして使用されるステップと、
    (iii)前記第一のイメージングシステム(6)の歪みを補正するためのデータが修正データとして使用されるステップと、
    (iv)前記第一のイメージングシステム(6)のビネッティングを補正するためのデータが修正データとして使用されるステップと
    のうちの少なくとも1つを含む、請求項1~11のいずれか1項に記載の方法。
  13. 以下の方法ステップ:
    (i)仮想カメラが第二のイメージングシステム(7)として使用され、前記物体(O)の画像は、前記仮想カメラで、前記物体(O)に関する前記データに基づく数学的計算により、前記第二のイメージングパラメータにより選択された特性を有するカメラが前記物体(O)の画像を実際に形成したかのような方法で形成されるステップと、
    (ii)前記仮想カメラを表し、前記仮想カメラのレンズに入射し、前記レンズから再び射出する光ビームが前記仮想カメラの画像捕捉ユニット上にどのようにどこに結像されるかを数学的形態で説明する数学的マッピングルールが前記第二のデータレコードとして使用されるステップと、
    (iii)前記仮想カメラを表し、前記仮想カメラのレンズに入射し、前記レンズから再び射出する光ビームが前記仮想カメラの画像捕捉ユニット上にどのようにどこに結像されるかを数学的形態で説明する多項式が前記第二のデータレコードとして使用されるステップと、
    (iv)前記仮想カメラを表し、前記仮想カメラのレンズに入射し、前記レンズから再び射出する光ビームが前記仮想カメラの画像捕捉ユニット上にどのようにどこに結像されるかを数学的形態で説明するフーリエ展開式が前記第二のデータレコードとして使用されるステップと
    のうちの少なくとも1つを含む、請求項1~12のいずれか1項に記載の方法。
  14. 前記第一のデータ処理装置(3)から前記第二のデータ処理装置(4)にロードされる前記第一のデータレコードは、前記物体(O)に関する前記データの識別データ及び/又はユーザ識別データを有する、請求項1~13のいずれか1項に記載の方法。
  15. 以下の方法ステップ:
    -前記識別データ及び/又は前記ユーザ識別データ基づいて、前記第一のデータ処理装置(3)及び/又は前記第二のデータ処理装置(4)を使って、前記第一のデータ処理装置(3)及び/又は前記第二のデータ処理装置(4)で前記第二のデータレコードを使用するための使用許可があるか否かをチェックし、前記使用許可がある場合のみ前記処理データレコードを生成するステップ
    が実行される、請求項14に記載の方法。
  16. 以下の方法ステップ:
    (i)前記識別データ及び/又は前記ユーザ識別データは再び前記第一のデータ処理装置(3)から前記第二のデータ処理装置(4)にロードされるステップと、
    (ii)前記識別データ及び/又は前記ユーザ識別データ基づいて、前記第二のデータ処理装置(4)を使って、前記第一のデータ処理装置(3)及び/又は前記第二のデータ処理装置(4)で前記第二のデータレコードを使用するための使用許可があるか否かをチェックし、前記使用許可がある場合のみ前記処理データレコードを生成するステップと
    が実行される、請求項14に記載の方法。
  17. -前記第二のデータレコードの前記第二のデータは、前記第一のイメージングシステム(6)の前記第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)に依存して前記物体(O)の前記出力画像に結像エラーを組み込むために前記物体(O)の前記形成された出力画像を修正するための修正データを含み、
    -形成又は検出された後に、前記処理データレコードは前記修正データに基づく処理データを有し、
    -以下の方法ステップ:前記物体(O)の前記出力画像を、前記物体(O)の前記出力画像の前記事前に決定可能な数の出力画像ピクセルのうちの少なくとも1つの出力画像ピクセルを前記第一のデータ処理装置(3)及び/又は前記第二のデータ処理装置(4)で、前記処理データを使って修正し、前記物体(O)の前記出力画像の前記出力画像ピクセルのピクセル値が前記処理データで修正されるステップを含む、
    請求項1~16のいずれか1項に記載の方法。
  18. 物体(O)の画像を形成する方法であって、以下の方法ステップ:
    -第一のデータ処理装置(3)により前記物体(O)に関するデータを提供するステップと、
    -前記第一のデータ処理装置(3)によって少なくとも第一のデータレコードを提供するステップであって、前記第一のデータレコードは第一のデータを有し、これは以下:(i)少なくとも、それによって前記物体(O)に関する前記データが生成された第一のイメージングシステム(6)の第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)、及び/又は(ii)少なくとも、その特性によって前記物体(O)の画像が前記物体(O)に関する前記データに基づいて表示ユニット(2)で表現されることになる第二のイメージングシステム(7)の第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)、を含むステップと、
    -前記第一のデータレコードを前記第一のデータ処理装置(3)から前記第二のデータ処理装置(4)にロードするステップと、
    -前記第二のデータ処理装置(4)にロードされた前記第一のデータに依存してライセンスデータレコードを生成するステップと、
    -前記ライセンスデータレコードを前記第二のデータ処理装置(4)から前記第一のデータ処理装置(3)にロードするステップと、
    -第二のデータレコードをデータメモリ(5)から前記第一のデータ処理装置(3)に、前記第二のデータ処理装置(4)にロードされた前記第一のデータレコードに依存してロードするステップであって、前記第二のデータレコードは第二のデータを有し、これは以下:(i)前記第一のイメージングシステム(6)の前記第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)に依存して結像エラーを修正するための修正データ、及び/又は(ii)前記第二のイメージングシステム(7)の前記第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)に依存して前記物体(O)に関する前記データを修正するための修正データ、を含むステップと、
    -前記ライセンスデータレコードを使用することにより前記第二のデータレコードを復号化するステップと、
    -前記第一のデータ処理装置(3)で処理データレコードを前記第二のデータレコードに基づいて生成するか、前記第二のデータレコードが前記処理データレコードとして使用されていることを検出するステップと、
    -前記物体(O)の2次元出力画像を、前記処理データレコードを使用して前記物体(O)に関する前記データを処理することによって形成するステップであって、前記出力画像は事前に決定可能な数の出力画像ピクセルを有するステップと
    を有する方法。
  19. 画像形成システム(1)のプロセッサ(8、9)にロードすることができ、前記プロセッサ(8、9)にロードされると、その実行中に前記画像形成システム(1)を、請求項1~18のいずれか1項に記載の方法が実行されるような方法で制御するプログラムコードを有するコンピュータプログラム製品。
  20. 物体(O)の画像を形成する画像形成システム(1)であって、
    -表示ユニット(2)と、
    -第一のイメージングシステム(6)と、
    -第二のイメージングシステム(7)と、
    -前記物体(O)に関するデータを提供するため、及び第一のデータレコードを提供するための第一のデータ処理装置(3)であって、前記第一のデータレコードは第一のデータを有し、これは以下:(i)少なくとも、それによって前記物体(O)に関する前記データが生成された第一のイメージングシステム(6)の第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)、及び/又は(ii)少なくとも、その特性によって前記物体(O)の画像が前記物体(O)に関する前記データに基づいて表示ユニット(2)で表現されることになる第二のイメージングシステム(7)の第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)、を含む第一のデータ処理装置(3)と、
    -データ交換のために前記第一のデータ処理装置(3)に接続される第二のデータ処理装置(4)と、
    -データメモリ(5)であって、その中に第二のデータレコードが保存され、前記第二のデータレコードは第二のデータを有し、これは以下:(i)前記第一のイメージングシステム(6)の前記第一のイメージングパラメータ(12A、13A、14A、15A、16A、17A、18A、19A)に依存して結像エラーを修正するための修正データ、及び/又は(ii)前記第二のイメージングシステム(7)の前記第二のイメージングパラメータ(12B、13B、14B、15B、16B、17B、18B、19B)に依存して前記物体(O)に関する前記データを修正するための修正データ、を含むデータメモリ(5)と、
    -請求項19に記載のコンピュータプログラム製品がロードされる少なくとも1つのプロセッサ(8、9)と、
    を有する画像形成システム(1)。
  21. (i)前記第一のイメージングシステム(6)は第一の光イメージングシステムとして形成され、及び/又は
    (ii)前記第二のイメージングシステム(7)は第二の光イメージングシステムとして形成される、
    請求項20に記載の画像形成システム(1)。
  22. 前記第一のイメージングシステム(6)は以下の特徴:
    (i)第一のカメラ(1000)、
    (ii)第一のレンズ(1002)、
    (iii)第一の絞りユニット(1016)、
    (iv)第一の合焦ユニット(1004、1005)、
    (v)第一の焦点距離設定ユニット(1004、1005)
    のうちの少なくとも1つを有する、請求項20又は21に記載の画像形成システム(1)。
  23. 前記第二のイメージングシステム(7)は以下の特徴:
    (i)第二のカメラ(1000)、
    (ii)第二のレンズ(1002)、
    (iii)第二の絞りユニット(1016)、
    (iv)第二の合焦ユニット(1004、1005)、
    (v)第二の焦点距離設定ユニット(1004、1005)
    のうちの少なくとも1つを有する、請求項20~22のいずれか1項に記載の画像形成システム(1)。
  24. 以下の特徴:
    (i)前記第二のイメージングシステム(7)は、前記物体(O)の画像を、前記物体(O)に関する前記データに基づく数学的計算により、前記第二のイメージングパラメータにより選択された特性を有するカメラが前記物体(O)の画像を実際に形成したかのような方法で形成するための仮想カメラである、
    (ii)前記第二のデータレコードは、前記仮想カメラを表し、前記仮想カメラのレンズに入射し、前記レンズから再び射出する光ビームが前記仮想カメラの画像捕捉ユニット上にどのようにどこに結像されるかを数学的形態で説明する数学的マッピングルールとして形成される、
    (iii)前記第二のデータレコードは、前記仮想カメラを表し、前記仮想カメラのレンズに入射し、前記レンズから再び射出する光ビームが前記仮想カメラの画像捕捉ユニット上にどのようにどこに結像されるかを数学的形態で説明する多項式として形成される、
    (iv)前記第二のデータレコードは、前記仮想カメラを表し、前記仮想カメラのレンズに入射し、前記レンズから再び射出する光ビームが前記仮想カメラの画像捕捉ユニット上にどのようにどこに結像されるかを数学的形態で説明するフーリエ展開式として形成される
    のうちの少なくとも1つを有する、請求項20に記載の画像形成システム(1)。
JP2022053192A 2021-04-01 2022-03-29 物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム Active JP7364726B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21166594.8A EP4068198B1 (de) 2021-04-01 2021-04-01 Verfahren zur erzeugung eines bilds eines objekts, computerprogrammprodukt und bilderzeugungssystem zur durchführung des verfahrens
EP21166594.8 2021-04-01

Publications (2)

Publication Number Publication Date
JP2022159118A true JP2022159118A (ja) 2022-10-17
JP7364726B2 JP7364726B2 (ja) 2023-10-18

Family

ID=75362433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022053192A Active JP7364726B2 (ja) 2021-04-01 2022-03-29 物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム

Country Status (9)

Country Link
US (1) US20220398803A1 (ja)
EP (1) EP4068198B1 (ja)
JP (1) JP7364726B2 (ja)
KR (1) KR20220136935A (ja)
CN (1) CN115209044A (ja)
AU (1) AU2022202187B2 (ja)
CA (1) CA3154316A1 (ja)
NZ (1) NZ786795A (ja)
PL (1) PL4068198T3 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045815A (ja) * 2014-08-26 2016-04-04 泰章 岩井 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
WO2020021121A1 (de) * 2018-07-27 2020-01-30 Carl Zeiss Ag Verfahren und datenverarbeitungssystem zur synthese von bildern

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10238596A1 (de) * 2002-08-22 2004-03-04 Siemens Ag Verteiltes System und Verfahren zur Darstellung und Bearbeitung medizinisch relevanter Datenobjekte
JP4769661B2 (ja) * 2006-08-11 2011-09-07 株式会社リコー 画像処理装置
CN110675348B (zh) * 2019-09-30 2022-06-21 杭州栖金科技有限公司 增强现实图像显示方法、装置及图像处理设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016045815A (ja) * 2014-08-26 2016-04-04 泰章 岩井 仮想現実提示システム、仮想現実提示装置、仮想現実提示方法
WO2020021121A1 (de) * 2018-07-27 2020-01-30 Carl Zeiss Ag Verfahren und datenverarbeitungssystem zur synthese von bildern

Also Published As

Publication number Publication date
PL4068198T3 (pl) 2024-05-27
CN115209044A (zh) 2022-10-18
CA3154316A1 (en) 2022-10-01
KR20220136935A (ko) 2022-10-11
EP4068198B1 (de) 2023-12-27
JP7364726B2 (ja) 2023-10-18
EP4068198A1 (de) 2022-10-05
EP4068198C0 (de) 2023-12-27
AU2022202187A1 (en) 2022-10-20
US20220398803A1 (en) 2022-12-15
NZ786795A (en) 2024-02-23
AU2022202187B2 (en) 2023-03-16

Similar Documents

Publication Publication Date Title
CN110336987B (zh) 一种投影仪畸变校正方法、装置和投影仪
US11455746B2 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
US11798141B2 (en) Method and apparatus for calibrating augmented reality headsets
CN106815869B (zh) 鱼眼相机的光心确定方法及装置
CN110648274B (zh) 鱼眼图像的生成方法及装置
CN107534731B (zh) 图像处理装置和图像处理方法
US10255664B2 (en) Image processing device and method
Michels et al. Simulation of plenoptic cameras
Hach et al. Cinematic bokeh rendering for real scenes
JP2016208438A (ja) 画像処理装置及び画像処理方法
JP7364726B2 (ja) 物体の画像を形成する方法、コンピュータプログラム製品、及びその方法を実行するための画像形成システム
Lian et al. Image systems simulation for 360 camera rigs
JPWO2016175045A1 (ja) 画像処理装置及び画像処理方法
JP6684454B2 (ja) 画像処理装置及び画像処理方法
JP6755737B2 (ja) 距離測定装置、撮像装置、および距離測定方法
CN111866493A (zh) 基于头戴显示设备的图像校正方法、装置及设备
JP6300358B2 (ja) 表示画像生成装置及びそのプログラム
CA3148635A1 (en) Method for simulating an optical image representation
CN117456124A (zh) 一种基于背靠背双目鱼眼相机的稠密slam的方法
CN117916764A (zh) 用于对变形镜头捕获的图像进行建模的装置、方法和计算机程序
CN116309854A (zh) 标定增强现实设备的方法、装置、设备、系统及存储介质
CN116309125A (zh) 一种图像畸变矫正方法、装置及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220329

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231005

R150 Certificate of patent or registration of utility model

Ref document number: 7364726

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150