JP2018537884A - モバイル機器によって画像を撮影する方法 - Google Patents

モバイル機器によって画像を撮影する方法 Download PDF

Info

Publication number
JP2018537884A
JP2018537884A JP2018517708A JP2018517708A JP2018537884A JP 2018537884 A JP2018537884 A JP 2018537884A JP 2018517708 A JP2018517708 A JP 2018517708A JP 2018517708 A JP2018517708 A JP 2018517708A JP 2018537884 A JP2018537884 A JP 2018537884A
Authority
JP
Japan
Prior art keywords
projection
image
mobile device
image information
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018517708A
Other languages
English (en)
Inventor
シュペヒト,ヘンドリク
フィッシャー,フランク
ムルゼク,ゲオルク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of JP2018537884A publication Critical patent/JP2018537884A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • G03B15/03Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05Combinations of cameras with electronic flash apparatus; Electronic flash units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0272Details of the structure or mounting of specific components for a projector or beamer module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Studio Devices (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本発明は、モバイル機器によって画像を撮影する方法であって、モバイル機器がカメラ装置を含み、カメラ装置に検出範囲が割り当てられている方法に関する。モバイル機器は投影装置を含み、投影装置には投影範囲が割り当てられており、検出範囲と投影範囲とを少なくとも部分的に重ね、第1方法ステップでは画像情報を検出範囲に投影し、第1方法ステップに続く第2方法ステップではカメラ装置の撮影手段を露光し、第3方法ステップでは撮影手段の露光によって生成された画像をモバイル機器に保存する。

Description

本発明は、請求項1の前提部分に記載のモバイル機器によって画像を撮影する方法に関する。
このような方法は一般に既知である。カメラ画像を撮影するためには一般にモバイル機器が使用される。このようなモバイル機器は、例えばデジタルカメラ(独立型機器)またはモバイルコンピュータ機器(スマートフォン、タブレットコンピュータ、ラップトップなど)であり、このようなモバイルコンピュータ機器にデジタルカメラが組み込まれている(組み込まれた構成要素)。
これに対して、例えばミーティングルームまたは映画館などの定置の用途ではデジタルプロジェクタが考慮される。小型化されたデジタルプロジェクタは独立型機器として使用されることもあり、携帯して使用するためにスマートフォンに組み込まれることもある。
一般にデジタルカメラおよび画像処理ソフトウェアは、撮影後に撮影画像を変更するためにデジタル式の光効果フィルタのためのアルゴリズムを含んでいる。
ストライプパターン式プロジェクタ(いわゆる「パターン照射」)は、表面形状を3次元検出するための測定方法において使用することができる。
既知の方法および装置では、撮影された画像を後から(すなわち撮影後に)しか処理することができず、これにより写真術的な構成の可能性が制限されていることが欠点である。
したがって、本発明の基礎をなす課題は、写真術的な構成の可能性を拡大し、モバイル機器の機能範囲を広げることである。
独立請求項に記載の本発明によるモバイル機器およびモバイル機器によって画像を撮影するための本発明による方法は、従来技術に対して、画像の撮影前および/または撮影時に、検出範囲に投影された画像情報によって物体(もしくは写真場面)が補足されるという利点を有する。好ましくは、画像情報が物体に重ねられ、画像情報が物体と共に撮影された画像に現れる。特に、(画像撮影前および/または撮影時に)物体(もしくは写真場面)に投影される画像情報は、装飾的な画像要素および/または撮影時に撮影者を支援する画像要素および/または測定技術的な画像要素および/または撮影された物体の空間的物質的性質を再構成するための画像要素を含む。
本発明によれば、好ましくは、移動機器(特にスマートフォン)は、走査式レーザプロジェクタとして形成された投影装置を含む。したがって、本発明によれば、好ましくは比較的大きい焦点深度を得ることが可能である。本発明によれば、投影装置およびカメラ装置は、投影装置の投影範囲(ここでは「プロジェクタの画像領域」または「投影画像領域」とも呼ぶ)とカメラ装置の検出範囲(ここでは「カメラの画像領域」または「カメラ画像領域」とも呼ぶ)とが重なるようにモバイル機器に組み込まれている。好ましくは、投影範囲はカメラ装置の検出範囲に(部分的または完全に)含まれ、投影範囲は検出範囲を特に完全に満たす。好ましくは、検出範囲と投影範囲とは合同であり、カメラ装置は、投影装置によってカメラ装置の検出範囲に位置決めされた物体上に(例えば投影スクリーンに)生成された画像を光学的に検出することができる。特に、カメラ装置と投影装置とは光学ユニットを形成し、投影機能およびカメラ機能がこの光学ユニットによって提供される。本発明によれば、好ましくはカメラ装置、および、特に付加的にモバイル機器のカメラフラッシュ機器(好ましくは発光ダイオード「LED」を備えるフラッシュ機器)は投影装置と同期され、物体(もしくは写真場面)に画像情報(投影画像)が光学的に重ねられる。これにより、画像後処理の範囲内で純粋に電子式もしくはデジタル式に重ねられる場合とは異なり、本発明によれば、好ましくは画像情報が光学的に重ねられた物体(もしくは写真場面)を、機器ディスプレイに表示することに対して代替的または付加的に、現実の場面で直接に見ることができ、体験できるようにすることが可能である。
本発明の好ましい構成および実施形態が、従属請求項ならびに図面を参照した説明に記載されている。
好ましい実施形態によれば、第1方法ステップで投影範囲に投影される画像情報は、検出範囲の制限を表示するための制限情報を含み、第2方法ステップでは、検出範囲への制限情報の投影が停止される。これにより、好ましくは、特に撮影したい画像を表示するためのディスプレイが見えないか、または使用できない場合に、方位マークを使用することによってモバイル機器のユーザが画像を容易に撮影することが可能である。
好ましい実施形態によれば、第2方法ステップにおける撮影手段の露光時に他の画像情報が検出範囲に投影される。これにより、好ましくは、既に撮影時に(特に画像情報が重ねられる物体もしくは写真場面を含む)検出範囲に画像情報を光学的に重ねることが可能である。好ましくは、他の画像情報は実質的に上記画像情報と同一であるか、または画像情報に対して物体に(動的に)適合された他の画像情報である。
好ましい実施形態によれば、カメラ装置と投影装置とが同期され、特にカメラ装置と投影装置とは、第2方法ステップにおける撮影手段の露光が、投影装置によって投影される画像情報の所定の行の開始時に開始されるように同期され、第2ステップにおける撮影手段の露光の継続時に整数個の投影画像が撮影手段によって検出されるように同期される。これにより、好ましくは、投影プロセスと画像撮影とを同期することにより、投影装置の所定の行の開始時にカメラが撮影を開始することが可能である。好ましくは、所定の行の開始は、画像情報の画像の最初(すなわち最初の画像点)である。好ましくは、同期によって露光継続時間(もしくはカメラ装置の撮影継続時間)は投影装置のフレームレートに合わせて調整され、カメラ装置の撮影時間(もしくは露光継続時間)内に整数個の投影画像が投影範囲に投影される。
好ましい実施形態によれば、プロジェクションマッピングが実施され、投影された上記画像情報および/または投影された他の画像情報は、投影範囲に位置決めされた物体の外形に合わせて調整される。これにより、好ましくは、映像投影方法であるいわゆる「プロジェクションマッピング」を使用することによって、投影された画像が物体(もしくは写真場面)の外形に合わせて調整され、これにより投影範囲の異なる部分(例えば前方部分および後方部分)をそれぞれ異なる(特にそれぞれの部分に適合された)モチーフによって照明することができる。
好ましい実施形態によれば、物体の外形はモバイル機器によって検出され、投影装置は、特に投影された画像情報および/または他の画像情報が相互作用して物体に適合されるように構成されている。このように、好ましくは投影装置により相互作用機能を提供することが可能であり、相互作用機能を提供するためには、特に投影装置の赤外線(IR)源が使用され、投影装置は人の眼に見える波長範囲の投影機能の他に、付加的に赤外線範囲のカメラ機能を備える。特に投影装置は、投影の遠近法が、相互作用する投影装置のカメラ機能の遠近法と実質的に正確に一致するように構成されている。
好ましい実施形態によれば、第2方法ステップでは、メイン露光時間間隔およびメイン露光時間間隔に続く後露光時間間隔にわたってカメラ装置の撮影手段が露光され、後露光時間間隔にわたって周辺光、カメラフラッシュ、および/または投影装置によって検出範囲が照明され、投影装置による照明時には検出範囲が特に選択的に照明される。これにより、好ましくは、投影装置によってフラッシュライト状の機能が提供され、(特にカメラフラッシュを代替する)可視画像(例えば白色画像)が生成され、および/または照明が選択的に行われる(すなわち、物体の比較的暗い範囲、もしくは比較的暗く画像に現れるか、もしくは強度閾値未満の強度値の範囲のみが照明される)。これにより、好ましくは、画像のコントラストを選択的に改善し、および/またはカメラ装置の露光継続時間もしくは遮蔽調節を強度値に依存せずに比較的暗い範囲において調節することが可能である。特に投影装置は、モバイル機器の唯一の光源であるか、または提供されている周辺光または提供されているカメラフラッシュ(例えばLEDフラッシュ)に対して補足的な光源である。
本発明の他の対象は、画像を撮影するためのモバイル機器であり、モバイル機器はカメラ装置を含み、カメラ装置には検出範囲が割り当てられており、モバイル機器は投影装置を含み、投影装置には投影範囲が割り当てられており、検出範囲と投影範囲とは少なくとも部分的に重なり、モバイル機器は、画像情報が検出範囲に投影され、続いてカメラ装置の撮影手段が露光されるように構成されており、モバイル機器は、撮影手段の露光によって生成された画像を保存するように構成されている。
好ましい実施形態によれば、モバイル機器はカメラ装置と投影装置とを同期するための同期手段を備え、特に同期手段は、第2方法ステップにおける撮影手段の露光が、投影装置によって投影される画像情報の所定の行の開始時に開始されるように構成されており、特に同期手段は、第2方法ステップにおける撮影手段の露光の継続時間に、整数個の投影画像が撮影手段によって検出されるように構成されている。これにより好ましくは、撮影された画像は、画像情報が光学的に重ねられた物体を実質的に完全に、人為的影響なしに再現することが可能である。
好ましい実施形態によれば、投影装置は走査式の3Dレーザプロジェクタであり、走査式の3Dレーザプロジェクタは、投影範囲に位置決めされた物体を検出するように構成されており、3Dレーザプロジェクタは、特に投影された画像情報および/または他の画像情報が相互作用して物体に適合されるように構成されている。これにより、好ましくは、物体の3次元形状を再構成することにより、物体に適合された他の画像情報を物体に投影することが可能である。好ましくは、物体の検出に依存して、物体の3Dモデルが生成され、特にモバイル機器に保存される。例えば、3Dモデルが保存され、3Dプリンタにより物体のコピーが形成されるか、または物体のコピーは視覚的な3D環境(3Dコンピュータゲーム)に組み込まれる。3Dモデルは、この使用場面では最初は投影画像に反作用を及ぼさない。本発明の好ましい代替的な実施形態によれば、投影画像は3Dモデルに依存して(3D)物体に適合され、好ましくは(3D)物体を検出するためのストライプ画像が赤外線光によって生成され、(3D)物体に投影され、プロジェクタによって生成された画像情報(すなわち、同時にストライプ画像によって投影された可視画像)が物体に適合される。
本発明の例示的な実施形態によるモバイル機器を示す概略図である。 本発明の例示的な実施形態により画像を撮影する方法を示す概略図である。 本発明の例示的な実施形態により画像を撮影する方法を示す概略図である。 本発明の例示的な実施形態により画像を撮影する方法を示す概略図である。 本発明の例示的な実施形態により画像を撮影する方法を示す概略図である。 本発明の例示的な実施形態により画像を撮影する方法を示す概略図である。 本発明の例示的な実施形態により画像を撮影する方法を示す概略図である。 本発明の例示的な実施形態により画像を撮影する方法を示す概略図である。
同じ部分には常に同じ符号を付し、したがって原則的にそれぞれ一度だけ言及する。
図1は、本発明の例示的な実施形態によるモバイル機器1を概略図で示す。画像を撮影するためのモバイル機器1は、カメラ装置10、投影装置20、および制御装置30を含み、制御装置30は特に中央処理ユニット(CPU)を含む。特にモバイル機器1はこの実施形態では付加的にフラッシュ装置40を含む。カメラ装置10には検出範囲10′が割り当てられており、物体2が検出範囲10′に位置決めされている場合には、物体の画像を撮影するためのカメラ装置10によって物体2を検出することができる。さらに、投影装置20には投影範囲20′が割り当てられており、(例えば図2に示すように)検出範囲と投影範囲とは少なくとも部分的に重なっている。
本発明によれば、好ましくは、カメラ装置10と投影装置20とは互いに同期的に作動され、画像の撮影は、可変の画像内容の時間的順序に依存して行われ、カメラ装置10および撮影装置20は共通の制御装置30に接続されている。図1には、カメラ装置10と、共通の制御装置30との間の構成経路が符号100によって示されており、投影装置20と、共通の制御装置30との間の別の構成経路が符号100′によって示されている。共通の制御装置30は、特に画像ソースおよび画像表示器を含む。共通の制御装置30は、特に、(この実施形態では符号102を付したデータ伝送路によって示すように)画像情報(ここでは「画像内容」とも呼ぶ)が投影装置20のために生成されるように構成されている。好ましくは、画像情報は、画像の本来の撮影前に連続的に検出されたカメラ画像に依存して(ここではデータ経路101によって示される)、さらにモバイル機器の最新の作動状態に依存して(例えば起動された作動装置に依存して)生成される。本発明によれば、好ましくは、続いて(すなわち第2方法ステップで)カメラ装置10の露光開始および露光終了が投影装置20の画像構成と同期され、これにより、物体2(図2を参照)に重ねられた投影画像(画像情報)はカメラ装置10によって実質的に完全に、人為的影響なしに検出される。本発明によれば、投影装置20の画像同期信号(VSync)がカメラ装置のためのトリガ装置として利用される(図1の符号103を参照)。特に、投影装置20が第1画像行の投影を開始した場合に、画像同期信号が投影装置20からカメラ装置10へ送信される。図1にはトリガ信号が符号104によって示されている。
図2〜図8は、本発明の例示的な実施形態により画像を撮影する複数の方法を概略図で示す。
図2は、カメラ装置の検出範囲10′に位置決めされた物体2(この図では人)を、投影装置20の投影範囲20′に投影された画像情報(この図では光効果)と共に示す。ここでは画像の撮影時に物体2に画像情報が光学的に重ねられる(すなわち、ここでは画像の撮影時に物体2に投影画像が投影される)。本発明によれば、好ましくは、投影された画像情報(すなわち、重ねられた写真場面の内容)が動的に適合され、カメラ画像および/または別のフィードバック経路(例えば投影装置の相互作用データおよび/または慣性センサの測定データおよび/または距離センサの測定データ)がモバイル機器1によって連続的に評価され、投影された内容の大きさ、位置および/または予歪が更新される(いわゆる「プロジェクションマッピング」)。図3a〜図3cは、写真場面もしくはカメラ画像に結像された物体2(上側)および投影装置の画像情報(投影画像)(下側)を示す。図3aは、投影された内容なしの(画像情報なしの)元の写真場面を示す。図3bは、投影された内容(この図では人の顔の装飾要素)と共に写真場面を示し、画像情報は自動的に外形(この場合には人の顔比率)に適合される。図3cは、可変の写真場面を示し、投影内容は物体2に自動的に追従する(すなわち動的に適合される)。
図4は、物体2の画像が撮影されるところを示し、方位マーク(例えば画像フレーム状の投影の形式で制限情報および/または位置マーク21′)が画像情報として画像撮影前に(のみ)検出範囲10′に投影される(特に画像の撮影時には画像情報の投影は、少なくとも検出範囲においては停止もしくは中止される)。例えば、焦点21′の位置は画像情報によってマークされる。これにより、本発明によれば、好ましくは、モバイル機器1を操作するユーザにモバイル機器1のディスプレイが見えない位置から画像部分を正確に選択することも可能である。さらに好ましくは、基準マークが検出範囲10′に投影され、例えば住居見学後または家具販売店の訪問後に可能であるように、撮影された画像を後から測定技術的に評価することも可能となる。
図5は、比較的短い距離をおいて特定のパターン(ここではストライプ)によって照明される物体2を示す。本発明によれば、好ましくは、投影装置20は3次元走査式のレーザプロジェクタとして形成されており、モバイル機器1は、(物体2の空間的物質的性質によって引き起こされる)空間的な歪みから物体の空間的形状を再構成するように構成されている。本発明によれば、好ましくは、このような目的でカメラ装置10と投影装置20とは空間的に互いに離間されている。カメラ装置10は、ストライプによって照明された物体2を検出する撮影手段11を含み、これによりカメラ画像が生成される(符号201により示す)。再構成アルゴリズム(符号202を参照)は、カメラ画像から3Dモデル(符号203により示す)を生成し、生成された3Dモデルに応じて、画像情報を投影範囲20′に投影する投影装置20に投影画像(参照符号204を参照)に関する画像情報を伝送する。
図6は、本発明によるモバイル機器1によって画像を撮影する方法を本発明の例示的な実施形態にしたがって概略図で示す。第1方法ステップでは、画像情報がカメラ装置の検出範囲10′に投影される(画像情報は、図2に示すように例えば装飾要素を含む)。第1方法ステップに続く第2方法ステップでは、カメラ装置10の撮影手段11が(例えば図1に示すように)露光され、第3方法ステップでは、撮影手段11の露光により生成された画像がモバイル機器1に保存される。図6は、投影に同期して画像を撮影するためのフロー図を示し、カメラ装置(符号301を参照)の初期状態(すなわち、第2方法ステップにおける露光前)では、撮影装置11の露光は停止されており(例えばカメラカバーは閉じられている)、投影装置20には画像内容が(共通の制御装置30によって)連続的に供給される。新しい投影画像(フレームまたは画像情報とも呼ばれる)の開始(符号302を参照)によって、投影装置20のVSync信号(経路103を介して伝送される)のインパルス(図1を参照)と同時に(符号順序302,302″を参照)、カメラ装置10は第2方法ステップ(符号304を参照)の露光プロセスを開始する。さもなければ、VSync信号のインパルスがカメラ装置10に伝送された場合に、カメラ装置はインパルスを待機する(符号順序302,302′を参照)。符号303は初期フレーム(例えば番号「0」のフレーム)を示し、符号304は露光開始(メイン露光の開始)を示す。他のそれぞれのVSyncインパルス(符号順序305,305″を参照)は、露光開始から露光されたフレームの数を数えるカウンタを増大する。インパルスが供給されていない場合には、次のインパルスが待機される(符号305′を参照)。符号307によって示される方法ステップでは、カウンタが、露光したいフレームの所定の数に到達したかどうかが検査される。到達していない場合には、符号307′によりループをたどって戻る。カウンタが、露光したいフレームの所定の数に到達した場合には(符号307″を参照)、符号308によって示す方法ステップで、後露光が必要かどうかを検査する。後露光が必要ではない場合には、露光プロセスは終了される(符号順序308′,310を参照)。さもなければ、符号308″により示すように、露光プロセス310の終了前に後露光309が実施される。例えば、カメラ画像に投影された要素が既に所定の輝度を有している場合には後露光が実施されるが、しかしながら、物体自体は投影された要素の外部の範囲では比較的暗くみえる(例えば、より低い強度値を有する)。好ましくは、後露光はメイン露光に続いて行われる。露光終了後には、方法ステップ310で露光補正が実施される。方法ステップ311では、マッピングアルゴリズムへの画像引渡しが行われる(符号312を参照)。方法ステップ313では、トリガ装置が起動されたかどうかを検査する。起動されていない場合(符号313′を参照)には、投影と同期的な画像撮影の最初に戻る(符号302を参照)。トリガ装置が起動された場合(符号313″を参照)には、画像が保存される(符号314を参照)。
図7a〜図7dは、本発明の異なる実施形態による後露光プロセスを示す。図7aでは、投影装置が黒に設定され(符号401を参照)、後露光時間間隔が経過するまで(符号順序402,402″を参照)周辺光によって露光が継続され(符号402′を参照)、続いてプロジェクタは画像ソースに切り換えられる(符号403を参照)。あるいは図7bに示すように、後露光時間間隔が経過するまで(符号順序502,502″を参照)カメラフラッシュが使用され(符号順序501,502′を参照)、この場合、カメラフラッシュの光量は、メイン露光時に投影装置によって放出される光量よりも少ない。図7cには、カメラフラッシュ状の機能が投影装置20によって提供されることが示されている。第1後露光ステップ601では、投影装置が白色画像に切り換えられ、第2後露光ステップでは、後露光時間が経過するまで(符号602,602′を参照)白色画像が投影範囲20′に投影され、投影装置は、(後露光時間間隔が経過した場合602″)に、第3後露光ステップ603で画像ソースに切り換えられる。図7dには、選択的な物体2の照明が示されており、投影装置20は後露光時間間隔(符号701,702,702′を参照)において、後露光時間間隔が経過するまで(符号702″参照)「白色パターン」に切り換えられ、続いて「画像ソース」に切り換えられる(703)。
図8は、図6に符号311により示した方法ステップによる露光補正を示し、露光補正により露光プロセスが調整され、カメラ装置10は実質的に最適な作用点に保持される。これは、特に第1露光補正ステップ801で検出されたカメラ画像の輝度が第2露光補正ステップ802,803で輝度目標値と比較されることにより達成される。メイン露光および/または後露光の露光継続時間および/または露光量の比較に依存して、メイン露光および/または後露光時の遮蔽値および/またはメイン露光および/または後露光時の光感受性(カメラゲイン)が決定される。第1露光補正ステップ801で検出された輝度値が輝度目標値よりも大きい場合(符号802″を参照)には、後露光継続時間および/または後露光時の露光量が低減され、および/またはフレームの所定数が低減され、および/または遮蔽値が増大され、および/またはカメラゲインが低減される(符号804を参照)。第1露光補正ステップ801で検出された輝度値が輝度目標値よりも小さい場合(符号802′,803,803″参照)には、後露光時の後露光継続時間および/または露光量が増大され、および/またはフレームの所定数が増大され、および/または遮蔽値が低減され、および/またはカメラゲインが増大される(符号805を参照)。輝度値が実質的に輝度目標値に相当する場合には、パラメータの変更が回避される(符号803′参照)。

Claims (10)

  1. モバイル機器(1)によって画像を撮影する方法であって、
    モバイル機器(1)がカメラ装置(10)を含み、該カメラ装置(10)に検出範囲(10′)が割り当てられており、前記モバイル機器(1)が投影装置(20)を含み、該投影装置(20)に投影範囲(20′)が割り当てられている方法において、
    前記検出範囲(10′)と前記投影範囲(20′)とを少なくとも部分的に重ね、第1方法ステップで、画像情報を前記検出範囲(10′)に投影し、第1方法ステップに続く第2方法ステップで、前記カメラ装置(10)の撮影手段(11)を露光し、第3方法ステップで、前記撮影手段(11)の露光によって生成された画像を前記モバイル機器(1)に保存することを特徴とする方法。
  2. 請求項1に記載の方法において、
    前記第1方法ステップで前記投影範囲(20′)に投影される画像情報が、前記検出範囲(10′)の制限を表示するための制限情報を含み、第2方法ステップで、前記検出範囲(10′)への制限情報の投影を停止する方法。
  3. 請求項1または2に記載の方法において、
    前記第2方法ステップにおける前記撮影手段(11)の露光時に、他の画像情報を検出範囲(10′)に投影する方法。
  4. 請求項1から3までのいずれか一項に記載の方法において、
    前記カメラ装置(10)と前記投影装置(20)とを同期し、特に、前記投影装置(20)によって投影される画像情報の所定の行の開始時に前記第2ステップにおける前記撮影手段(11)の露光が開始されるように前記カメラ装置(10)と前記投影装置(20)とを同期し、特に、前記第2方法ステップにおける前記撮影手段(11)の露光の継続時間に、整数個の投影画像が前記撮影手段(11)によって検出されるように前記カメラ装置(10)と前記投影装置(20)とを同期する方法。
  5. 請求項1から4までのいずれか一項に記載の方法において、
    プロジェクションマッピングを実施し、投影された画像情報および/または投影された他の画像情報を、投影範囲に位置決めされた物体(2)の外形に合わせて調整する方法。
  6. 請求項5に記載の方法において、
    前記モバイル機器(1)によって物体(2)の外形を検出し、特に投影された画像情報および/または他の画像情報が相互作用して前記物体(2)に適合されるように前記投影装置(20)を構成する方法。
  7. 請求項1から6までのいずれか一項に記載の方法において、
    第2方法ステップで、メイン露光時間間隔およびメイン露光時間間隔に続く後露光時間間隔にわたって前記カメラ装置(10)の前記撮影手段(11)を露光し、後露光時間間隔にわたって周辺光、カメラフラッシュ、および/または前記投影装置(20)によって前記検出範囲(10′)を照明し、投影装置による照明時に、特に選択的に前記検出範囲(10′)を照明する方法。
  8. 画像を撮影するためのモバイル機器(1)であって、該モバイル機器(1)がカメラ装置(10)を含み、該カメラ装置(10)に検出範囲(10′)が割り当てられており、前記モバイル機器(1)が投影装置(20)を含み、該投影装置(20)に投影範囲(20′)が割り当てられているモバイル機器(1)において、
    前記検出範囲(10′)と前記投影範囲(20′)とが少なくとも部分的に重なり、前記モバイル機器(1)が、画像情報が前記検出範囲(10′)に投影され、続いて前記カメラ装置(10)の撮影手段(11)が露光されるように構成されており、前記モバイル機器(1)が、前記撮影手段(11)の露光によって生成された画像を保存するように構成されていることを特徴とする画像を撮影するためのモバイル機器(1)。
  9. 請求項8に記載のモバイル機器(1)において、
    前記モバイル機器(1)が、前記カメラ装置(20)と前記投影装置(20)とを同期するための同期手段(30)を備え、特に該同期手段(30)が、前記投影装置(20)によって投影される画像情報の所定の行の開始時に第2方法ステップにおける前記撮影手段(11)の露光が開始されるように構成されており、特に前記同期手段(30)が、前記第2方法ステップにおける前記撮影手段(11)の露光の継続時間に整数個の投影画像が前記撮影手段(11)によって検出されるように構成されているモバイル機器(1)。
  10. 請求項8または9に記載のモバイル機器(1)において、
    前記投影装置(20)が走査式の3Dレーザプロジェクタであり、走査式の3Dレーザプロジェクタ(20)が、前記投影範囲(20′)に位置決めされた物体(2)を検出するように構成されており、特に3Dレーザプロジェクタ(20)が、投影された画像情報および/または他の画像情報が相互作用して物体(2)に適合されるように構成されているモバイル機器(1)。
JP2018517708A 2015-10-08 2016-08-11 モバイル機器によって画像を撮影する方法 Pending JP2018537884A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102015219538.4A DE102015219538A1 (de) 2015-10-08 2015-10-08 Verfahren zur Aufnahme eines Bildes mit einem Mobilgerät
DE102015219538.4 2015-10-08
PCT/EP2016/069144 WO2017059993A1 (de) 2015-10-08 2016-08-11 Verfahren zur aufnahme eines bildes mit einem mobilgerät

Publications (1)

Publication Number Publication Date
JP2018537884A true JP2018537884A (ja) 2018-12-20

Family

ID=56682118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018517708A Pending JP2018537884A (ja) 2015-10-08 2016-08-11 モバイル機器によって画像を撮影する方法

Country Status (5)

Country Link
US (1) US20180292867A1 (ja)
JP (1) JP2018537884A (ja)
CN (1) CN108351576A (ja)
DE (1) DE102015219538A1 (ja)
WO (1) WO2017059993A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11818516B2 (en) 2020-09-10 2023-11-14 Seiko Epson Corporation Information generation method using projection image and taken image, information generation system, and non-transitory computer-readable storage medium storing program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112584054A (zh) * 2019-09-29 2021-03-30 深圳市光鉴科技有限公司 基于图像编码的亮度自适应调节方法、系统、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129120A (ja) * 2006-11-17 2008-06-05 Nikon Corp カメラ
JP2011188024A (ja) * 2010-03-04 2011-09-22 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011188023A (ja) * 2010-03-04 2011-09-22 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2012039204A (ja) * 2010-08-04 2012-02-23 Nikon Corp 電子カメラ
JP2012042583A (ja) * 2010-08-17 2012-03-01 Nikon Corp 電子機器及びカメラ
JP2013124941A (ja) * 2011-12-15 2013-06-24 Samsung Yokohama Research Institute Co Ltd 測距装置、及び測距方法
JP2013179425A (ja) * 2012-02-28 2013-09-09 Nikon Corp 電子機器
JP2015029219A (ja) * 2013-07-30 2015-02-12 株式会社ニコン 電子機器
WO2015049866A1 (ja) * 2013-10-02 2015-04-09 日本電気株式会社 インターフェース装置、モジュール、制御部品、制御方法およびプログラム記憶媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US20100110264A1 (en) * 2008-10-31 2010-05-06 Lucent Technologies, Inc. Image projection system
JP5520517B2 (ja) * 2009-02-25 2014-06-11 京セラ株式会社 携帯電子機器
US8485668B2 (en) * 2010-05-28 2013-07-16 Microsoft Corporation 3D interaction for mobile device
TWI511551B (zh) * 2012-04-12 2015-12-01 Acer Inc 攝影裝置及其影像拍攝方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008129120A (ja) * 2006-11-17 2008-06-05 Nikon Corp カメラ
JP2011188024A (ja) * 2010-03-04 2011-09-22 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2011188023A (ja) * 2010-03-04 2011-09-22 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2012039204A (ja) * 2010-08-04 2012-02-23 Nikon Corp 電子カメラ
JP2012042583A (ja) * 2010-08-17 2012-03-01 Nikon Corp 電子機器及びカメラ
JP2013124941A (ja) * 2011-12-15 2013-06-24 Samsung Yokohama Research Institute Co Ltd 測距装置、及び測距方法
JP2013179425A (ja) * 2012-02-28 2013-09-09 Nikon Corp 電子機器
JP2015029219A (ja) * 2013-07-30 2015-02-12 株式会社ニコン 電子機器
WO2015049866A1 (ja) * 2013-10-02 2015-04-09 日本電気株式会社 インターフェース装置、モジュール、制御部品、制御方法およびプログラム記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11818516B2 (en) 2020-09-10 2023-11-14 Seiko Epson Corporation Information generation method using projection image and taken image, information generation system, and non-transitory computer-readable storage medium storing program

Also Published As

Publication number Publication date
CN108351576A (zh) 2018-07-31
WO2017059993A1 (de) 2017-04-13
US20180292867A1 (en) 2018-10-11
DE102015219538A1 (de) 2017-04-13

Similar Documents

Publication Publication Date Title
JP7354133B2 (ja) 三次元深度検知及び二次元撮像のためのカメラ露出調節
JP5108093B2 (ja) 撮像装置及び撮像方法
US20140267427A1 (en) Projector, method of controlling projector, and program thereof
US20070229850A1 (en) System and method for three-dimensional image capture
JP2016506707A5 (ja)
KR20110058773A (ko) 고도의 정확성으로 결함이 있는 눈을 검출하는 카메라에 기반한 방법
JP5023587B2 (ja) 画像表示装置及び画像表示方法
CN106709954B (zh) 在投影区域遮罩人脸的方法
JP5643153B2 (ja) 光投影装置
CN104658462B (zh) 投影机以及投影机的控制方法
TWI568260B (zh) 同時顯示led光下的影像投射及擷取技術
US20200099906A1 (en) Image projection system, image projection device, and image projection method
JP2013164528A5 (ja)
JP2018537884A (ja) モバイル機器によって画像を撮影する方法
JP2016092779A (ja) 画像投影システム、情報処理装置、情報処理方法、及びプログラム
JP2005229282A5 (ja)
JP2015053675A (ja) 画像投影装置
JP2011040990A (ja) 撮像装置
JP2018056799A5 (ja)
WO2018082220A1 (zh) 全景相机以及深度信息获取方法
JP2015159460A (ja) 投影システム、投影装置、撮影装置、ガイド枠生成方法及びプログラム
JPH05328197A (ja) 撮影装置
JP2011114363A (ja) 撮像装置
JP2015079214A (ja) 投影用スクリーンおよび画像投影システム
JP2002260017A (ja) 3次元形状データ生成方法および装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191219

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200217

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200715