JP2012019311A - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム Download PDF

Info

Publication number
JP2012019311A
JP2012019311A JP2010154477A JP2010154477A JP2012019311A JP 2012019311 A JP2012019311 A JP 2012019311A JP 2010154477 A JP2010154477 A JP 2010154477A JP 2010154477 A JP2010154477 A JP 2010154477A JP 2012019311 A JP2012019311 A JP 2012019311A
Authority
JP
Japan
Prior art keywords
video signal
image
luminance level
exposure time
level range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010154477A
Other languages
English (en)
Other versions
JP5283667B2 (ja
Inventor
Satoyuki Tsuribe
智行 釣部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2010154477A priority Critical patent/JP5283667B2/ja
Priority to PCT/JP2011/000065 priority patent/WO2012004906A1/ja
Priority to EP11803248.1A priority patent/EP2448244A4/en
Priority to CN201180003630.9A priority patent/CN102484679B/zh
Priority to US13/356,798 priority patent/US8502880B2/en
Publication of JP2012019311A publication Critical patent/JP2012019311A/ja
Application granted granted Critical
Publication of JP5283667B2 publication Critical patent/JP5283667B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】 二つの映像信号を加算して、監視用画像として利用することにより、高い画質の監視用画像を得ることのできる画像処理装置を提供する。
【解決手段】 画像処理装置１では、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）から得られた第一の映像信号と第二の映像信号に対して、第一の映像信号と第二の映像信号とのずれ量を最小にするマッチング処理が行われる。一方の撮像素子３（撮像素子Ａ）から得られた第三の映像信号を、マッチング処理の結果として得られる最小のずれ量だけずらして、他方の撮像素子３（撮像素子Ｂ）から得られた第四の映像信号に加算し、加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像が生成される。
【選択図】 図１

Description

本発明は、ステレオマッチングを利用した画像処理装置に関するものである。
従来、ステレオ測距を行って撮影対象物までの距離を測定するステレオ画像処理装置が知られている（例えば、特許文献１参照）。従来のステレオ画像処理装置では、２台のカメラを用いて撮影された２つのカメラ画像を用いて、撮影対象物までの距離の算出が行われる。これらの２つのカメラ画像は、距離測定用の画像であるともいえる。また、従来のステレオ画像処理装置では、２つのカメラ画像（距離測定用の画像）の一方を、監視用画像として用いていた。
特開２００９−１２１８７０号公報
しかしながら、従来の画像処理装置においては、２つのカメラ画像（距離測定用の画像）の一方のカメラ画像しか監視用画像として利用していないため、映像信号のＳ／Ｎ比が低くなるという問題があった。監視用画像のための映像信号にはガンマ補正処理などの非線形処理が施され、低・中輝度の映像信号の振幅が伸張されるが、このとき、映像信号のＳ／Ｎ比が低いと、非線形処理によってノイズが増えてしまい、その結果、監視用画像の画質が劣化してしまうという問題があった。
本発明は、上記従来の問題を解決するためになされたもので、画質のよい監視用画像を得ることのできる画像処理装置を提供することを目的とする。
本発明の画像処理装置は、第一の撮像手段から得られた第一の映像信号と第二の撮像手段から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行うマッチング手段と、前記第一の撮像手段から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像手段から得られた第四の映像信号に加算する加算手段と、前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成する監視用画像生成手段と、を備えた構成を有している。
この構成により、二つの撮像手段から得られる映像信号（第一の映像信号と第二の映像信号）にマッチング処理を施して、二つの撮像手段から得られる映像信号のずれ量が求められる。そして、二つの撮像手段から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用する。加算された映像信号は、一つの映像信号よりＳ／Ｎ比が高いので、画質のよい監視用画像を得ることができる。
また、本発明の画像処理装置は、前記マッチング処理の結果として得られる最小のずれ量から距離測定用の画像を生成する距離画像生成部を備えた構成を有している。
この構成により、画質のよい監視用画像を得るとともに、距離測定用の画像（距離画像）を得ることができる。
また、本発明の画像処理装置は、前記第一の映像信号と前記第二の映像信号が所定の輝度レベルの範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御する制御手段を備え、前記マッチング手段は、前記制御手段により所定の輝度レベルの範囲内となった前記第一の映像信号と前記第二の映像信号に対してマッチング処理を行う構成を有している。
この構成により、映像信号の輝度レベルが所定の輝度レベルの範囲内となるように、露光時間または増幅率が制御される。例えば、低中輝度の映像信号については、露光時間を長く、または、増幅率を上げる制御が行われる。また、高輝度の映像信号については、露光時間を短く、または、増幅率を下げる制御が行われる。これにより、高輝度の被写体を撮影した場合であっても、白潰れによる画質の低下を抑えることができ、二つの映像信号（第一の映像信号と第二の映像信号）を用いたマッチング処理の精度を向上させることができる。このように、高輝度の被写体を撮影した場合であっても、精度の高いマッチング処理の結果（最小のずれ量）に基づいて、二つの映像信号（第三の映像信号と第四の映像信号）を加算することができるので、画質のよい監視用画像を得ることができる。
また、本発明の画像処理装置は、前記第三の映像信号と前記第四の映像信号の露光時間が互いに異なるように、前記第三の映像信号と前記第四の映像信号の露光時間を制御する第二の制御手段を備えた構成を有している。
この構成により、第三の映像信号と第四の映像信号の露光時間を互いに異ならせることができるので、二つの映像信号（第三の映像信号と第四の映像信号）を加算して得られる監視用画像のダイナミックレンジを拡大することができる。例えば、高輝度の被写体を撮影した場合、第三の映像信号と第四の映像信号の露光時間がともに短くなるように制御されるが、さらに、この場合には、第三の映像信号の露光時間が第四の映像信号の露光時間より短くなるように制御される。これにより、高輝度の被写体を撮影した場合であっても、監視用画像（第三の映像信号と第四の映像信号を加算して得られる）に白潰れが発生するのを低減させることができ、高輝度でも階調のある監視用画像を得ることが可能になる。
また、本発明の画像処理装置は、前記第一の映像信号、前記第二の映像信号、前記第三の映像信号、前記第四の映像信号の露光時間または増幅率を制御する第三の制御手段を備え、前記第三の制御手段は、第一の期間に、前記第一の映像信号と前記第二の映像信号が第一の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、第二の期間に、前記第三の映像信号と前記第四の映像信号が第二の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御し、第三の期間に、前記第一の映像信号と前記第二の映像信号が、前記第一の輝度レベル範囲とは異なる第三の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、第四の期間に、前記第三の映像信号と前記第四の映像信号が、前記第二の輝度レベル範囲とは異なる第四の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御する構成を有している。
この構成により、第一の映像信号と第二の映像信号については、第一の期間に、第一の輝度レベル範囲内（例えば、低中輝度レベル）の映像信号が得られ、第三の期間に、第三の輝度レベル範囲内（例えば、高輝度レベル）の映像信号が得られる。一方、第三の映像信号と第四の映像信号については、第二の期間に、第二の輝度レベル範囲内（例えば、低中輝度レベル）の映像信号が得られ、第四の期間に、第四の輝度レベル範囲内（例えば、高輝度レベル）の映像信号が得られる。このようにして、第一の期間から第四の期間にかけて、輝度レベルの異なる映像信号を得ることができる。したがって、広い輝度レベルの範囲（低輝度から高輝度の広い範囲）で、映像信号（第三の映像信号と第四の映像信号）を加算した監視用画像を得ることができ、このようにして、監視用画像のダイナミックレンジを拡大することができる。そのため、例えば、高輝度の被写体を撮影した場合であっても、監視用画像（第三の映像信号と第四の映像信号を加算して得られる）に白潰れが発生するのを低減させることができ、高輝度でも階調のある監視用画像を得ることが可能になる。
本発明の画像処理方法は、第一の撮像手段から得られた第一の映像信号と第二の撮像手段から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行うことと、前記第一の撮像手段から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像手段から得られた第四の映像信号に加算することと、前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成することと、を含んでいる。
この方法によっても、上記と同様に、二つの撮像手段から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用することができるので、画質のよい監視用画像を得ることができる。
また、本発明の画像処理方法は、前記マッチング処理の結果として得られる最小のずれ量から距離測定用の画像を生成することを含んでいる。
この方法によっても、上記と同様に、画質のよい監視用画像を得るとともに、距離測定用の画像（距離画像）を得ることができる。
また、本発明の画像処理方法は、前記第一の映像信号と前記第二の映像信号が所定の輝度レベルの範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御することを含み、前記マッチング処理では、前記制御により所定の輝度レベルの範囲内となった前記第一の映像信号と前記第二の映像信号に対してマッチング処理を行う。
この方法によっても、上記と同様に、高輝度の被写体を撮影した場合であっても、白潰れによる画質の低下を抑えることができ、二つの映像信号（第一の映像信号と第二の映像信号）を用いたマッチング処理の精度を向上させることができる。
また、本発明の画像処理方法は、前記第三の映像信号と前記第四の映像信号の露光時間が互いに異なるように、前記第三の映像信号と前記第四の映像信号の露光時間を制御することを含んでいる。
この方法によっても、上記と同様に、二つの映像信号（第三の映像信号と第四の映像信号）を加算して得られる監視用画像のダイナミックレンジを拡大することができる。
また、本発明の画像処理方法は、前記第一の映像信号、前記第二の映像信号、前記第三の映像信号、前記第四の映像信号の露光時間または増幅率を制御することを含み、第一の期間に、前記第一の映像信号と前記第二の映像信号が第一の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、第二の期間に、前記第三の映像信号と前記第四の映像信号が第二の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御し、第三の期間に、前記第一の映像信号と前記第二の映像信号が、前記第一の輝度レベル範囲とは異なる第三の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、第四の期間に、前記第三の映像信号と前記第四の映像信号が、前記第二の輝度レベル範囲とは異なる第四の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御する。
この方法によっても、上記と同様にして、広い輝度レベルの範囲（低輝度から高輝度の広い範囲）で、映像信号（第三の映像信号と第四の映像信号）を加算した監視用画像を得ることができ、監視用画像のダイナミックレンジを拡大することができる。
本発明のプログラムは、コンピュータに、第一の撮像手段から得られた第一の映像信号と第二の撮像手段から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行う処理と、前記第一の撮像手段から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像手段から得られた第四の映像信号に加算する処理と、前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成する処理と、を実行させる。
このプログラムによっても、上記と同様に、二つの撮像手段から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用することができるので、画質のよい監視用画像を得ることができる。
本発明によれば、二つの撮像手段から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用することにより、高い画質の監視用画像を得ることができる。
本発明の実施の形態における画像処理装置のブロック図 本発明の実施の形態における画像処理装置の動作の説明図 本発明の実施の形態における距離画像の生成と監視用画像の生成の流れを示すフロー図 本発明の実施の形態における低中輝度と高輝度の画像の生成の流れを示すフロー図
以下、本発明の実施の形態の画像処理装置について、図面を用いて説明する。本実施の形態では、例えば、車載式のステレオ画像処理装置等に用いられる画像処理装置の場合を例示する。なお、以下に説明するような、本実施の形態の画像処理装置が有する画像処理の機能は、画像処理装置のメモリやＨＤＤに格納されているプログラムによって実現されてもよい。
本発明の実施の形態の画像処理装置の構成を、図面を参照して説明する。図１に示すように、本実施の形態の画像処理装置１は、光路上にレンズ２が配置された２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）と、各撮像素子３からの映像信号をそれぞれ増幅する２つの増幅回路４（増幅回路Ａと増幅回路Ｂ）を備えている。この場合、レンズ２と撮像素子３により、撮像が行われる。ここでは、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）が、本発明の第一の撮像手段と第二の撮像手段に相当する。
画像処理装置１は、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）から得られた２つの映像信号に対してステレオマッチング処理（単に、マッチング処理ともいう）を行うマッチング回路５を備えている。マッチング回路５では、２つの映像信号の画素毎のずれ量が最小になるようなマッチング処理が行われ、マッチング処理の結果として、画素毎の最小のずれ量が出力される。このマッチング回路５が、本発明のマッチング手段に相当する。
この画像処理装置１は、一方の撮像素子３（撮像素子Ａ）から得られた映像信号を、もう一方の撮像素子３（撮像素子Ｂ）から得られた映像信号に加算する加算回路６と、加算された映像信号に対して、ガンマ補正処理などの非線形処理や輪郭補正処理を施して、監視用画像を生成する非線形処理・輪郭補正回路７を備えている。この加算回路６では、一方の撮像素子３（撮像素子Ａ）から得られた映像信号を、マッチング処理の結果として得られた画素毎の最小のずれ量だけずらして、もう一方の撮像素子３（撮像素子Ｂ）から得られた映像信号に加算する処理が行われる。この加算回路６が、本発明の加算手段に相当し、非線形処理・輪郭補正回路７が、本発明の監視用画像生成手段に相当する。
また、画像処理装置１は、マッチング処理の結果として得られた画素毎の最小のずれ量から距離測定用の画像を生成する距離画像生成回路８を備えている。距離画像生成回路８は、一般的な三角測量の原理に基づいて、２つの映像信号の画素毎の最小のずれ量から、撮影対象物までの距離を測定するための画像（距離画像）を生成する。この距離画像生成回路８は、本発明の距離画像生成手段に相当する。
画像処理装置１は、撮像素子３の露光時間と増幅回路４の増幅率を制御する露光・増幅制御回路９を備えている。この露光・増幅制御回路９は、撮像素子３の駆動回路（図示せず）に制御信号を送ることによって、撮像素子３の露光時間を制御する。また、この露光・増幅制御回路９は、増幅回路４に制御信号を送ることによって、増幅回路４の増幅率を制御する。露光・増幅制御回路９は、増幅回路４からの出力（撮像素子３から得られた映像信号）を監視し、その出力が一定の輝度レベルの範囲内になるように、撮像素子３の露光時間を調整したり、増幅回路４の増幅率を調整する機能を備えている。この露光・増幅制御回路９は、本発明の制御手段、第二の制御手段、第三の制御手段に相当する。
以上のように構成された画像処理装置１について、図面を参照してその動作を説明する。
図２は、本実施の形態の画像処理装置１の動作の説明図である。図２に示すように、本実施の画像処理装置１では、期間Ｔ１（第一の期間）において、２つの撮像素子３から得られる映像信号（第一の映像信号と第二の映像信号）が低中輝度の輝度レベルの範囲内となるように、撮像素子３の露光時間と増幅回路４の増幅率が制御される。図２の例では、期間Ｔ１で、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）の露光時間が、低中輝度用の露光時間Ｔｃ１に設定され、２つの増幅回路４（増幅回路Ａと増幅回路Ｂ）の増幅率が、低中輝度用の増幅率Ａ１に設定される。
つぎに、期間Ｔ２（第二の期間）において、２つの撮像素子３から得られる映像信号（第三の映像信号と第四の映像信号）が低中輝度の輝度レベルの範囲内となるように、撮像素子３の露光時間と増幅回路４の増幅率が制御される。図２の例では、期間Ｔ２で、一方の撮像素子３（撮像素子Ａ）の露光時間が、低中輝度用の短い露光時間Ｔｃ２ｓに設定され、他方の撮像素子３（撮像素子Ｂ）の露光時間が、低中輝度用の長い露光時間Ｔｃ２ｌに設定される。また、一方の増幅回路４（増幅回路Ａ）の増幅率が、低中輝度用の低い増幅率Ａ２ｓに設定され、他方の増幅回路４（増幅回路Ｂ）の増幅率が、低中輝度用の高い増幅率Ａ２ｌに設定される。
そして、この期間Ｔ２では、期間Ｔ１で得られた２つの映像信号（第一の映像信号と第二の映像信号）に対してマッチング処理を行い、画素毎の最小のずれ量を算出して、低中輝度用の距離画像を生成（更新）する。さらに、この期間Ｔ２では、期間Ｔ２で得られた２つの映像信号（第三の映像信号と第四の映像信号）に上記のマッチング処理の結果を反映させた加算処理（画素毎の最小のずれ量だけずらした加算処理）を行い、得られた映像信号（加算された映像信号）に非線形処理と輪郭補正処理を行って、低中輝度用の監視用画像を生成（更新）する。
つづいて、期間Ｔ３（第三の期間）において、２つの撮像素子３から得られる映像信号（第一の映像信号と第二の映像信号）が高輝度の輝度レベルの範囲内となるように、撮像素子３の露光時間と増幅回路４の増幅率が制御される。図２の例では、期間Ｔ３で、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）の露光時間が、高輝度用の露光時間Ｔｃ３に設定され、２つの増幅回路４（増幅回路Ａと増幅回路Ｂ）の増幅率が、高輝度用の増幅率Ａ３に設定される。
つぎに、期間Ｔ４（第四の期間）において、２つの撮像素子３から得られる映像信号（第三の映像信号と第四の映像信号）が高輝度の輝度レベルの範囲内となるように、撮像素子３の露光時間と増幅回路４の増幅率が制御される。図２の例では、期間Ｔ４で、一方の撮像素子３（撮像素子Ａ）の露光時間が、高輝度用の短い露光時間Ｔｃ４ｓに設定され、他方の撮像素子３（撮像素子Ｂ）の露光時間が、高輝度用の長い露光時間Ｔｃ４ｌに設定される。
そして、この期間Ｔ４では、期間Ｔ３で得られた２つの映像信号（第一の映像信号と第二の映像信号）に対してマッチング処理を行い、画素毎の最小のずれ量を算出して、高輝度用の距離画像を生成（更新）する。さらに、この期間Ｔ４では、期間Ｔ３で得られた２つの映像信号（第三の映像信号と第四の映像信号）に上記のマッチング処理の結果を反映させた加算処理（画素毎の最小のずれ量だけずらした加算処理）を行い、得られた映像信号（加算された映像信号）に非線形処理と輪郭補正処理を行って、高輝度用の監視用画像を生成（更新）する。
本実施の形態の画像処理装置１では、上記のような期間Ｔ１〜期間Ｔ４の処理が定期的に繰り返される。すなわち、低中輝度用の距離画像と監視用画像の更新（生成）の処理と、高輝度用の距離画像と監視用画像の更新（生成）の処理が、定期的に繰り返される。
以下では、本実施の形態の画像処理装置１の動作を、距離画像と監視用画像の生成と、低中輝度と高輝度の画像の生成とに分けて、それぞれ詳しく説明する。
図３は、距離画像の生成と監視用画像の生成の流れを示すフロー図である。図３に示すように、画像処理装置１では、まず、２つの撮像素子３（撮像素子Ａと撮像素子Ｂ）から２つの映像信号（第一の映像信号と第二の映像信号）を取得し（Ｓ１）、輝度レベルが所定の輝度レベルの範囲内であるか否かを判定する（Ｓ２）。例えば、映像信号の輝度レベルが、所定の基準輝度レベルより低い場合には、低中輝度の輝度レベルの範囲内であると判定される。また、所定の基準輝度レベルより高い場合には、高輝度の輝度レベルの範囲内であると判定される。
判定の結果、映像信号の輝度レベルが所定の輝度レベルの範囲内でないと判定された場合には、撮像素子３の露光時間や増幅回路４の増幅率を変更し（Ｓ３）、上記のステップ（Ｓ１とＳ２）を繰り返す。
判定の結果、映像信号の輝度レベルが所定の輝度レベルの範囲内であると判定された場合には、その画像領域（例えば、低中輝度の画像領域など）について、２つの映像信号（第一の映像信号と第二の映像信号）のマッチング処理を行い、画素毎の最小のずれ量を求める（Ｓ４）。そして、マッチング処理の結果として得られた画素毎の最小のずれ量から、一般的な三角測量の原理に基づいて距離画像の生成が行われる（Ｓ５）。
つぎに、一方の撮像素子３（撮像素子Ａ）に短時間露光用の露光時間（例えば、露光時間Ｔｃ２ｓなど）を設定するとともに、一方の増幅回路４（増幅回路Ａ）に短時間露光用の増幅率（例えば、増幅率Ａ２ｓなど）を設定し、他方の撮像素子３（撮像素子Ｂ）に長時間露光用の露光時間（例えば、露光時間Ｔｃ２ｌなど）を設定するとともに、他方の増幅回路４（増幅回路Ｂ）に長時間露光用の増幅率（例えば、増幅率Ａ２ｌなど）を設定する（Ｓ６）。
そして、これら２つの撮像素子３から２つの映像信号（第三の映像信号と第四の映像信号）を取得し（Ｓ７）、上記のマッチング処理（Ｓ４）の結果として得られた画素毎の最小のずれ量だけ一方の映像信号をずらして、２つの映像信号を加算する（Ｓ８）。最後に、加算された映像信号に、非線形処理と輪郭補正処理を施して、監視用画像が生成される（Ｓ９）。
図４は、低中輝度と高輝度の画像の生成の流れを示すフロー図である。図４に示すように、画像処理装置１では、まず、２つの撮像素子３と増幅回路４に、低中輝度用の露光時間（例えば、露光時間Ｔｃ１）と増幅率（例えば、増幅率Ａ１）が設定され（Ｓ１０）、２つの映像信号（第一の映像信号と第二の映像信号）が取得される（Ｓ１１）。そして、２つの映像信号（第一の映像信号と第二の映像信号）のマッチング処理を行い、画素毎の最小のずれ量を求める（Ｓ１２）。そして、マッチング処理の結果として得られた画素毎の最小のずれ量から、低中輝度用の距離画像の生成が行われる（Ｓ１３）。
つぎに、一方の撮像素子３（撮像素子Ａ）に短時間露光用の露光時間（例えば、露光時間Ｔｃ２ｓ）を設定するとともに、一方の増幅回路４（増幅回路Ａ）に短時間露光用の増幅率（例えば、増幅率Ａ２ｓ）を設定し、他方の撮像素子３（撮像素子Ｂ）に長時間露光用の露光時間（例えば、露光時間Ｔｃ２ｌ）を設定するとともに、他方の増幅回路４（増幅回路Ｂ）に長時間露光用の増幅率（例えば、増幅率Ａ２ｌ）を設定する（Ｓ１４）。
そして、これら２つの撮像素子３から２つの映像信号（第三の映像信号と第四の映像信号）を取得し（Ｓ１５）、上記のマッチング処理（Ｓ１２）の結果として得られた画素毎の最小のずれ量だけ一方の映像信号をずらして、低中輝度用の２つの映像信号を加算する（Ｓ１６）。最後に、加算された映像信号に、非線形処理と輪郭補正処理を施して、低中輝度用の監視用画像が生成される（Ｓ１７）。
つづいて、２つの撮像素子３と増幅回路４に、高輝度用の露光時間（例えば、露光時間Ｔｃ３）と増幅率（例えば、増幅率Ａ３）が設定され（Ｓ１８）、２つの映像信号（第一の映像信号と第二の映像信号）が取得される（Ｓ１９）。そして、２つの映像信号（第一の映像信号と第二の映像信号）のマッチング処理を行い、画素毎の最小のずれ量を求める（Ｓ２０）。そして、マッチング処理の結果として得られた画素毎の最小のずれ量から、高輝度用の距離画像の生成が行われる（Ｓ２１）。
つぎに、一方の撮像素子３（撮像素子Ａ）に短時間露光用の露光時間（例えば、露光時間Ｔｃ４ｓ）を設定するとともに、一方の増幅回路４（増幅回路Ａ）に短時間露光用の増幅率（例えば、増幅率Ａ４ｓ）を設定し、他方の撮像素子３（撮像素子Ｂ）に長時間露光用の露光時間（例えば、露光時間Ｔｃ４ｌ）を設定するとともに、他方の増幅回路４（増幅回路Ｂ）に長時間露光用の増幅率（例えば、増幅率Ａ４ｌ）を設定する（Ｓ２２）。
そして、これら２つの撮像素子３から２つの映像信号（第三の映像信号と第四の映像信号）を取得し（Ｓ２３）、上記のマッチング処理（Ｓ２０）の結果として得られた画素毎の最小のずれ量だけ一方の映像信号をずらして、高輝度用の２つの映像信号を加算する（Ｓ２４）。最後に、加算された映像信号に、非線形処理と輪郭補正処理を施して、高輝度用の監視用画像が生成される（Ｓ２５）。
このような本発明の実施の形態の画像処理装置１によれば、二つの撮像手段から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用することにより、高い画質の監視用画像を得ることができる。
すなわち、本実施の形態では、二つの撮像手段から得られる映像信号（第一の映像信号と第二の映像信号）にマッチング処理を施して、二つの撮像手段から得られる映像信号のずれ量が求められる。そして、二つの撮像手段から得られる映像信号のずれ量を考慮して、二つの映像信号（第三の映像信号と第四の映像信号）を加算して、監視用画像として利用する。加算された映像信号は、一つの映像信号よりＳ／Ｎ比が高いので、画質のよい監視用画像を得ることができる。この場合、画質のよい監視用画像を得るとともに、距離測定用の画像（距離画像）を得ることができる。
また、本実施の形態では、映像信号の輝度レベルが所定の輝度レベルの範囲内となるように、露光時間または増幅率が制御される。例えば、低中輝度の映像信号については、露光時間を長く、または、増幅率を上げる制御が行われる。また、高輝度の映像信号については、露光時間を短く、または、増幅率を下げる制御が行われる。これにより、高輝度の被写体を撮影した場合であっても、白潰れによる画質の低下を抑えることができ、二つの映像信号（第一の映像信号と第二の映像信号）を用いたマッチング処理の精度を向上させることができる。このように、高輝度の被写体を撮影した場合であっても、精度の高いマッチング処理の結果（最小のずれ量）に基づいて、二つの映像信号（第三の映像信号と第四の映像信号）を加算することができるので、画質のよい監視用画像を得ることができる。また、この場合、低輝度、中輝度、高輝度の映像信号それぞれで、精度の良い距離画像を得ることができ、さまざまな輝度の被写体を撮影した場合であっても、高精度に距離の算出を行うことが可能になる。
また、本実施の形態では、第三の映像信号と第四の映像信号の露光時間を互いに異ならせることができるので、二つの映像信号（第三の映像信号と第四の映像信号）を加算して得られる監視用画像のダイナミックレンジを拡大することができる。例えば、高輝度の被写体を撮影した場合、第三の映像信号と第四の映像信号の露光時間がともに短くなるように制御されるが、さらに、この場合には、第三の映像信号の露光時間が第四の映像信号の露光時間より短くなるように制御される。これにより、高輝度の被写体を撮影した場合であっても、監視用画像（第三の映像信号と第四の映像信号を加算して得られる）に白潰れが発生するのを低減させることができ、高輝度でも階調のある監視用画像を得ることが可能になる。
また、本実施の形態では、第一の映像信号と第二の映像信号については、第一の期間に、第一の輝度レベル範囲内（例えば、低中輝度レベル）の映像信号が得られ、第三の期間に、第三の輝度レベル範囲内（例えば、高輝度レベル）の映像信号が得られる。一方、第三の映像信号と第四の映像信号については、第二の期間に、第二の輝度レベル範囲内（例えば、低中輝度レベル）の映像信号が得られ、第四の期間に、第四の輝度レベル範囲内（例えば、高輝度レベル）の映像信号が得られる。このようにして、第一の期間から第四の期間にかけて、輝度レベルの異なる映像信号を得ることができる。したがって、広い輝度レベルの範囲（低輝度から高輝度の広い範囲）で、映像信号（第三の映像信号と第四の映像信号）を加算した監視用画像を得ることができ、このようにして、監視用画像のダイナミックレンジを拡大することができる。そのため、例えば、高輝度の被写体を撮影した場合であっても、監視用画像（第三の映像信号と第四の映像信号を加算して得られる）に白潰れが発生するのを低減させることができ、高輝度でも階調のある監視用画像を得ることが可能になる。また、この場合、広い輝度レベルの範囲（低輝度から高輝度の広い範囲）で、精度の良い距離画像を得ることができ、したがって、距離の測定の精度を向上することが可能になる。
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
例えば、以上の説明では、２つの撮像素子３を使用する例について説明したが、本発明の範囲はこれに限定されるものではなく、１つの撮像素子３から２つの画像領域を切り出して、２つの映像信号としてもよい。また、期間Ｔ１とＴ３を、期間Ｔ２とＴ４より短く設定することにより、監視用画像の更新を早くしてもよい。
以上のように、本発明にかかる画像処理装置は、二つの映像信号を加算して、監視用画像として利用することにより、高い画質の監視用画像を得ることができるという効果を有し、ステレオ画像処理装置等として有用である。
１ 画像処理装置
２ レンズ
３ 撮像素子
４ 増幅回路
５ マッチング回路
６ 加算回路
７ 非線形処理・輪郭補正回路
８ 距離画像生成回路
９ 露光・増幅制御回路

Claims (11)

  1. 第一の撮像手段から得られた第一の映像信号と第二の撮像手段から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行うマッチング手段と、
    前記第一の撮像手段から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像手段から得られた第四の映像信号に加算する加算手段と、
    前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成する監視用画像生成手段と、
    を備えたことを特徴とする画像処理装置。
  2. 前記マッチング処理の結果として得られる最小のずれ量から距離測定用の画像を生成する距離画像生成部を備えた請求項１に記載の画像処理装置。
  3. 前記第一の映像信号と前記第二の映像信号が所定の輝度レベルの範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御する制御手段を備え、
    前記マッチング手段は、前記制御手段により所定の輝度レベルの範囲内となった前記第一の映像信号と前記第二の映像信号に対してマッチング処理を行う請求項１または請求項２に記載の画像処理装置。
  4. 前記第三の映像信号と前記第四の映像信号の露光時間が互いに異なるように、前記第三の映像信号と前記第四の映像信号の露光時間を制御する第二の制御手段を備えた請求項１ないし請求項３のいずれかに記載の画像処理装置。
  5. 前記第一の映像信号、前記第二の映像信号、前記第三の映像信号、前記第四の映像信号の露光時間または増幅率を制御する第三の制御手段を備え、
    前記第三の制御手段は、
    第一の期間に、前記第一の映像信号と前記第二の映像信号が第一の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、
    第二の期間に、前記第三の映像信号と前記第四の映像信号が第二の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御し、
    第三の期間に、前記第一の映像信号と前記第二の映像信号が、前記第一の輝度レベル範囲とは異なる第三の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、
    第四の期間に、前記第三の映像信号と前記第四の映像信号が、前記第二の輝度レベル範囲とは異なる第四の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御する請求項１ないし請求項４のいずれかに記載の画像処理装置。
  6. 第一の撮像手段から得られた第一の映像信号と第二の撮像手段から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行うことと、
    前記第一の撮像手段から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像手段から得られた第四の映像信号に加算することと、
    前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成することと、
    を含むことを特徴とする画像処理方法。
  7. 前記マッチング処理の結果として得られる最小のずれ量から距離測定用の画像を生成することを含む請求項６に記載の画像処理方法。
  8. 前記第一の映像信号と前記第二の映像信号が所定の輝度レベルの範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御することを含み、
    前記マッチング処理では、前記制御により所定の輝度レベルの範囲内となった前記第一の映像信号と前記第二の映像信号に対してマッチング処理を行う請求項６または請求項７に記載の画像処理方法。
  9. 前記第三の映像信号と前記第四の映像信号の露光時間が互いに異なるように、前記第三の映像信号と前記第四の映像信号の露光時間を制御することを含む請求項６ないし請求項８のいずれかに記載の画像処理方法。
  10. 前記第一の映像信号、前記第二の映像信号、前記第三の映像信号、前記第四の映像信号の露光時間または増幅率を制御することを含み、
    第一の期間に、前記第一の映像信号と前記第二の映像信号が第一の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、
    第二の期間に、前記第三の映像信号と前記第四の映像信号が第二の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御し、
    第三の期間に、前記第一の映像信号と前記第二の映像信号が、前記第一の輝度レベル範囲とは異なる第三の輝度レベル範囲内となるように、前記第一の映像信号と前記第二の映像信号の露光時間または増幅率を制御し、
    第四の期間に、前記第三の映像信号と前記第四の映像信号が、前記第二の輝度レベル範囲とは異なる第四の輝度レベル範囲内となるように、前記第三の映像信号と前記第四の映像信号の露光時間または増幅率を制御する請求項６ないし請求項９のいずれかに記載の画像処理方法。
  11. コンピュータに、
    第一の撮像手段から得られた第一の映像信号と第二の撮像手段から得られた第二の映像信号に対して、前記第一の映像信号と前記第二の映像信号とのずれ量を最小にするマッチング処理を行う処理と、
    前記第一の撮像手段から得られた第三の映像信号を、前記マッチング処理の結果として得られる最小のずれ量だけずらして、前記第二の撮像手段から得られた第四の映像信号に加算する処理と、
    前記加算された映像信号に対して、非線形処理および／または輪郭補正処理を行って、監視用画像を生成する処理と、
    を実行させることを特徴とする画像処理プログラム。
JP2010154477A 2010-07-07 2010-07-07 画像処理装置、画像処理方法およびプログラム Expired - Fee Related JP5283667B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010154477A JP5283667B2 (ja) 2010-07-07 2010-07-07 画像処理装置、画像処理方法およびプログラム
PCT/JP2011/000065 WO2012004906A1 (ja) 2010-07-07 2011-01-11 画像処理装置、画像処理方法およびプログラム
EP11803248.1A EP2448244A4 (en) 2010-07-07 2011-01-11 IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM
CN201180003630.9A CN102484679B (zh) 2010-07-07 2011-01-11 图像处理设备、图像处理方法
US13/356,798 US8502880B2 (en) 2010-07-07 2012-01-24 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010154477A JP5283667B2 (ja) 2010-07-07 2010-07-07 画像処理装置、画像処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2012019311A true JP2012019311A (ja) 2012-01-26
JP5283667B2 JP5283667B2 (ja) 2013-09-04

Family

ID=45440902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010154477A Expired - Fee Related JP5283667B2 (ja) 2010-07-07 2010-07-07 画像処理装置、画像処理方法およびプログラム

Country Status (5)

Country Link
US (1) US8502880B2 (ja)
EP (1) EP2448244A4 (ja)
JP (1) JP5283667B2 (ja)
CN (1) CN102484679B (ja)
WO (1) WO2012004906A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018225516A1 (ja) * 2017-06-07 2018-12-13 日立オートモティブシステムズ株式会社 画像処理装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9237331B2 (en) * 2011-01-18 2016-01-12 Disney Enterprises, Inc. Computational stereoscopic camera system
TWI536835B (zh) 2013-03-05 2016-06-01 原相科技股份有限公司 影像感測方法和使用此方法的影像感測器
CN104052939B (zh) * 2013-03-15 2017-07-11 原相科技股份有限公司 影像感测方法和使用这个方法的影像传感器
KR101591172B1 (ko) * 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
CN106131448B (zh) * 2016-07-22 2019-05-10 石家庄爱赛科技有限公司 可自动调节成像亮度的三维立体视觉系统
JP6959277B2 (ja) * 2019-02-27 2021-11-02 ファナック株式会社 ３次元撮影装置および３次元撮影条件調整方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2004096488A (ja) * 2002-08-30 2004-03-25 Fujitsu Ltd 物体検知装置、物体検知方法および物体検知プログラム
JP2009033629A (ja) * 2007-07-30 2009-02-12 Canon Inc 撮像装置及びその制御方法、並びにプログラム及び媒体、画像処理装置
JP2009121870A (ja) * 2007-11-13 2009-06-04 Panasonic Corp ステレオ画像処理装置、ステレオ画像処理方法およびプログラム
JP2010130435A (ja) * 2008-11-28 2010-06-10 Samsung Digital Imaging Co Ltd 撮像装置及び撮像方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07101942B2 (ja) * 1986-04-12 1995-11-01 ソニー株式会社 電子編集システム
US5394187A (en) * 1992-06-26 1995-02-28 Apollo Camera, L.L.C. Video imaging systems and method using a single interline progressive scanning sensor and sequential color object illumination
US5446492A (en) * 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
JP3935548B2 (ja) * 1997-02-27 2007-06-27 オリンパス株式会社 画像信号処理装置
KR100517517B1 (ko) * 2004-02-20 2005-09-28 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
JP2007028236A (ja) * 2005-07-19 2007-02-01 Hitachi Ltd 撮像装置
JP4763525B2 (ja) * 2006-06-21 2011-08-31 日本電信電話株式会社 映像整合方法
JP2008153997A (ja) * 2006-12-18 2008-07-03 Matsushita Electric Ind Co Ltd 固体撮像装置、カメラ、車両、監視装置及び固体撮像装置の駆動方法
FR2922074B1 (fr) * 2007-10-05 2010-02-26 Thales Sa Procede de synchronisation de flux video
CN101472062A (zh) * 2008-05-23 2009-07-01 嘉兴闻泰通讯科技有限公司 一种实现摄像头功能的移动终端装置及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2004096488A (ja) * 2002-08-30 2004-03-25 Fujitsu Ltd 物体検知装置、物体検知方法および物体検知プログラム
JP2009033629A (ja) * 2007-07-30 2009-02-12 Canon Inc 撮像装置及びその制御方法、並びにプログラム及び媒体、画像処理装置
JP2009121870A (ja) * 2007-11-13 2009-06-04 Panasonic Corp ステレオ画像処理装置、ステレオ画像処理方法およびプログラム
JP2010130435A (ja) * 2008-11-28 2010-06-10 Samsung Digital Imaging Co Ltd 撮像装置及び撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018225516A1 (ja) * 2017-06-07 2018-12-13 日立オートモティブシステムズ株式会社 画像処理装置
JPWO2018225516A1 (ja) * 2017-06-07 2020-05-21 日立オートモティブシステムズ株式会社 画像処理装置

Also Published As

Publication number Publication date
CN102484679A (zh) 2012-05-30
EP2448244A4 (en) 2013-08-14
US20120176514A1 (en) 2012-07-12
WO2012004906A1 (ja) 2012-01-12
CN102484679B (zh) 2016-04-27
JP5283667B2 (ja) 2013-09-04
EP2448244A1 (en) 2012-05-02
US8502880B2 (en) 2013-08-06

Similar Documents

Publication Publication Date Title
JP5283667B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP5367640B2 (ja) 撮像装置および撮像方法
US20150042839A1 (en) Distance measuring apparatus, imaging apparatus, and distance measuring method
JP6587380B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
JP2014006388A (ja) 撮像装置およびその制御方法ならびにプログラム
JP2015186247A (ja) 画像処理装置及びその制御方法、並びに、プログラム
JP2017225072A (ja) 撮像装置、その制御方法、及びプログラム
US10498925B2 (en) Image processing to control synthesizing results of shading correction when generating wider dynamic range image
JP5172283B2 (ja) ステレオ画像処理装置、ステレオ画像処理方法およびプログラム
JP2013255121A (ja) 画像処理装置及び画像処理装置の制御方法
JP2018042089A (ja) 撮像装置及びその制御方法、プログラム
JP2018056743A (ja) 逆光補正プログラム及び半導体装置
JP2011249948A (ja) ステレオ画像処理装置、画像処理方法及びプログラム
JP2021097402A (ja) 画像処理装置および撮像装置
JP6089232B2 (ja) 撮像装置
JP6141129B2 (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
JP6413612B2 (ja) 撮像装置
JP6516574B2 (ja) 像ブレ補正装置、撮像装置、像ブレ補正方法
JP6575667B2 (ja) 露出制御装置及び光学機器
JP2009105501A (ja) 撮像装置、光学的黒レベルの補正方法、およびプログラム
JP6432642B2 (ja) 露出制御装置及び光学機器
JP6752688B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP2015061137A (ja) 撮像装置、その制御方法、及びプログラム
JP2009177511A (ja) 撮像装置のシャッタディレイ調整システム及びそのシャッタディレイ調整方法
JP2014075721A (ja) 露出制御装置及び光学機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130528

R150 Certificate of patent or registration of utility model

Ref document number: 5283667

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees