JP2009134024A - 撮像装置および情報コード読取装置 - Google Patents
撮像装置および情報コード読取装置 Download PDFInfo
- Publication number
- JP2009134024A JP2009134024A JP2007309544A JP2007309544A JP2009134024A JP 2009134024 A JP2009134024 A JP 2009134024A JP 2007309544 A JP2007309544 A JP 2007309544A JP 2007309544 A JP2007309544 A JP 2007309544A JP 2009134024 A JP2009134024 A JP 2009134024A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical system
- modulation element
- wavefront modulation
- light wavefront
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Lenses (AREA)
Abstract
【課題】光学系を簡単化でき、コスト低減を図ることができることはもとより、適切な画質の、ノイズの影響が小さい良好な復元画像を得ることが可能なことはもとより、製造が容易で、取り付け精度を必要とせず、反射の影響も抑止でき、画像の方向によりコントラストが異なることがない撮像装置および情報コード読取装置を提供する。
【解決手段】１次画像を形成する光学系２１０および撮像素子２２０と、１次画像を高精細な最終画像に形成する画像処理装置２４０とを含み、光学系２１０は、光波面変調素子が光軸に対して回転対称な形状であり、かつディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を持つように形成されている。
【選択図】図６
【解決手段】１次画像を形成する光学系２１０および撮像素子２２０と、１次画像を高精細な最終画像に形成する画像処理装置２４０とを含み、光学系２１０は、光波面変調素子が光軸に対して回転対称な形状であり、かつディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を持つように形成されている。
【選択図】図６
Description
本発明は、撮像素子を用い、光学系を備えた撮像装置および情報コード読取装置に関するものである。
近年急峻に発展を遂げている情報のデジタル化に相俟って映像分野においてもその対応が著しい。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
特に、デジタルカメラに象徴されるように撮像面は従来のフィルムに変わって固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ），ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサが使用されているのが大半である。
このように、撮像素子にＣＣＤやＣＭＯＳセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ ＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、画像検査装置、自動制御用産業カメラ等に用いられている。
図２９は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
この撮像レンズ装置１は、光学系２とＣＣＤやＣＭＯＳセンサ等の撮像素子３とを有する。
光学系は、物体側レンズ２１，２２、絞り２３、および結像レンズ２４を物体側（ＯＢＪＳ）から撮像素子３側に向かって順に配置されている。
撮像レンズ装置１においては、図２９に示すように、ベストフォーカス面を撮像素子面上に合致させている。
図３０（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。
図３０（Ａ）〜（Ｃ）は、撮像レンズ装置１の撮像素子３の受光面でのスポット像を示している。
また、位相板により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする等の撮像装置が提案されている（たとえば非特許文献１，２、特許文献１〜５参照）。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。
また、伝達関数を用いたフィルタ処理を行うデジタルカメラの自動露出制御システムが提案されている（たとえば特許文献６参照）。
また、ＣＣＤ、ＣＭＯＳなどの画像入力機能を持った装置においては、たとえば風景など、所望の映像とともに、バーコード等の近接静止画像を読み取ることが、極めて有用であることが多い。
バーコードの読み取りは、たとえば第一の例としてレンズを繰り出すオートフォーカスでピントを合わせる技術や、第二の例として深度拡張技術としては、たとえばカメラにおいてＦ値を絞ることで被写界深度を広げて固定ピントとしているものがある。
バーコードの読み取りは、たとえば第一の例としてレンズを繰り出すオートフォーカスでピントを合わせる技術や、第二の例として深度拡張技術としては、たとえばカメラにおいてＦ値を絞ることで被写界深度を広げて固定ピントとしているものがある。
"Wavefront Coding;jointly optimized optical and digital imaging systems",Edward R.Dowski,Jr.,Robert H.Cormack,Scott D.Sarama.
"Wavefront Coding;A modern method of achieving high performance and/or low cost imaging systems",Edward R.Dowski,Jr.,Gregory E.Johnson.
ＵＳＰ６，０２１，００５
ＵＳＰ６，６４２，５０４
ＵＳＰ６，５２５，３０２
ＵＳＰ６，０６９，７３８
特開２００３−２３５７９４号公報
特開２００４−１５３４９７号公報
上述した各文献にて提案された撮像装置においては、その全ては通常光学系に上述の位相板を挿入した場合のＰＳＦ（Ｐｏｉｎｔ−Ｓｐｒｅａｄ−Ｆｕｎｃｔｉｏｎ）が一定になっていることが前提であり、ＰＳＦが変化した場合は、その後のカーネルを用いたコンボリューションにより、被写界深度の深い画像を実現することは極めて難しい。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
したがって、単焦点でのレンズではともかく、ズーム系やＡＦ系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。
換言すれば、従来の撮像装置においては、適正なコンボリューション演算を行うことができず、ワイド（Ｗｉｄｅ）時やテレ（Ｔｅｌｅ）時のスポット（ＳＰＯＴ）像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。
しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計工数の増大、コスト増大、レンズの大型化の問題を引き起こす。
また、上記技術では、画像復元処理後の画像はアウトフォーカスとなるに伴い、復元結果が良好ではなくなる。
これはアウトフォーカス時のＯＴＦが一定であれば良好な復元結果となるのであるが、現実問題ＯＴＦは劣化してくる。そして、復元処理を行ってもボカして復元するという工程上、完全には復元しない。
そのため、良好な復元画を得ることが困難である。
これはアウトフォーカス時のＯＴＦが一定であれば良好な復元結果となるのであるが、現実問題ＯＴＦは劣化してくる。そして、復元処理を行ってもボカして復元するという工程上、完全には復元しない。
そのため、良好な復元画を得ることが困難である。
また、深度拡張光学系において、位相変調素子は、特許文献５等に開示されているように３次や５次の多項式で表され、光軸に対して回転非対称な形状の提案がなされている。
しかしながら、回転非対称な形状の位相変調素子は、製造の難易度が高い、固体撮像素子に対して回転方向の取り付け精度が必要である、位相変調素子による反射の影響がでる、画像の方向によりコントラストが異なる、といった問題がある。
しかしながら、回転非対称な形状の位相変調素子は、製造の難易度が高い、固体撮像素子に対して回転方向の取り付け精度が必要である、位相変調素子による反射の影響がでる、画像の方向によりコントラストが異なる、といった問題がある。
本発明は、光学系を簡単化でき、コスト低減を図ることができることはもとより、適切な画質の、ノイズの影響が小さい良好な復元画像を得ることが可能なことはもとより、製造が容易で、取り付け精度を必要とせず、反射の影響も抑止でき、画像の方向によりコントラストが異なることがない撮像装置および情報コード読取装置を提供することにある。
本発明の第１の観点の撮像装置は、レンズと光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、を有し、前記光学系は、前記光波面変調素子の変調面が光軸に対して回転対称な形状であり、かつディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を有する。
好適には、前記光波面変調素子の変調面の焦点距離が、光学系全体の焦点距離の絶対値に対して大きい。
好適には、前記変調面を含む光波面変調素子の焦点距離が、光学系全体の焦点距離の絶対値に対して大きい。
好適には、前記光学系は、絞りを含み、当該絞りは前記光波面変調素子の近傍に配置されている。
好適には、前記光波面変調素子により、被写体分散画像が形成され、前記撮像素子からの被写体分散画像信号より分散のない画像信号を生成する画像処理部を有する。
本発明の第２の観点の情報コード読取装置は、情報コードを光学的に読み取る情報コード読取装置であって、レンズと光波面変調素子を含む光学系と、前記光学系を通過した被写体像を撮像する撮像素子と、を有し、前記光学系は、前記光波面変調素子の変調面が光軸に対して回転対称な形状であり、かつディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を有する。
本発明によれば、光学系を簡単化でき、コスト低減を図ることができことはもとより、適切な画質の、ノイズの影響が小さい復元画像を得ることができることはもとより、製造が容易で、取り付け精度を必要とせず、反射の影響も抑止でき、画像の方向によりコントラストが異なることがない。
以下、本発明の実施形態を添付図面に関連付けて説明する。
図１は、本発明の実施形態に係る情報コード読取装置の一例を示す外観図である。
図２（Ａ）〜（Ｃ）は、情報コードの例を示す図である。
図３は、図１の情報コード読取装置に適用可能な撮像装置の構成例を示すブロックである。
なおここでは、本実施形態の撮像装置が適用可能な装置として、情報コード読取装置を例示している。
図２（Ａ）〜（Ｃ）は、情報コードの例を示す図である。
図３は、図１の情報コード読取装置に適用可能な撮像装置の構成例を示すブロックである。
なおここでは、本実施形態の撮像装置が適用可能な装置として、情報コード読取装置を例示している。
本実施形態に係る情報コード読取装置１００は、図１に示すように、本体１１０がケーブル１１１を介して図示しない電子レジスタ等の処理装置と接続され、たとえば読み取り対象物１２０に印刷された反射率の異なるシンボル、コード等の情報コード１２１を読み取り可能な装置である。
読み取り対象の情報コードとしては、たとえば図２（Ａ）に示すような、ＪＡＮコードのような１次元のバーコード１２２と、図２（Ｂ）および（Ｃ）に示すようなスタック式のＣＯＤＥ４９、あるいはマトリックス方式のＱＲコードのような２次元のバーコード１２３が挙げられる。
読み取り対象の情報コードとしては、たとえば図２（Ａ）に示すような、ＪＡＮコードのような１次元のバーコード１２２と、図２（Ｂ）および（Ｃ）に示すようなスタック式のＣＯＤＥ４９、あるいはマトリックス方式のＱＲコードのような２次元のバーコード１２３が挙げられる。
本実施形態に係る情報コード読取装置１００は、本体１１０内に、図示しない照明光源と、図３に示すような撮像装置２００とが配置されている。
撮像装置２００は、後で詳述するように、光学系に光波面変調素子を適用し、光波面変調素子により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ Ｓｙｓｔｅｍ）というシステムを採用し、ＪＡＮコードのような１次元のバーコードとＱＲコードのような２次元のバーコードのような情報コードを的確に高精度で読み取ることが可能に構成されている。
撮像装置２００は、後で詳述するように、光学系に光波面変調素子を適用し、光波面変調素子により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深い画像撮影を可能にする波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ Ｓｙｓｔｅｍ）というシステムを採用し、ＪＡＮコードのような１次元のバーコードとＱＲコードのような２次元のバーコードのような情報コードを的確に高精度で読み取ることが可能に構成されている。
情報コード読取装置１００の撮像装置２００は、図３に示すように、光学系２１０、撮像素子２２０、アナログフロントエンド部（ＡＦＥ）２３０、画像処理装置２４０、カメラ信号処理部２５０、画像表示メモリ２６０、画像モニタリング装置２７０、操作部２８０、および制御装置２９０を有している。
図４は、本実施形態に係る光学系を形成する撮像レンズユニットの基本構成を示す図である。
光学系２１０Ａは、被写体物体ＯＢＪを撮影した像を撮像素子２２０に供給する。また、光学系２１０Ａは、物体側から順に、第１レンズ２１１、第２レンズ２１２、第３レンズ２１３、絞り２１４、第４レンズ２１５、第５レンズ２１６が配置されている。
本実施形態の光学系２１０Ａは、第４レンズ２１５と第５レンズ２１６が接続されている。すなわち、本実施形態の光学系２１０Ａのレンズユニットは、接合レンズを含んで構成されている。
光学系２１０Ａは、被写体物体ＯＢＪを撮影した像を撮像素子２２０に供給する。また、光学系２１０Ａは、物体側から順に、第１レンズ２１１、第２レンズ２１２、第３レンズ２１３、絞り２１４、第４レンズ２１５、第５レンズ２１６が配置されている。
本実施形態の光学系２１０Ａは、第４レンズ２１５と第５レンズ２１６が接続されている。すなわち、本実施形態の光学系２１０Ａのレンズユニットは、接合レンズを含んで構成されている。
そして、本実施形態の光学系２１０Ａは、光波面変調素子を適用した光学系として構成されている。
本実施形態においては、光波面変調素子（たとえば位相変調素子）を用いることにより物体距離に応じたＯＴＦの変化を、光波面変調素子を持たない光学系よりも小さくする深度拡張光学系に対し、光波面変調素子の最適化を行う。
本実施形態においては、光波面変調素子（たとえば位相変調素子）を用いることにより物体距離に応じたＯＴＦの変化を、光波面変調素子を持たない光学系よりも小さくする深度拡張光学系に対し、光波面変調素子の最適化を行う。
本実施形態においては、光波面変調素子の光波面変調面（たとえば位相変調面）は、光軸に対して回転対称で、かつディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を持つように形成されている。
なお、本実施形態において、ディフォーカスに対する低周波および高周波とは次のように定義する。
使用する固体撮像素子（撮像素子２２０）の画素ピッチから決まるナイキスト周波数の半分以上の周波数を高周波、半分より低い周波数を低周波とする。
ただし、ナイキスト周波数は下記の通りに定義する。
ナイキスト周波数＝１／（固体撮像素子の画素ピッチ×２）
使用する固体撮像素子（撮像素子２２０）の画素ピッチから決まるナイキスト周波数の半分以上の周波数を高周波、半分より低い周波数を低周波とする。
ただし、ナイキスト周波数は下記の通りに定義する。
ナイキスト周波数＝１／（固体撮像素子の画素ピッチ×２）
光波面変調素子の光波面変調面を光軸に対して回転対称とすることで、製造が容易で、回転方向の取り付け精度も厳しくなく、さらには反射の影響が少なくて、画像の方向によるコントラストの違いも無くなる。
そして、光波面変調素子の光波面変調面が、ディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を持つことにより、物体距離に応じたＯＴＦの変化を極めて小さくする作用を持たせることが可能となる。
また、図４の下方に光波面変調面を形成する前と後の球面収差の変化を示しているが、光波面変調面を絞り２１４の近傍に、あるいは光波面変調面自身に絞り機能を持たせることにより、光波面変調面のみを最適化することで、物体が画面の中心に写る場合も周辺に写る場合も均一な画質とすることが可能となり、撮像装置の最終出力画像信号として性能の高い固定焦点レンズとすることができる。
そして、光波面変調素子の光波面変調面が、ディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を持つことにより、物体距離に応じたＯＴＦの変化を極めて小さくする作用を持たせることが可能となる。
また、図４の下方に光波面変調面を形成する前と後の球面収差の変化を示しているが、光波面変調面を絞り２１４の近傍に、あるいは光波面変調面自身に絞り機能を持たせることにより、光波面変調面のみを最適化することで、物体が画面の中心に写る場合も周辺に写る場合も均一な画質とすることが可能となり、撮像装置の最終出力画像信号として性能の高い固定焦点レンズとすることができる。
図５は、光波面変調素子を持たない通常の光学系のディフォーカスに対する低周波および高周波のＭＴＦを示す図である。
図６は、本実施形態に係る光波面変調素子を持つ光学系のディフォーカスに対する低周波および高周波のＭＴＦを示す図である。
図６は、本実施形態に係る光波面変調素子を持つ光学系のディフォーカスに対する低周波および高周波のＭＴＦを示す図である。
光波面変調素子を待たない通常の光学系においては、図５に示すように、ディフォーカスに対する低周波および高周波のＭＴＦのピーク位置のずれはわずかである。
これに対して、本実施形態に係る光波面変調素子を持つ光学系においては、図６に示すうに、ディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を持つよう形成されている。
これにより、本実施形態の光学系は、通常の光学系よりも物体距離に応じたＯＴＦの変化を小さくする作用を持たせることが可能となり、被写界深度を増大させることが可能となる。
これに対して、本実施形態に係る光波面変調素子を持つ光学系においては、図６に示すうに、ディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を持つよう形成されている。
これにより、本実施形態の光学系は、通常の光学系よりも物体距離に応じたＯＴＦの変化を小さくする作用を持たせることが可能となり、被写界深度を増大させることが可能となる。
また、本実施形態においては、光波面変調素子の光波面変調面の焦点距離の絶対値が、光学系２１０全体の焦点距離に対して大きい。
あるいは、変調面を含む光波面変調素子の焦点距離の絶対値が、光学系全体の焦点距離に対して大きい。
換言すれば、光波面変調素子の光波面変調面におけるパワーを光学系２１０の全体のパワーよりも弱くする。
あるいは、光波面変調面を備えたパワーを、光学系２１０全体のパワーよりも弱くする。
これにより、画像の中心部から周辺部にかけて均一なＯＴＦとすることが可能となる。
あるいは、変調面を含む光波面変調素子の焦点距離の絶対値が、光学系全体の焦点距離に対して大きい。
換言すれば、光波面変調素子の光波面変調面におけるパワーを光学系２１０の全体のパワーよりも弱くする。
あるいは、光波面変調面を備えたパワーを、光学系２１０全体のパワーよりも弱くする。
これにより、画像の中心部から周辺部にかけて均一なＯＴＦとすることが可能となる。
また、光波面変調面の焦点距離の絶対値が、光学系全体の焦点距離に対して次の関係を持つことが望ましい。
（数１）
|ｆphase|／ｆtotal ≧ ２
ただし、ｆphaseは光波面変調面の焦点距離を、ｆtotalは光学系全体の焦点距離を示している。
|ｆphase|／ｆtotal ≧ ２
ただし、ｆphaseは光波面変調面の焦点距離を、ｆtotalは光学系全体の焦点距離を示している。
なお、本実施形態において、光波面変調素子の焦点距離とは、光波面変調面または光波面変調面を有するレンズの焦点距離を意味するものとする。
ここで、光学系における光波面変調素子の有無、光波面変調面の焦点距離の絶対値の大小に応じたスポット像について図７〜図１０に関連付けて考察する。
これらの図において縦軸はディフォーカス量、横軸は像高を示している。
これらの図において縦軸はディフォーカス量、横軸は像高を示している。
図７は、光波面変調素子を持たない一般的な光学系のスポット像のディフォーカス変化を示す図である。
ピントの合った位置ではスポット像は小さいが、ピント位置から離れるに従ってスポット像が徐々に大きくなる。
すなわち、この光学系は、光波面変調素子を持たないため物体距離に応じてスポット像が大きく変化する。
ピントの合った位置ではスポット像は小さいが、ピント位置から離れるに従ってスポット像が徐々に大きくなる。
すなわち、この光学系は、光波面変調素子を持たないため物体距離に応じてスポット像が大きく変化する。
図８は、光波面変調素子を備えた光学系のスポット像のディフォーカス変化を示す図である。
この光学系においては、光波面変調素子の作用で物体距離に応じたスポット像の変化は小さい。
この光学系においては、光波面変調素子の作用で物体距離に応じたスポット像の変化は小さい。
図９は、光波面変調素子の焦点距離の絶対値が小さい光学系のスポット像のディフォーカス変化を示す図である。
この光学系においては、光波面変調素子の焦点距離の絶対値が小さいため、画面中心と周辺でスポット像の大きさの差が大きい。
この光学系においては、光波面変調素子の焦点距離の絶対値が小さいため、画面中心と周辺でスポット像の大きさの差が大きい。
図１０は、光波面変調素子の焦点距離の絶対値が大きい光学系のスポット像のディフォーカス変化を示す図である。
この光学系においては、光波面変調面もしくは光波面変調素子の焦点距離の絶対値が大きいため、画面中心と周辺でスポット像の大きさの差が小さい。
この光学系においては、光波面変調面もしくは光波面変調素子の焦点距離の絶対値が大きいため、画面中心と周辺でスポット像の大きさの差が小さい。
上述したように、本実施形態においては、光波面変調素子の光波面変調面は、光軸に対して回転対称で、かつディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を持つように形成されている。
次に、ディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を持つ変調面を実現するのに好適な、光波面変調素子の変調面の形状の例について述べる。
本実施形態においては、光波面変調素子の光波面変調面は、光波面変調機能を持つ場合と持たない場合の形状の差分である位相形状が、光軸に対して回転対称で、かつ光軸中心部分から周辺部分かけて、少なくとも一つの変曲点を持った形状とすることにより、物体距離に応じたＯＴＦの変化を小さくする作用を持ちつつ、スポット像を小さくすることが可能となる。
あるいは、本実施形態においては、光波面変調素子の光波面変調面は、光波面変調機能を持つ場合と持たない場合の形状の差分である位相形状が、光軸に対して回転対称で、かつ光軸中心部分から周辺部分に向かって単調増加もしくは単調減少するように形成される。
位相形状を、光軸に対して回転対称とすることで、製造が容易で、回転方向の取り付け精度も厳しくなく、さらには反射の影響が少なくて、画像の方向によるコントラストの違いも無くなる。
位相形状を、光軸中心部分から周辺部分かけて少なくとも一つの変曲点を持った形状、あるいは光軸中心部分から周辺部分に向かって単調増加もしくは単調減少とすることで、物体距離に応じたＯＴＦの変化を極めて小さくすることができる。
位相形状を、光軸中心部分から周辺部分かけて少なくとも一つの変曲点を持った形状、あるいは光軸中心部分から周辺部分に向かって単調増加もしくは単調減少とすることで、物体距離に応じたＯＴＦの変化を極めて小さくすることができる。
図１１は、各光学系の光波面変調面の位相形状を示す図である。また、図１２は、位相形状について説明するための図である。
図１１および図１２において、Ａで示す線が光波面変調素子を持たない形状を、Ｂで示す線が光波面変調素子を持ちかつ変曲点がある場合の形状を、Ｃで示す線が光波面変調素子を持つが変曲点がなく、単調増加する場合の形状を示している。
そして、本実施形態において、位相形状とは、図１２に示すように、光波面変調素子を付加しない形状に対する光波面変調素子の形状の差分を持つ形状である。
図１１および図１２において、Ａで示す線が光波面変調素子を持たない形状を、Ｂで示す線が光波面変調素子を持ちかつ変曲点がある場合の形状を、Ｃで示す線が光波面変調素子を持つが変曲点がなく、単調増加する場合の形状を示している。
そして、本実施形態において、位相形状とは、図１２に示すように、光波面変調素子を付加しない形状に対する光波面変調素子の形状の差分を持つ形状である。
なお、図１１および図１２の縦軸の数値は、像面での対角像高を１としたスポット位置を示す。具体的には、図１３に示すように、中心スポット位置が（０，０）となり、垂直上方の端部が（０，１）となる。なお、図１３のＡは撮像素子、Ｂはイメージサイクルを示す。
光波面変調面の位相形状が中心から周辺にかけて少なくとも一つの変曲点を持ち、あるいは光軸中心部分から周辺部分に向かって単調増加もしくは単調減少とすることで、物体距離に応じたＯＴＦの変化を極めて小さくすることができる。
また、光学系２１０全体の焦点距離に対して、光波面変調面の焦点距離を大きくすることで、画像の中心部から周辺部にかけて均一なＯＴＦとすることが可能となる。
また、光学系２１０全体の焦点距離に対して、光波面変調面を備えた光波面変調素子（レンズ）の焦点距離を大きくすることで、画像の中心部から周辺部にかけて均一なＯＴＦとすることが可能となる。
また、本発明の光波面変調面を回転対称な形状にすることにより、鏡筒に光波面変調素子を組み込む際に、光軸方向を中心に回転させて調整させる必要がなく、レンズと同様に配設することができ、製造工程が容易になる。
また、偽像を抑えて、自然なボケ味のまま深度を拡張することができる。
また、光学系２１０全体の焦点距離に対して、光波面変調面の焦点距離を大きくすることで、画像の中心部から周辺部にかけて均一なＯＴＦとすることが可能となる。
また、光学系２１０全体の焦点距離に対して、光波面変調面を備えた光波面変調素子（レンズ）の焦点距離を大きくすることで、画像の中心部から周辺部にかけて均一なＯＴＦとすることが可能となる。
また、本発明の光波面変調面を回転対称な形状にすることにより、鏡筒に光波面変調素子を組み込む際に、光軸方向を中心に回転させて調整させる必要がなく、レンズと同様に配設することができ、製造工程が容易になる。
また、偽像を抑えて、自然なボケ味のまま深度を拡張することができる。
以上、本実施形態に係る光学系の特徴的な構成、機能、効果について説明した。
以下に、撮像素子、画像処理部等の他の構成部分の構成、機能について説明する。
以下に、撮像素子、画像処理部等の他の構成部分の構成、機能について説明する。
撮像素子２２０は、例えば、図４に示すように、第５レンズ２１６側から、ガラス製の平行平面板（カバーガラス）２２１と、ＣＣＤあるいはＣＭＯＳセンサ等からなる撮像素子の撮像面２２２が順に配置されている。
撮像光学系２１０Ａを介した被写体ＯＢＪからの光が、撮像素子２２０の撮像面２２２上に結像される。
なお、撮像素子２２０で撮像される被写体分散像は、光波面変調面２１３ａにより撮像素子２２０上ではピントが合わず、深度の深い光束とボケ部分が形成された像である。
そして、本実施形態においては、画像処理装置２４０にてフィルタ処理を加えることにより物体間の距離の解像を補完することができるように構成されている。
この光学系２１０Ａについては、後でさらに詳述する。
撮像光学系２１０Ａを介した被写体ＯＢＪからの光が、撮像素子２２０の撮像面２２２上に結像される。
なお、撮像素子２２０で撮像される被写体分散像は、光波面変調面２１３ａにより撮像素子２２０上ではピントが合わず、深度の深い光束とボケ部分が形成された像である。
そして、本実施形態においては、画像処理装置２４０にてフィルタ処理を加えることにより物体間の距離の解像を補完することができるように構成されている。
この光学系２１０Ａについては、後でさらに詳述する。
そして、図３に示すように撮像素子２２０は、光学系２１０で取り込んだ像が結像され、結像１次画像情報を電気信号の１次画像信号ＦＩＭとして、アナログフロントエンド部２３０を介して画像処理装置２４０に出力するＣＣＤやＣＭＯＳセンサからなる。
図３においては、撮像素子２２０を一例としてＣＣＤとして記載している。
図３においては、撮像素子２２０を一例としてＣＣＤとして記載している。
アナログフロントエンド部２３０は、タイミングジェネレータ２３１、アナログ／デジタル（Ａ／Ｄ）コンバータ２３２と、を有する。
タイミングジェネレータ２３１では、撮像素子２２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ２３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置２４０に出力する。
タイミングジェネレータ２３１では、撮像素子２２０のＣＣＤの駆動タイミングを生成しており、Ａ／Ｄコンバータ２３２は、ＣＣＤから入力されるアナログ信号をデジタル信号に変換し、画像処理装置２４０に出力する。
信号処理部の一部を構成する画像処理装置（二次元コンボリューション手段）２４０は、前段のＡＦＥ２３０からくる撮像画像のデジタル信号を入力し、二次元のコンボリューション処理を施し、後段のカメラ信号処理部（ＤＳＰ）２５０に渡す。
画像処理装置２４０、制御装置２９０の露出情報に応じて、光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置２４０は、撮像素子２２０による複数の画像に対して、光学的伝達関数（ＯＴＦ）のレスポンスを向上させ、物体距離に応じた光学的伝達関数（ＯＴＦ）の変化をなくすようにフィルタ処理（たとえばコンボリューションフィルタ処理）を行う機能を有し、複数の物体距離に依存しながらも、深い被写界深度を得る。また、画像処理装置２４０は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置２４０は、光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行いコントラストを改善する処理を施す機能を有する。
画像処理装置２４０の処理については後でさらに詳述する。
画像処理装置２４０、制御装置２９０の露出情報に応じて、光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行う。なお、露出情報として絞り情報を含む。
画像処理装置２４０は、撮像素子２２０による複数の画像に対して、光学的伝達関数（ＯＴＦ）のレスポンスを向上させ、物体距離に応じた光学的伝達関数（ＯＴＦ）の変化をなくすようにフィルタ処理（たとえばコンボリューションフィルタ処理）を行う機能を有し、複数の物体距離に依存しながらも、深い被写界深度を得る。また、画像処理装置２４０は、最初のステップでノイズ低減フィルタリングを施す機能を有する。
画像処理装置２４０は、光学的伝達関数（ＯＴＦ）に対してフィルタ処理を行いコントラストを改善する処理を施す機能を有する。
画像処理装置２４０の処理については後でさらに詳述する。
カメラ信号処理部（ＤＳＰ）２５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、メモリ２６０への格納や画像モニタリング装置２７０への画像表示等を行う。
制御装置２９０は、露出制御を行うとともに、操作部２８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ２３０、画像処理装置２４０、ＤＳＰ２５０、絞り２１３等を制御し、システム全体の調停制御を司るものである。
以下、本実施形態の光学系、画像処理装置の構成および機能について具体的には説明する。
次に、画像処理装置２４０のフィルタ処理について説明する。
本実施形態においては、光学系２１０により収束される光束を規則正しく分散する。このように光波面変調素子を挿入することにより、撮像素子２２０上ではピントのどこにも合わない画像を実現する。
換言すれば、光学系２１０によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
前述したように、この規則的に分散した画像をデジタル処理により、光学系２１０を移動させずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ Ｓｙｓｔｅｍ）といい、この処理を画像処理装置２４０において行う。
本実施形態においては、光学系２１０により収束される光束を規則正しく分散する。このように光波面変調素子を挿入することにより、撮像素子２２０上ではピントのどこにも合わない画像を実現する。
換言すれば、光学系２１０によって深度の深い光束（像形成の中心的役割を成す）とフレアー（ボケ部分）を形成している。
前述したように、この規則的に分散した画像をデジタル処理により、光学系２１０を移動させずにピントの合った画像に復元する手段を波面収差制御光学系システム、あるいは深度拡張光学系システム（ＤＥＯＳ：Ｄｅｐｔｈ Ｅｘｐａｎｔｉｏｎ Ｏｐｔｉｃａｌ Ｓｙｓｔｅｍ）といい、この処理を画像処理装置２４０において行う。
ここで、ＤＥＯＳの基本原理について説明する。
図１４に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。
図１４に示すように、被写体の画像ｆがＤＥＯＳ光学系Ｈに入ることにより、ｇ画像が生成される。
これは、次のような式で表される。
（数２）
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
ｇ＝Ｈ＊ｆ
ただし、＊はコンボリューションを表す。
生成された画像から被写体を求めるためには、次の処理を要する。
（数３）
ｆ＝Ｈ-１＊ｇ
ｆ＝Ｈ-１＊ｇ
ここで、Ｈに関するカーネルサイズと演算係数について説明する。
ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
ズームポジションをＺＰｎ，ＺＰｎ−１・・・とする。また、それぞれのＨ関数をＨｎ，Ｈｎ−１、・・・・とする。
各々のスポット像が異なるため、各々のＨ関数は、次のようになる。
この行列の行数および／または列数の違いをカーネルサイズ、各々の数字を演算係数とする。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
ここで、各々のＨ関数はメモリに格納しておいても構わないし、ＰＳＦを物体距離の関数としておき、物体距離によって計算し、Ｈ関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、Ｈ関数を物体距離の関数として、物体距離によってＨ関数を直接求めても構わない。
本実施形態においては、図３に示すように、光学系２１０からの像を撮像素子２２０で受像して、絞り開放時には画像処理装置２４０に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子２２０からの分散画像信号より分散のない画像信号を生成するように構成している。
本実施形態においては、ＤＥＯＳを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。
画像処理装置２４０は、上述したように、撮像素子２２０による１次画像ＦＩＭを受けて、フィルタによるコンボリューション処理によって被写界深度を拡張する処理等を施して高精細な最終画像ＦＮＬＩＭを形成する。
画像処理装置１４０のＭＴＦ補正処理は、たとえば図１５の曲線Ａで示すように、本質的に低い値になっている１次画像のＭＴＦを、空間周波数をパラメータとしてエッジ強調、クロマ強調等の後処理にて、図１５中曲線Ｂで示す特性に近づく（達する）ような補正を行う。
図１５中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
図１５中曲線Ｂで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させない場合に得られる特性である。
なお、本実施形態における全ての補正は、空間周波数のパラメータによる。
本実施形態においては、図１５に示すように、光学的に得られる空間周波数に対するＭＴＦ特性曲線Ａに対して、最終的に実現したいＭＴＦ特性曲線Ｂを達成するためには、それぞれの空間周波数に対し、図１６に示すようにエッジ強調等の強弱を付け、元の画像（１次画像）に対して補正をかける。
たとえば、図１５のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図１６に示すようになる。
たとえば、図１５のＭＴＦ特性の場合、空間周波数に対するエッジ強調の曲線は、図１６に示すようになる。
すなわち、空間周波数の所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望のＭＴＦ特性曲線Ｂを仮想的に実現する。
このように、実施形態に係る撮像装置２００は、基本的に、１次画像を形成する光学系２１０および撮像素子２２０と、１次画像を高精細な最終画像に形成する画像処理装置１４０からなり、光学系システムの中に、波面成形用の光学素子を新たに設けるか、またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形（変調）し、そのような波面をＣＣＤやＣＭＯＳセンサからなる撮像素子２２０の撮像面（受光面）に結像させ、その結像１次画像を、画像処理装置２４０を通して高精細画像を得る画像形成システムである。
本実施形態では、撮像素子２２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置２４０で行う。
本実施形態では、撮像素子２２０による１次画像は深度が非常に深い光束条件にしている。そのために、１次画像のＭＴＦは本質的に低い値になっており、そのＭＴＦの補正を画像処理装置２４０で行う。
ここで、本実施形態における撮像装置２００における結像のプロセスを、波動光学的に考察する。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系２１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
物点の１点から発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。
結像面における波動光学的ＭＴＦを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。
ＭＴＦの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を２乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。
さらにその瞳関数はまさに射出瞳位置における波面情報（波面収差）そのものからであることから、その光学系２１０を通して波面収差が厳密に数値計算できればＭＴＦが計算できることになる。
したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面におけるＭＴＦ値は変更可能である。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、画像処理装置２４０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさにｐｈａｓｅ（位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。
そして、目的の波面形成を行えば、射出瞳からの射出光束は、幾何光学的なスポット像からわかるように、光線の密な部分と疎の部分から形成される。
この光束状態のＭＴＦは空間周波数の低いところでは低い値を示し、空間周波数の高いところまでは何とか解像力は維持している特徴を示している。
すなわち、この低いＭＴＦ値（または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させないことになる。
つまり、ローパスフィルタが必要ないのである。
そして、画像処理装置２４０でＭＴＦ値を低くしている原因のフレアー的画像を除去すれば良いのである。それによってＭＴＦ値は著しく向上する。
次に、本実施形態および従来光学系のＭＴＦのレスポンスについて考察する。
図１７は、従来の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンス（応答）を示す図である。
図１８は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図１９は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
図１８は、光波面変調素子を有する本実施形態の光学系の場合において物体が焦点位置にあるときと焦点位置から外れたときのＭＴＦのレスポンスを示す図である。
また、図１９は、本実施形態に係る撮像装置のデータ復元後のＭＴＦのレスポンスを示す図である。
図からもわかるように、光波面変調素子を有する光学系の場合、物体が焦点位置から外れた場合でもＭＴＦのレスポンスの変化が光波面変調素子を挿入してない光学系よりも少なくなる。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。
この光学系によって結像された画像を、コンボリューションフィルタによる処理によって、ＭＴＦのレスポンスが向上する。
図１８に示した、光波面変調素子を持つ光学系のＯＴＦの絶対値（ＭＴＦ）はナイキスト周波数において０．１以上であることが好ましい。
なぜなら、図１９に示した復元後のＯＴＦを達成するためには復元フィルタでゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのＭＴＦが０．１以上あれば解像する。
したがって、復元前のＭＴＦが０．１以上あれば復元フィルタでナイキスト周波数でのゲインを上げずに済む。復元前のＭＴＦが０．１未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。
なぜなら、図１９に示した復元後のＯＴＦを達成するためには復元フィルタでゲインを上げることになるが、センサのノイズも同時に上げることになる。そのため、ナイキスト周波数付近の高周波ではできるたけゲインを上げずに復元を行うことが好ましい。
通常の光学系の場合、ナイキスト周波数でのＭＴＦが０．１以上あれば解像する。
したがって、復元前のＭＴＦが０．１以上あれば復元フィルタでナイキスト周波数でのゲインを上げずに済む。復元前のＭＴＦが０．１未満であると、復元画像がノイズの影響を大きく受けた画像になるため好ましくない。
画像処理装置２４０の構成および処理について説明する。
画像処理装置２４０は、図３に示すように、生（ＲＡＷ）バッファメモリ２４１、二次元コンボリューション演算部２４２、記憶手段としてのカーネルデータ格納ＲＯＭ２４３、およびコンボリューション制御部２４４を有する。
コンボリューション制御部２４４は、コンボリューション処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行い、制御装置２９０により制御される。
また、カーネルデータ格納ＲＯＭ２４３には、図２０、図２１、または図２２に示すように予め用意されたそれぞれの光学系の点像強度分布（ＰＳＦ）により算出されたコンボリューション用のカーネルデータが格納されており、制御装置２９０によって露出設定時に決まる露出情報を取得し、コンボリューション制御部２４４を通じてカーネルデータを選択制御する。
なお、露出情報には、絞り情報が含まれる。
なお、露出情報には、絞り情報が含まれる。
図２０の例では、カーネルデータＡは光学倍率（×１．５）、カーネルデータＢは光学倍率（×５）、カーネルデータＣは光学倍率（×１０）に対応したデータとなっている。
また、図２１の例では、カーネルデータＡは絞り情報としてのＦナンバ（２．８）、カーネルデータＢはＦナンバ（４）に対応したデータとなっている。
また、図２２の例では、カーネルデータＡは物体距離情報が１００ｍｍ、カーネルデータＢは物体距離が５００ｍｍ、カーネルデータＣは物体距離が４ｍに対応したデータとなっている。
図２３は、制御装置２９０の露出情報（絞り情報を含む）により切り替え処理のフローチャートである。
まず、露出情報（ＲＰ）が検出されコンボリューション制御部２４４に供給される（ＳＴ１０１）。
コンボリューション制御部２４４においては、露出情報ＲＰから、カーネルサイズ、数値演係数がレジスタにセットされる（ＳＴ１０２）。
そして、撮像素子２２０で撮像され、ＡＦＥ２３０を介して二次元コンボリューション演算部２４２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部２５０に転送される（ＳＴ１０３）。
まず、露出情報（ＲＰ）が検出されコンボリューション制御部２４４に供給される（ＳＴ１０１）。
コンボリューション制御部２４４においては、露出情報ＲＰから、カーネルサイズ、数値演係数がレジスタにセットされる（ＳＴ１０２）。
そして、撮像素子２２０で撮像され、ＡＦＥ２３０を介して二次元コンボリューション演算部２４２に入力された画像データに対して、レジスタに格納されたデータに基づいてコンボリューション演算が行われ、演算され変換されたデータがカメラ信号処理部２５０に転送される（ＳＴ１０３）。
以下に画像処理装置２４０の信号処理部とカーネルデータ格納ＲＯＭについてさらに具体的な例について説明する。
図２４は、信号処理部とカーネルデータ格納ＲＯＭについての第１の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２４の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
図２４の例は露出情報に応じたフィルタカーネルを予め用意した場合のブロック図である。
画像処理装置２４０が露出情報検出部２５３から露出設定時に決まる露出情報を取得し、コンボリューション制御部２４４を通じてカーネルデータを選択制御する。二次元コンボリューション演算部２４２においては、カーネルデータを用いてコンボリューション処理を施す。
図２５は、信号処理部とカーネルデータ格納ＲＯＭについての第２の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２５の例は、画像処理装置２４０の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ１を予め用意した場合のブロック図である。
図２５の例は、画像処理装置２４０の最初にノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタ処理ＳＴ１を予め用意した場合のブロック図である。
露出設定時に決まる露出情報を露出情報検出部２５３より取得し、コンボリューション制御部２４４を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部２４２においては、前記ノイズ低減フィルタ処理１ＳＴ１を施した後、カラーコンバージョン処理ＳＴ２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理（ＯＴＦ復元フィルタ処理）ＳＴ３を施す。
再度ノイズ低減フィルタ処理２ＳＴ４を行い、カラーコンバージョン処理ＳＴ５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
二次元コンボリューション演算部２４２においては、前記ノイズ低減フィルタ処理１ＳＴ１を施した後、カラーコンバージョン処理ＳＴ２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理（ＯＴＦ復元フィルタ処理）ＳＴ３を施す。
再度ノイズ低減フィルタ処理２ＳＴ４を行い、カラーコンバージョン処理ＳＴ５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
図２６は、信号処理部とカーネルデータ格納ＲＯＭについての第３の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２６の例は、露出情報に応じたＯＴＦ復元フィルタを予め用意した場合のブロック図である。
図２６の例は、露出情報に応じたＯＴＦ復元フィルタを予め用意した場合のブロック図である。
露出設定時に決まる露出情報を露出情報検出部２５３より取得し、コンボリューション制御部２４４を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部２４２は、ノイズ低減フィルタ処理１ＳＴ１１、カラーコンバージョン処理ＳＴ１２の後に、前記ＯＴＦ復元フィルタを用いてコンボリューション処理ＳＴ１３を施す。
再度ノイズ低減フィルタ処理２ＳＴ１４を行い、カラーコンバージョン処理ＳＴ１５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理ＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。
二次元コンボリューション演算部２４２は、ノイズ低減フィルタ処理１ＳＴ１１、カラーコンバージョン処理ＳＴ１２の後に、前記ＯＴＦ復元フィルタを用いてコンボリューション処理ＳＴ１３を施す。
再度ノイズ低減フィルタ処理２ＳＴ１４を行い、カラーコンバージョン処理ＳＴ１５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理ＳＴ１１、ＳＴ１４は、いずれか一方のみでもよい。
図２７は、信号処理部とカーネルデータ格納ＲＯＭについての第４の構成例を示す図である。なお、簡単化のためにＡＦＥ等は省略している。
図２７の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
露出設定時に決まる露出情報を露出情報検出部２５３より取得し、コンボリューション制御部２４４を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部２４２においては、ノイズ低減フィルタ処理１ＳＴ２１を施した後、カラーコンバージョン処理ＳＴ２２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ２３を施す。
再度、露出情報に応じたノイズ低減フィルタ処理２ＳＴ２４を行い、カラーコンバージョン処理ＳＴ２５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理ＳＴ２１は省略することも可能である。
図２７の例は、ノイズ低減フィルタ処理のステップを有し、フィルタカーネルデータとして露出情報に応じたノイズ低減フィルタを予め用意した場合のブロック図である。
なお、再度のノイズ処理ＳＴ４は省略することも可能である。
露出設定時に決まる露出情報を露出情報検出部２５３より取得し、コンボリューション制御部２４４を通じてカーネルデータを選択制御する。
二次元コンボリューション演算部２４２においては、ノイズ低減フィルタ処理１ＳＴ２１を施した後、カラーコンバージョン処理ＳＴ２２によって色空間を変換、その後カーネルデータを用いてコンボリューション処理ＳＴ２３を施す。
再度、露出情報に応じたノイズ低減フィルタ処理２ＳＴ２４を行い、カラーコンバージョン処理ＳＴ２５によって元の色空間に戻す。カラーコンバージョン処理は、たとえばＹＣｂＣｒ変換が挙げられるが、他の変換でも構わない。
なお、ノイズ低減フィルタ処理ＳＴ２１は省略することも可能である。
以上は露出情報のみに応じて二次元コンボリューション演算部２４２においてフィルタ処理を行う例を説明したが、たとえば被写体距離情報、ズーム情報、あるいは撮影モード情報と露出情報とを組み合わせることにより適した演算係数の抽出、あるいは演算を行うことが可能となる。
図２８は、被写体距離情報と露出情報とを組み合わせる画像処理装置の構成例を示す図である。
撮像装置２００Ａは、図２８に示すように、コンボリューション装置４０１、カーネル・数値演算係数格納レジスタ４０２、および画像処理演算プロセッサ４０３を有する。
この撮像装置２００Ａにおいては、物体概略距離情報検出装置５００から読み出した被写体の物体距離の概略距離に関する情報および露出情報を得た画像処理演算プロセッサ４０３では、その物体離位置に対して適正な演算で用いる、カーネルサイズやその演算係数をカーネル・数値演算係数格納レジスタ４０２に格納し、その値を用いて演算するコンボリューション装置４０１にて適正な演算を行い、画像を復元する。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置５００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
本例においては、主被写体までの距離を、距離検出センサを含む物体概略距離情報検出装置５００により検出し、検出した距離に応じて異なる画像補正の処理を行うことにように構成されている。
上記の画像処理はコンボリューション演算により行うが、これを実現するには、たとえばコンボリューション演算の演算係数を共通で１種類記憶しておき、焦点距離に応じて補正係数を予め記憶しておき、この補正係数を用いて演算係数を補正し、補正した演算係数で適正なコンボリューション演算を行う構成をとることができる。
この構成の他にも、以下の構成を採用することが可能である。
この構成の他にも、以下の構成を採用することが可能である。
焦点距離に応じて、カーネルサイズやコンボリューションの演算係数自体を予め記憶しておき、これら記憶したカーネルサイズや演算係数でコンボリューション演算を行う構成、焦点距離に応じた演算係数を関数として予め記憶しておき、焦点距離によりこの関数より演算係数を求め、計算した演算係数でコンボリューション演算を行う構成等、を採用することが可能である。
図２８の構成に対応付けると次のような構成をとることができる。
変換係数記憶手段としてのカーネル・数値演算係数格納レジスタ４０２に被写体距離に応じて少なくとも位相板に相当する樹脂レンズに起因する収差に対応した変換係数を少なくとも２以上予め記憶する。画像処理演算プロセッサ４０３が、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された情報に基づき、カーネル・数値演算係数格納レジスタ４０２から被写体までの距離に応じた変換係数を選択する係数選択手段として機能する。
そして、変換手段としてのコンボリューション装置４０１が、係数選択手段としての画像処理演算プロセッサ４０３で選択された変換係数によって、画像信号の変換を行う。
そして、変換手段としてのコンボリューション装置４０１が、係数選択手段としての画像処理演算プロセッサ４０３で選択された変換係数によって、画像信号の変換を行う。
または、前述したように、変換係数演算手段としての画像処理演算プロセッサ４０３が、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された情報に基づき変換係数を演算し、カーネル・数値演算係数格納レジスタ４０２に格納する。
そして、変換手段としてのコンボリューション装置４０１が、変換係数演算手段としての画像処理演算プロセッサ４０３で得られカーネル・数値演算係数格納レジスタ４０２に格納された変換係数によって、画像信号の変換を行う。
そして、変換手段としてのコンボリューション装置４０１が、変換係数演算手段としての画像処理演算プロセッサ４０３で得られカーネル・数値演算係数格納レジスタ４０２に格納された変換係数によって、画像信号の変換を行う。
または、補正値記憶手段としてのカーネル・数値演算係数格納レジスタ４０２に光学系２１０のズーム位置またはズーム量に応じた少なくとも１以上の補正値を予め記憶する。この補正値には、被写体収差像のカーネルサイズを含まれる。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ４０３が、補正値記憶手段としてのカーネル・数値演算係数格納レジスタ４０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置４０１が、第２変換係数記憶手段としてのカーネル・数値演算係数格納レジスタ４０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ４０３により選択された補正値とに基づいて画像信号の変換を行う。
そして、被写体距離情報生成手段としての物体概略距離情報検出装置５００により生成された距離情報に基づき、補正値選択手段としての画像処理演算プロセッサ４０３が、補正値記憶手段としてのカーネル・数値演算係数格納レジスタ４０２から被写体までの距離に応じた補正値を選択する。
変換手段としてのコンボリューション装置４０１が、第２変換係数記憶手段としてのカーネル・数値演算係数格納レジスタ４０２から得られた変換係数と、補正値選択手段としての画像処理演算プロセッサ４０３により選択された補正値とに基づいて画像信号の変換を行う。
以上説明したように、本実施形態によれば、１次画像を形成する光学系２１０および撮像素子２２０と、１次画像を高精細な最終画像に形成する画像処理装置２４０とを含み、光学系２１０は、光波面変調素子の光波面変調面が光軸に対して回転対称な形状であり、かつディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を持つように形成されていることから、以下の効果を得ることができる。
光波面変調面を光軸に対して回転対称な形状とし、光波面変調素子を持たない一般的な光学系よりも球面収差を大きく発生させることにより、光波面変調素子を持たない一般的な光学系よりも物体距離に応じたＯＴＦの変化を極めて小さくすることが可能となる。
光波面変調面を光軸に対して回転対称な形状とし、光波面変調素子を持たない一般的な光学系よりも球面収差を大きく発生させることにより、光波面変調素子を持たない一般的な光学系よりも物体距離に応じたＯＴＦの変化を極めて小さくすることが可能となる。
また、中央部分から周辺部分にかけて、位相形状がディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を持つように形成されることにより、物体距離に応じたＯＴＦの変化を小さくする作用を持ちつつ、スポット像を小さくすることが可能となる。
また、本実施形態においては、光学系２１０全体の焦点距離に対して、光波面変調面の焦点距離を大きくすることで、画像の中心部から周辺部にかけて均一なＯＴＦとすることが可能となる。
また、光学系２１０全体の焦点距離に対して、光波面変調面を備えた光波面変調素子（レンズ）の焦点距離を大きくすることで、画像の中心部から周辺部にかけて均一なＯＴＦとすることが可能となる。
そして、光学系を簡単化でき、コスト低減を図ることができることはもとより、適切な画質の、ノイズの影響が小さい良好な復元画像を得ることが可能なことはもとより、製造が容易で、取り付け精度を必要とせず、反射の影響も抑止でき、画像の方向によりコントラストが異なることがない撮像装置を実現することができる。
また、本実施形態においては、光学系２１０全体の焦点距離に対して、光波面変調面の焦点距離を大きくすることで、画像の中心部から周辺部にかけて均一なＯＴＦとすることが可能となる。
また、光学系２１０全体の焦点距離に対して、光波面変調面を備えた光波面変調素子（レンズ）の焦点距離を大きくすることで、画像の中心部から周辺部にかけて均一なＯＴＦとすることが可能となる。
そして、光学系を簡単化でき、コスト低減を図ることができることはもとより、適切な画質の、ノイズの影響が小さい良好な復元画像を得ることが可能なことはもとより、製造が容易で、取り付け精度を必要とせず、反射の影響も抑止でき、画像の方向によりコントラストが異なることがない撮像装置を実現することができる。
また、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、図３に示す操作部２８０等の入力により知り、適性となるカーネルサイズや上述した係数を対応させることにより、倍率やディフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ−ションによる画像復元が可能となる利点がある。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置２００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたＤＥＯＳの光学システムに使用することが可能である。
また、光学系２１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
また、難度が高く、高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無く、自然な画像を得ることができる利点がある。
そして、本実施形態に係る撮像装置２００は、デジタルカメラやカムコーダー等の民生機器の小型、軽量、コストを考慮されたＤＥＯＳの光学システムに使用することが可能である。
また、光学系２１０の構成を簡単化でき、製造が容易となり、コスト低減を図ることができる。
ところで、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。
しかし、上述したように、ＣＣＤやＣＭＯＳセンサを撮像素子として用いた場合、エリアジングが発生する。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。
このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にしているという不利益がある。
以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、従来の撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローパスフィルタを利用したりするとコストアップにつながる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。
また、図２０、図２１、および図２２のカーネルデータ格納ＲＯＭに関しても、光学倍率、Ｆナンバやそれぞれのカーネルのサイズ、物体距離の値に対して用いられるものとは限らない。また用意するカーネルデータの数についても３個とは限らない。
２００・・・撮像装置、２１０・・・光学系、２１１・・・第１レンズ、２１２・・・第２レンズ、２１３・・・第３レンズ、２１４・・・絞り、２１５・・・第４レンズ、２２０・・・撮像素子、２３０・・・アナログフロントエンド部（ＡＦＥ）、２４０・・・画像処理装置、２５０・・・カメラ信号処理部、２８０・・・操作部、２９０・・・制御装置、２４２・・・二次元コンボリューション演算部、２４３・・・カーネルデータ格納ＲＯＭ、２４４・・・コンボリューション制御部。
Claims (6)
- レンズと光波面変調素子を含む光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、を有し、
前記光学系は、
前記光波面変調素子の変調面が光軸に対して回転対称な形状であり、かつディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を有する
撮像装置。 - 前記光波面変調素子の変調面の焦点距離が、光学系全体の焦点距離の絶対値に対して大きい
請求項１記載の撮像装置。 - 前記変調面を含む光波面変調素子の焦点距離が、光学系全体の焦点距離の絶対値に対して大きい
請求項１または２に記載の撮像装置。 - 前記光学系は
絞りを含み、当該絞りは前記光波面変調素子の近傍に配置されている
請求項１から３のいずれか一に記載の撮像装置。 - 前記光波面変調素子により、被写体分散画像が形成され、
前記撮像素子からの被写体分散画像信号より分散のない画像信号を生成する画像処理部を有する
請求項１から４のいずれか一に記載の撮像装置。 - 情報コードを光学的に読み取る情報コード読取装置であって、
レンズと光波面変調素子を含む光学系と、
前記光学系を通過した被写体像を撮像する撮像素子と、を有し、
前記光学系は、
前記光波面変調素子の変調面が光軸に対して回転対称な形状であり、かつディフォーカスに対する低周波および高周波のＭＴＦのピーク位置が異なる特性を有する
情報コード読取装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007309544A JP2009134024A (ja) | 2007-11-29 | 2007-11-29 | 撮像装置および情報コード読取装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007309544A JP2009134024A (ja) | 2007-11-29 | 2007-11-29 | 撮像装置および情報コード読取装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009134024A true JP2009134024A (ja) | 2009-06-18 |
Family
ID=40865952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007309544A Pending JP2009134024A (ja) | 2007-11-29 | 2007-11-29 | 撮像装置および情報コード読取装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009134024A (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0470615A (ja) * | 1990-07-06 | 1992-03-05 | Canon Inc | 焦点検出装置 |
| WO2006041219A2 (en) * | 2004-10-15 | 2006-04-20 | Matsushita Electric Industrial Co., Ltd. | Enhancement of an image acquired with a multifocal lens |
-
2007
- 2007-11-29 JP JP2007309544A patent/JP2009134024A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0470615A (ja) * | 1990-07-06 | 1992-03-05 | Canon Inc | 焦点検出装置 |
| WO2006041219A2 (en) * | 2004-10-15 | 2006-04-20 | Matsushita Electric Industrial Co., Ltd. | Enhancement of an image acquired with a multifocal lens |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4712631B2 (ja) | 撮像装置 | |
| JP4663737B2 (ja) | 撮像装置およびその画像処理方法 | |
| JP4749959B2 (ja) | 撮像装置、並びにその製造装置および製造方法 | |
| US8462213B2 (en) | Optical system, image pickup apparatus and information code reading device | |
| JP4818957B2 (ja) | 撮像装置およびその方法 | |
| JP2008268937A (ja) | 撮像装置および撮像方法 | |
| JP2007322560A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
| JP2008048293A (ja) | 撮像装置、およびその製造方法 | |
| JP2008085387A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
| JP2007300208A (ja) | 撮像装置 | |
| JPWO2009069752A1 (ja) | 撮像装置および電子機器 | |
| JP2007206738A (ja) | 撮像装置およびその方法 | |
| JP4658162B2 (ja) | 撮像装置および電子機器 | |
| JP2008245266A (ja) | 撮像装置および撮像方法 | |
| JP2006311473A (ja) | 撮像装置および撮像方法 | |
| JP2009086017A (ja) | 撮像装置および撮像方法 | |
| JP4818956B2 (ja) | 撮像装置およびその方法 | |
| JP2009134023A (ja) | 撮像装置および情報コード読取装置 | |
| JP2008245265A (ja) | 撮像装置、並びにその製造装置および製造方法 | |
| JP5479123B2 (ja) | 撮像装置および電子機器 | |
| JP2009033607A (ja) | 撮像装置および画像処理方法 | |
| JP2009008935A (ja) | 撮像装置 | |
| JP2008167040A (ja) | 撮像装置、その製造装置および製造方法、並びに情報コード読取装置 | |
| JP4722748B2 (ja) | 撮像装置およびその画像生成方法 | |
| JP5809387B2 (ja) | 撮像装置および電子機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101027 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120608 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120703 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120831 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20120925 |