JP2017200129A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2017200129A
JP2017200129A JP2016091532A JP2016091532A JP2017200129A JP 2017200129 A JP2017200129 A JP 2017200129A JP 2016091532 A JP2016091532 A JP 2016091532A JP 2016091532 A JP2016091532 A JP 2016091532A JP 2017200129 A JP2017200129 A JP 2017200129A
Authority
JP
Japan
Prior art keywords
unit
signal
start position
charge
effective pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016091532A
Other languages
English (en)
Inventor
誠也 本田
Seiya Honda
誠也 本田
浩和 澤田
Hirokazu Sawada
浩和 澤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2016091532A priority Critical patent/JP2017200129A/ja
Publication of JP2017200129A publication Critical patent/JP2017200129A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】内視鏡自体の遮光構造、配光特性または組立精度等によらず、固体撮像素子における有効画素開始位置を正確に算出する。【解決手段】有効画素開始位置算出部(タイミング調整部25a)は、第1サンプルホールド部において第1出力信号をサンプルホールドする第1サンプルホールド動作時と第2サンプルホールド部において第2出力信号をサンプルホールドする第2サンプルホールド動作時との間において、VDD電圧制御部26の制御によりCMOSイメージセンサ撮像素子22に供給するVDDをグランドレベルに設定し、かつ、リセットトランジスタMRSTをリセット制御して電荷検出部(FD)に所定の電荷を逆注入させた後、撮像素子22から出力した撮像信号のエッジを抽出し、複数の画素に係る有効画素開始位置を算出する。【選択図】図2

Description

本発明は、撮像装置に関し、特に、固体撮像素子における有効画素開始位置を算出可能とする撮像装置に関する。
被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成する画像処理装置等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。
このような内視鏡システムにおける内視鏡としては、従来、被写体像を入光する固体撮像素子として例えばCCDイメージセンサを採用し、また、この固体撮像素子から出力されるアナログ撮像信号を伝送するケーブルを内部に配設する内視鏡が知られている(特許文献1参照)。
一方、この種の伝送ケーブルを配設する内視鏡においては、近年、撮像素子の高画素化および高速化に伴い、当該伝送ケーブル内を伝送する撮像信号の遅延が後段側(例えば、ビデオプロセッサ)における画像処理に影響を及ぼすようになってきた。
しかしながら、この伝送ケーブルにおける撮像信号の遅延量は、主として当該伝送ケーブルのケーブル長に起因することが知られていることから、従来、内視鏡ごとに予め当該遅延量を求めておくことにより、上述した後段側における画像処理への影響を排除することが可能となっている。
具体的には、内視鏡における固体撮像素子に一定の光を照射し、この固体撮像素子における複数の画素のうち当該照射光に反応し始める画素を有効画素の開始位置とみなすことで、伝送ケーブルに起因する遅延量を求め、この遅延量を当該内視鏡固有の遅延量として所定のメモリに記憶し、後段側の画素処理においてこの遅延量を考慮することにより、悪影響を排除することが可能となる。
すなわち、当該固体撮像素子における有効画素開始位置を正確に算出することができれば、この有効画素開始位置の算出結果と、上述した伝送ケーブルに由来する遅延に係るパラメータとに基づいて、当該内視鏡固有の「正しい遅延量」を求めることができることから、上述した「有効画素開始位置」を正確に算出することが重要となる。
特開2009−106442号公報
一方、この種の内視鏡においては、従来、内視鏡自体の遮光構造、配光特性または組立精度等により、固体撮像素子における光に反応し始める画素の位置(すなわち、上述した有効画素開始位置)を正確に求めることが困難となる虞があった。
この場合、すなわち、有効画素開始位置を誤って認識してしまうと、上述した理由により、伝送ケーブルに起因する「遅延量」についても間違って認識しまうこととなり、上記の「正しい遅延量」を得ることができない虞があった。
そして、この「正しい遅延量」を得ることができない場合、後段の画像処理において、例えば、色ずれ、または、レンズとの中心位置ずれという不具合を生じる虞があった。
本発明は上述した事情に鑑みてなされたものであり、内視鏡自体の遮光構造、配光特性または組立精度等によらず、固体撮像素子における有効画素開始位置を正確に算出することができる撮像装置を提供することを目的とする。
本発明の一態様の撮像装置は、入射光に応じて光を光電変換して信号電荷を蓄積する光電変換素部と、前記光電変換部において蓄積された信号電荷を転送する電荷転送部と、前記電荷転送部に接続され、前記光電変換部において蓄積された前記信号電荷を検出する電荷検出部と、前記電荷検出部をリセットするためのリセット動作を実行するリセット部と、を有する画素を複数備え、前記光電変換部において蓄積された前記信号電荷に基づく撮像信号を出力する固体撮像素子であって、
前記電荷転送部がオフされた状態において、前記リセット部におけるリセット動作により前記電荷検出部がリセットされた際の当該電荷検出部に係るリセットノイズ信号に基づく第1出力信号をサンプルホールドする第1サンプルホールド部と、前記電荷転送部がオンされた状態において、前記光電変換部が蓄積した信号電荷を前記電荷検出部に転送した後、当該電荷検出部における前記リセットノイズ信号を含む検出信号に基づく第2出力信号をサンプルホールドする第2サンプルホールド部と、前記第1サンプルホールド部においてサンプルホールドされた前記第1出力信号と、前記第2サンプルホールド部においてサンプルホールドされた前記第2出力信号との差動出力信号を出力する差動出力部と、を有する固体撮像素子と、
前記固体撮像素子に供給する電源電圧値を、当該固体撮像素子が稼働する第1の電圧値から当該第1の電圧値より低い電圧であって、前記電荷検出部に所定の電荷を逆注入可能とする第2の電圧値に設定可能とする電源電圧制御部と、
前記電荷検出部に所定の電荷を逆注入するため前記リセット部におけるリセット動作を制御するリセット制御部と、
前記固体撮像素子から出力した前記撮像信号のエッジを抽出し、前記複数の画素に係る有効画素開始位置を算出する有効画素開始位置算出部と、
を備え、
前記有効画素開始位置算出部は、
前記第1サンプルホールド部において前記第1出力信号をサンプルホールドする第1サンプルホールド動作時と前記第2サンプルホールド部において前記第2出力信号をサンプルホールドする第2サンプルホールド動作時との間において、前記電源電圧制御部を制御して、前記固体撮像素子に供給する電源電圧値を前記第2の電圧値に設定し、かつ、前記リセット制御部を制御して、前記リセット部におけるリセット動作を実行させることにより前記電荷検出部をリセットせしめ、当該電荷検出部に所定の電荷が逆注入された状態にされた後、前記固体撮像素子から出力した前記撮像信号のエッジを抽出し、前記複数の画素に係る有効画素開始位置を算出する。
本発明によれば、内視鏡自体の遮光構造、配光特性または組立精度等によらず、固体撮像素子における有効画素開始位置を正確に算出することができる撮像装置を提供することができる。
図1は、本発明の第1の実施形態の内視鏡を含む内視鏡システムの構成を示す図である。 図2は、第1の実施形態の内視鏡を含む内視鏡システムの電気的な構成を示すブロック図である。 図3は、第1の実施形態の内視鏡における撮像素子の構成を示すブロック図である。 図4は、第1の実施形態の内視鏡における撮像素子の詳細な構成を示す電気回路図である。 図5は、第1の実施形態の内視鏡において、内視鏡構造等に問題が無いとした場合における有効画素開始位置の算出工程を示すフローチャートである。 図6は、第1の実施形態の内視鏡において、内視鏡構造等に問題が無いとした場合における有効画素開始位置の算出工程を示すタイミングチャートである。 図7は、第1の実施形態の内視鏡において、水平同期信号と有効画素開始位置との位相差を求める際の様子を示したタイミングチャートである。 図8は、第1の実施形態の内視鏡における有効画素開始位置の算出工程を示すフローチャートである。 図9は、第1の実施形態の内視鏡における有効画素開始位置の算出工程を示すタイミングチャートである。 図10は、本発明の第2の実施形態の内視鏡における撮像素子の詳細な構成を示す電気回路図である。 図11は、第2の実施形態の内視鏡において、内視鏡構造等に問題が無いとした場合における有効画素開始位置の算出工程を示すタイミングチャートである。 図12は、第2の実施形態の内視鏡における有効画素開始位置の算出工程を示すタイミングチャートである。 図13は、従来の内視鏡において、内視鏡自体の遮光構造、配光特性および組立精度に問題が無く、有効画素領域とOB画素領域との境界に光が適切に照射されている状態を示した説明図である。 図14は、従来の内視鏡において、内視鏡自体の遮光構造、配光特性または組立精度に問題が有り、有効画素領域とOB画素領域との境界に光が十分に照射されていない状態を示した説明図である。 図15は、従来の内視鏡において、内視鏡自体の遮光構造、配光特性および組立精度に問題が無く、有効画素領域とOB画素領域との境界に光が適切に照射されている状態における有効画素開始位置を示した説明図である。 図16は、従来の内視鏡において、内視鏡自体の遮光構造、配光特性および組立精度に問題が無い状態における、伝送ケーブルによる撮像信号の遅延状態を示したタイミングチャートである。 図17は、従来の内視鏡において、内視鏡自体の遮光構造、配光特性または組立精度に問題が有り、有効画素領域とOB画素領域との境界に光が十分に照射されていない状態における有効画素開始位置を示した説明図である。 図18は、従来の内視鏡において、内視鏡自体の遮光構造、配光特性または組立精度に問題が有る状態における、伝送ケーブルによる撮像信号の遅延状態を示したタイミングチャートである。
以下、図面を参照して本発明の実施形態を説明する。
<第1の実施形態>
図1は、本発明の第1の実施形態の撮像装置を含む内視鏡システムの構成を示す図であり、図2は、第1の実施形態の撮像装置を含む内視鏡システムの電気的な構成を示すブロック図である。
なお、本実施形態においては、撮像装置として、固体撮像素子を有し被検体の内部の被写体を撮像する内視鏡を例に挙げて説明する。
図1、図2に示すように、本第1の実施形態の撮像装置(内視鏡)を有する内視鏡システム1は、被検体の観察し撮像する内視鏡2と、当該内視鏡2に接続され前記撮像信号を入力し所定の画像処理を施すビデオプロセッサ3と、被検体を照明するための照明光を供給する光源装置4と、撮像信号に応じた観察画像を表示するモニタ装置5と、を有している。
内視鏡2は、被検体の体腔内等に挿入される細長の挿入部6と、挿入部6の基端側に配設され術者が把持して操作を行う内視鏡操作部10と、内視鏡操作部10の側部から延出するように一方の端部が設けられたユニバーサルコード41と、を有して構成されている。
挿入部6は、先端側に設けられた硬質の先端部7と、先端部7の後端に設けられた湾曲自在の湾曲部8と、湾曲部8の後端に設けられた長尺かつ可撓性を有する可撓管部9と、を有して構成されている。
前記ユニバーサルコード41の基端側にはコネクタ42が設けられ、当該コネクタ42は光源装置4に接続されるようになっている。すなわち、コネクタ42の先端から突出する流体管路の接続端部となる口金(図示せず)と、照明光の供給端部となるライトガイド口金(図示せず)とは光源装置4に着脱自在で接続されるようになっている。
さらに、前記コネクタ42の側面に設けた電気接点部には接続ケーブル43の一端が接続されるようになっている。そして、この接続ケーブル43には、例えば内視鏡2における撮像素子22(図2参照)からの撮像信号を伝送する信号線が内設され、また、他端のコネクタ部はビデオプロセッサ3に接続されるようになっている。
なお、前記コネクタ42には、後述するAFE24、FPGA25、VDD電圧制御部26、撮像素子制御部27、および、当該内視鏡2における固有の所定ID情報(例えば、遅延データ等)を記憶した記憶部28等(図2参照)が配設されている(これら各構成要素については、後に詳述する)。
ここで、本実施形態の内視鏡2の構成を説明するに先立って、本願発明の課題を明確にするために、内視鏡自体の遮光構造、配光特性または組立精度が、固体撮像素子における有効画素開始位置の算出に及ぼす影響について、図13〜図18を参照して説明する。
上述したように、伝送ケーブルに起因する、内視鏡固有の撮像信号に係る「正しい遅延量」を正確に求めるためには、固体撮像素子における有効画素開始位置を正確に算出することを要するが、内視鏡自体の遮光構造、配光特性または組立精度等により、この有効画素開始位置を正確に求めることが困難となる虞があった。
この場合、すなわち、有効画素開始位置を誤って認識してしまうと、上述した理由により、伝送ケーブルに起因する「遅延量」についても間違って認識しまうこととなり、上記の「正しい遅延量」を得ることができない虞があった。
図13、図15、図16は、従来の内視鏡において、内視鏡自体の遮光構造、配光特性および組立精度に問題が無く、有効画素領域とOB画素領域との境界に光が適切に照射されている状態を示した図であって、図15は、有効画素開始位置を示した説明図であり、図16は、伝送ケーブルによる撮像信号の遅延状態を示したタイミングチャートである。
図13、図15に示すように、内視鏡自体の遮光構造、配光特性および組立精度に問題が無い状態において撮像素子に光を照射すると、有効画素領域(図15中、「画面」と表示)とOB画素領域81との境界には光が適切に照射されることとなる。
すなわちこのとき、図15における有効画素領域とOB画素領域81との境界の拡大部が示すように、複数の画素のうちOB画素領域81における画素82に対して、直近の有効画素面の左端の画素83には適切に光が照射され、当該画素83からは適切に撮像信号が出力されることとなる。
そしてこのとき内視鏡は、この画素83の位置を当該内視鏡における「有効画素開始位置」として算出することができる。
ところで、上述したように、内視鏡先端部に配設された撮像素子からの撮像信号(図16においては、先端部撮像信号)は、伝送ケーブルにおいて所定の遅延を生じることとなり、例えば、図16に示す水平同期信号に対して、後段側(図16においてはCV部(ビデオプロセッサ3)撮像信号)において1クロック分の遅延を生じることとなる。
ここで、上述したように、有効画素開始位置を正確に算出できている以上、この遅延分(今の場合1クロック分)は、内視鏡固有の情報として正しく認識できるため、後段側において支障を来すことはない。
一方、内視鏡自体の遮光構造、配光特性または組立精度に問題が有り、有効画素領域とOB画素領域との境界に光が十分に照射されていない状態を考える。
図14、図17、図18は、従来の内視鏡において、内視鏡自体の遮光構造、配光特性または組立精度に問題が有り、有効画素領域とOB画素領域との境界に光が十分に照射されていない状態を示した図であって、図17は、有効画素開始位置を示した説明図であり、図18は、伝送ケーブルによる撮像信号の遅延状態を示したタイミングチャートである。
図14、図17に示すように、内視鏡自体の遮光構造、配光特性および組立精度に問題が有る状態において撮像素子に光を照射すると、有効画素領域(図17中、「画面」と表示)とOB画素領域81との境界には光が十分に照射されないこととなる(図17中、斜線部分)。
すなわちこのとき、図17における有効画素領域とOB画素領域81との境界の拡大部が示すように、複数の画素のうちOB画素領域81における画素82に対して、直近の有効画素面の左端の画素83には十分に光が照射されておらず、当該画素83からは撮像信号が出力されない虞がある。
このとき内視鏡は、この画素83を有効画素開始位置として算出することはなく、さらに右方向の画素(例えば、右隣の画素)の位置を当該内視鏡における「有効画素開始位置」として算出することとなる。
そして、もともと伝送ケーブルの遅延量が1クロック分である内視鏡の場合において、上述したように正しく有効画素開始位置を算出することができずに例えば、画素83の右隣の画素の位置を有効画素開始位置と算出してしまうと、間違った遅延量(例えば、2クロック分の遅延量;図18参照)として認識される虞がある。
そして、この「正しい遅延量」を得ることができない場合、後段の画像処理において、例えば、色ずれ、または、レンズとの中心位置ずれという不具合を生じる虞がある。
本願発明は、上述した事情に鑑みてなされたものであり、内視鏡自体の遮光構造、配光特性または組立精度等によらず、固体撮像素子における有効画素開始位置を正確に算出することができる撮像装置(内視鏡)を提供するものである。
図2に戻って、内視鏡2は、挿入部6の先端部7に配設された、被写体像を入光するレンズを含む対物光学系21と、対物光学系21における結像面に配設された撮像素子22と、を備える。
また内視鏡2は、撮像素子22から延出され、当該撮像素子22から挿入部6、操作部10、ユニバーサルコード41を経て、コネクタ42に至るまで配設されたケーブル23を備える。
さらに内視鏡2は、ケーブル23の後端側であってコネクタ42に配設された、AFE24、FPGA25、VDD電圧制御部26、撮像素子制御部27、および、記憶部28等を有する。
撮像素子22は、本実施形態においてはCMOSイメージセンサにより構成される固体撮像素子である。以下、撮像素子22の詳細な構成について図2および図3を参照して説明する。
図2に示すように、撮像素子22は、撮像素子制御部27からの撮像素子制御信号、および、VDD電圧制御部26からのVDD制御信号を受け撮像素子内部の各回路を制御する制御部51と、光電変換素部(PD)等を備える撮像部52と、撮像部52からの出力信号に対して相関二重サンプリング処理を施し撮像信号として出力するCDS部53と、を有する。
撮像部52は、図4に示すように、フォトダイオード(PD;Photodiode)と、四つのトランジスタ(リセットトランジスタMRST,電荷転送電極MTG,増幅トランジスタM,行選択トランジスタMSEL)、電荷検出用浮遊拡散層(FD;Floating Diffusion、以下、電荷検出部)およびVDD電源制御部61と、で主に構成される。
フォトダイオード(PD;Photodiode)は、入射光に応じて光を光電変換して所定の信号電荷を蓄積する光電変換素部である。
電荷転送電極MTGは、光電変換部であるフォトダイオード(PD)において蓄積された信号電荷を転送する転送ゲートであり、そのオン・オフは、制御部51からの電荷転送パルスである制御信号φTGに制御される。
電荷検出部(FD;Floating Diffusion)は、前記電荷転送電極MTGに接続され、前記光電変換部(PD)において蓄積された前記信号電荷を検出する。
リセットトランジスタMRSTは、前記電荷検出部(FD)をリセットするためのリセット動作を実行するリセット部であり、そのオン・オフは、制御部51からの制御信号φRSTに制御される。
増幅トランジスタMは、前記電荷検出部(FD)に蓄積された電荷を増幅する。
行選択トランジスタMSELは、増幅トランジスタMの出力端に接続され、制御部51からの制御信号φSELに制御され、増幅トランジスタMの出力信号に対して“行”を選択する。
VDD電源制御部61は、制御部51に制御され、撮像素子22に供給する電源電圧値(VDD)を、撮像素子22が稼働する第1の電圧値(VDD)から当該VDDより低い電圧であって、前記電荷検出部(FD)に所定の電荷を逆注入可能とする第2の電圧値(VDDRST)に設定可能とする電源電圧制御部の一部を構成する。
なお、撮像部52は、当該CMOSイメージセンサである撮像素子22において各画素毎に配設されるようなっている。すなわち、撮像部52は複数の画素を有する。
前記撮像部52は、さらに、画素アレイの外側であって前記行選択トランジスタMSELの出力端に接続された垂直出力線に設けられた定電流源IBIASを有する。なお、前記増幅トランジスタMと当該定電流源IBIASとでソースフォロアを構成し、撮像部52の出力信号を電圧信号として読み出すようになっている。
このような構成をなす撮像素子22(撮像部52)は、制御部51の制御下に、所定の期間、フォトダイオード(PD)に蓄積された信号電荷が電荷転送パルスφTGによりフォトダイオード(PD)から電荷検出部(FD)に転送される。
そして、撮像素子22(撮像部52)は、制御部51の制御下に、当該転送の直前にリセットトランジスタMRSTをリセット動作させて、電荷検出部(FD)をリセット電圧に初期化する。
その後、撮像素子22(撮像部52)は、電荷検出部(FD)における初期化電圧と信号電荷転送後の電圧とを行選択トランジスタMSELを介して、増幅トランジスタMと定電流源IBIAS とで構成されるソースフォロアで電圧信号として読み出すようになっている。
次に前記CDS部53は、撮像部52の出力端(すなわち、垂直出力線)に接続され、撮像部52の出力信号に対して相関二重サンプリング(CDS;correlated double sampling)処理を施し撮像信号として出力する。
すなわち、CDS部53は、第1サンプルホールド部である第1サンプルホールドスイッチSHRおよび第1容量Crと、第2サンプルホールド部である第2サンプルホールドスイッチSHSおよび第2容量Csと、差動出力部71と、を有する。
前記第1サンプルホールド部(SHRおよびCr)は、制御信号φTGにより電荷転送電極MTGがオフされた状態において、リセットトランジスタMRSTにおけるリセット動作(制御信号φRSTの制御)により電荷検出部(FD)がリセットされた際の当該電荷検出部(FD)に係るリセットノイズ信号に基づく第1出力信号をサンプルホールドする。
前記第2サンプルホールド部(SHSおよびCs)は、制御信号φTGにより電荷転送電極MTGががオンされた状態において、フォトダイオード(PD)が蓄積した信号電荷を電荷検出部(FD)に転送した後、当該電荷検出部(FD)における前記リセットノイズ信号を含む検出信号に基づく第2出力信号をサンプルホールドする。
差動出力部71は、前記第1サンプルホールド部においてサンプルホールドされた前記第1出力信号と、前記第2サンプルホールド部においてサンプルホールドされた前記第2出力信号との差動出力信号を出力する。
このように、固体撮像素子である撮像素子22は上述した構成をなし、また、差動出力部71からの前記差動出力信号を、当該撮像素子22のアナログ撮像信号として後段に向けて(ケーブル23を経由して)出力するようになっている。
ケーブル23は、撮像素子22を制御するための各種駆動信号(撮像素子制御信号)、および、上述したVDD電圧を制御するためのVDD制御信号等の制御信号、並びに、当該撮像素子22からのアナログの撮像信号を伝送するケーブルであり、本実施形態においては、撮像素子22からコネクタ42に至るまで配設されている。
また、ケーブル23を伝送するアナログ撮像信号は、上述したように、当該ケーブル23において所定の遅延を生じることとなる(図16参照)。
AFE(アナログフロントエンド)24は、本実施形態においては上述したコネクタ42に配設され、ケーブル23を経たアナログ撮像信号に対して所定の処理を行う回路であり、アナログ/デジタル変換器(AD)等を備え、当該撮像信号をデジタル撮像信号として出力する。
FPGA25は、いわゆるFPGA(Field Programmable Gate Array)により構成され、ビデオプロセッサ3からの動作制御を受け、各種のタイミング調整を行うタイミング調整部25aを形成する。
<有効画素開始位置算出部について>
また、後述するようにFPGA25におけるタイミング調整部25aは、固体撮像素子である撮像素子22から出力したアナログ撮像信号のエッジを抽出し、前記複数の画素に係る有効画素開始位置を算出する有効画素開始位置算出部としての役目を果たす。
具体的にタイミング調整部25aは「有効画素開始位置算出部」としての機能として、前記第1サンプルホールド部において前記第1出力信号をサンプルホールドする第1サンプルホールド動作時と前記第2サンプルホールド部において前記第2出力信号をサンプルホールドする第2サンプルホールド動作時との間において、VDD電圧制御部26、制御部51およびVDD電源制御部61を制御して、撮像素子22に供給する電源電圧値(VDD)を前記第2の電圧値(VDDRST)に設定するようになっている。
なお、撮像素子22に供給する電源電圧値(VDD)は、FPGA25の制御により、通常は、所定の電圧(第1VDD)に設定されるようになっている。
また、タイミング調整部25aは、撮像素子制御部27、制御部51およびリセットトランジスタMRSTを制御してリセット動作を実行させることにより前記電荷検出部(FD)をリセットせしめるようになっている。
そしてタイミング調整部25aは、電源電圧値(VDD)を第2の電圧値(VDDRST)に低減し、かつ、リセットトランジスタMRSTを制御して電荷検出部(FD)をリセットさせるように制御することにより、当該電荷検出部(FD)に所定の電荷を逆注入するようになっている。
さらに、タイミング調整部25aは、当該電荷検出部(FD)に所定の電荷を逆注入させた後、撮像素子22から出力した前記アナログ撮像信号のエッジを抽出し、複数の画素に係る有効画素開始位置を算出するようになっている。
なお、本実施形態においては、工場出荷時等において撮像素子22が遮光された状態で前記電荷検出部(FD)に電荷を逆注入し、撮像素子22から出力したアナログ撮像信号のエッジを抽出し、前記複数の画素に係る有効画素開始位置を算出するものととした。
しかしながら、本願発明は、撮像素子22が遮光されているかいないか関わらず、前記電荷検出部(FD)に電荷を逆注入することで、撮像信号のエッジを抽出し、有効画素開始位置を算出することができる。
VDD電圧制御部26は、FPGA25に接続され、前記タイミング調整部25aに制御され、撮像素子22に供給する電源電圧値(VDD)を前記第2の電圧値(VDDRST)に設定するための制御信号、VDD制御信号を制御部51に向けて出力するようになっている。
撮像素子制御部27は、FPGA25に接続され、前記タイミング調整部25aに制御され、撮像素子22を制御する信号、特に、リセットトランジスタMRSTにおけるリセット動作を実行させるための制御信号、撮像素子制御信号を制御部51に向けて出力するようになっている。
記憶部28は、当該内視鏡2における固有の情報、例えば、ケーブル23に起因する遅延データ等を不揮発的に記憶する記憶部である。
<有効画素開始位置の算出方法>
次に、本実施形態における有効画素開始位置の算出方法について説明する。
まず、内視鏡自体の遮光構造、配光特性および組立精度等に問題が無いとした場合における有効画素開始位置の算出工程について説明する。
図5は、第1の実施形態の内視鏡において、内視鏡構造等に問題が無いとした場合の、有効画素開始位置の算出工程を示すフローチャートであり、図6は、同タイミングチャートである。
さらに、図7は、第1の実施形態の内視鏡において、水平同期信号(HD)と有効画素(DE)における有効画素開始位置との位相差を求める際の様子を示したタイミングチャートである。
図5、図6に示すように、工場出荷時において撮像素子22に所定の光が照射されると(ステップS11)、撮像素子22は露光制御と共に読み出し制御され、所定の画像情報を取得する(ステップS12)。
このとき、FPGA25の制御下に、VDD電圧制御部26および撮像部52における制御部51が制御され、撮像素子22に供給する電源電圧値(VDD)は、通常の第1VDDに設定される。
その後、撮像部52における制御部51は、タイミング調整部25aの制御下に制御信号φSELを“H”にして行選択トランジスタMSELをオンする。
次に制御部51は、この行選択トランジスタMSELがオンした状態において、φRSTを“H”にし、リセットトランジスタMRSTをリセット動作させて、電荷検出部(FD)をリセット電圧に初期化する。
すなわち、制御部51は、フォトダイオード(PD)から電荷検出部(FD)への電荷の転送の直前にリセットトランジスタMRSTをリセット動作させて、電荷検出部(FD)をリセット電圧に初期化する。
そして制御部51は、電荷検出部(FD)における初期化電圧の電圧を行選択トランジスタMSELを介して、増幅トランジスタMと定電流源IBIAS とで構成されるソースフォロアで電圧信号として読み出し出力する。
その後CDS部53における第1サンプルホールド部(SHRおよびCr)は、制御部51の制御下に、電荷転送電極MTGがオフされた状態において、制御信号φRを“H”にし、電荷検出部(FD)に係るリセットノイズ信号に基づく第1出力信号をサンプルホールドする。
すなわち、第1サンプルホールド部(SHRおよびCr)は、リセットトランジスタMRSTにおけるリセット動作(制御信号φRSTの制御)により電荷検出部(FD)がリセットされた際の当該電荷検出部(FD)に係るリセットノイズ信号に基づく第1出力信号をサンプルホールドする。
その後、撮像部52における制御部51は、電荷転送パルスφTGを出力し、フォトダイオード(PD)に蓄積された信号電荷をフォトダイオード(PD)から電荷検出部(FD)に転送する。
その後CDS部53における第2サンプルホールド部(SHSおよびCs)は、制御部51の制御下に、電荷転送電極MTGがオンされた状態において、制御信号φSを“H”にし、電荷検出部(FD)における前記リセットノイズ信号を含む検出信号に基づく第2出力信号をサンプルホールドする。
すなわち、第2サンプルホールド部(SHSおよびCs)は、フォトダイオード(PD)が蓄積した信号電荷を電荷検出部(FD)が転送された後、当該電荷検出部(FD)における前記リセットノイズ信号を含む検出信号に基づく第2出力信号をサンプルホールドする。
その後、制御部51は、制御信号φYを“H”にし、差動出力部71を稼働せしめ、前記第1サンプルホールド部においてサンプルホールドされた前記第1出力信号と、前記第2サンプルホールド部においてサンプルホールドされた前記第2出力信号との差動出力信号を出力する。
そして、差動出力部71からの前記差動出力信号は、当該撮像素子22のアナログ撮像信号としてケーブル23を経由して後段(AFE24、FPGA25)に向けて出力される。
図5に戻って、その後、内視鏡2におけるFPGA25は、タイミング調整部25aの制御下に、撮像素子22において取得した画像(アナログ撮像信号)からエッジ部(OB画素(PD有り)の開始位置)を抽出し(ステップS13)、抽出したエッジ部の画素位置から有効画素開始位置を算出すると共に、当該有効画素開始位置と水平同期信号との位相差を求める(図5のステップS14および図7参照)。
ここで、OB画素(PD有り)の開始位置から有効画素までの距離は、内視鏡ごと(撮像素子ごと)に決まる値であるため、抽出したエッジ部位置(OB画素の開始位置)から有効画素開始位置を算出することが可能となる。
なお、本実施形態においては、OB画素としてPD有りのものと採用したが、仮にOB画素としてPDが無い場合は、抽出したエッジ部が有効画素開始位置となる。
この後、内視鏡2は、算出した有効画素開始位置および前記位相差の情報から、当該内視鏡2に係る「遅延量」のデータを求め、当該遅延量のデータを記憶部28に記憶する(ステップS15)。
次に、内視鏡自体の遮光構造、配光特性および組立精度等に問題が有る場合であっても対応可能な本実施形態における有効画素開始位置の算出工程について説明する。
図8は、第1の実施形態の内視鏡における有効画素開始位置の算出工程を示すフローチャートであり、図9は、同タイミングチャートである。
また、図7は、第1の実施形態の内視鏡において、水平同期信号(HD)と有効画素(DE)における有効画素開始位置との位相差を求める際の様子を示したタイミングチャートである。
図8、図9に示すように、本実施形態の内視鏡2は、工場出荷維時における撮像素子22が遮光状態の際に、FPGA25におけるタイミング調整部25aの制御下に、VDD電圧制御部26が制御部51およびVDD電源制御部61を制御して、所定のタイミングで撮像素子22の電源電圧(VDD)を制御する(ステップS21)。
タイミング調整部25aの制御下に、撮像素子制御部27が制御部51を制御して、所定のタイミングで制御信号φRSTを制御する(ステップS21)。
すなわち、内視鏡自体の遮光構造、配光特性および組立精度等に問題が有る場合における有効画素開始位置の算出工程においても、図9に示すように、まずは、FPGA25の制御下に、VDD電圧制御部26および撮像部52における制御部51が制御され、撮像素子22に供給する電源電圧値(VDD)は、通常の第1VDDに設定される。
その後、上記同様に、すなわち、内視鏡自体の遮光構造、配光特性および組立精度等に問題が無い場合と同様に、撮像部52における制御部51は、制御信号φSELを“H”にして行選択トランジスタMSELをオンし、この行選択トランジスタMSELがオンした状態において、リセットトランジスタMRSTをリセット動作させて、電荷検出部(FD)をリセット電圧に初期化する。
その後CDS部53における第1サンプルホールド部(SHRおよびCr)は、上記同様に、制御部51の制御下に、電荷転送電極MTGがオフされた状態において、制御信号φRを“H”にし、電荷検出部(FD)に係るリセットノイズ信号に基づく第1出力信号をサンプルホールドする。
その後、撮像部52における制御部51は、電荷転送パルスφTGを出力し、フォトダイオード(PD)に蓄積された信号電荷をフォトダイオード(PD)から電荷検出部(FD)に転送する。
ここで本実施形態においては、タイミング調整部25aは、所定のタイミングで、VDD電圧制御部26、制御部51およびVDD電源制御部61を制御して、撮像素子22に供給する電源電圧値(VDD)を前記第2の電圧値(VDDRST)に設定する。
具体的には、図9に示すように、CDS部53における第1サンプルホールド部において前記第1出力信号をサンプルホールドする第1サンプルホールド動作時と前記第2サンプルホールド部において前記第2出力信号をサンプルホールドする第2サンプルホールド動作時との間において、タイミング調整部25aは、VDD電源制御部61等を制御して撮像素子22に供給する電源電圧値(VDD)を前記第2の電圧値(VDDRST)に設定する。
なお、この第2の電圧値(VDDRST)は、電荷検出部(FD)に対する前記逆注入が起きるVDDよりも低い電圧レベル値に設定することが望ましい。
さらに、タイミング調整部25aは、前記第1サンプルホールド動作時と前記第2サンプルホールド動作時との間であって、前記電源電圧値(VDD)が前記第2の電圧値(VDDRST)に設定されている間において、撮像素子制御部27、制御部51およびリセットトランジスタMRSTを制御してリセット動作を実行させることにより前記電荷検出部(FD)をリセットさせる。
すなわち、タイミング調整部25aは、当該タイミングにおいて、電源電圧値(VDD)を第2の電圧値(VDDRST)に低減し(例えば、本実施形態ではほぼグランドレベル)、かつ、リセットトランジスタMRSTををリセット動作させて電荷検出部(FD)をリセットさせるように制御することにより、当該電荷検出部(FD)に所定の電荷を逆注入させる(図8におけるステップS22)。
その後、タイミング調整部25aは、電源電圧値(VDD)を通常の第1の電圧値(第1VDD)に戻すようにVDD電源制御部61等を制御する。
そして、電源電圧値(VDD)が通常の第1の電圧値(第1VDD)に戻された後、タイミング調整部25aの制御下による制御部51の制御により、第2サンプルホールド部(SHSおよびCs)は、電荷転送電極MTGがオンされた状態において、制御信号φSを“H”にし、所定の電荷が逆注入された電荷検出部(FD)における検出信号に基づく第2出力信号をサンプルホールドする。
その後、制御部51は、上記同様に、制御信号φYを“H”にし、差動出力部71を稼働せしめ、前記第1サンプルホールド部においてサンプルホールドされた前記第1出力信号と、前記第2サンプルホールド部においてサンプルホールドされた前記第2出力信号(所定の電荷が逆注入された電荷検出部(FD)に係る信号)との差動出力信号を出力する。
そして、差動出力部71からの前記差動出力信号は、当該撮像素子22のアナログ撮像信号として、上記同様に、ケーブル23を経由して後段(AFE24、FPGA25)に向けて出力される。
図8に戻って、その後、内視鏡2におけるFPGA25は、タイミング調整部25aの制御下に、撮像素子22において取得した画像(アナログ撮像信号)を取得し(ステップS23)、次いでエッジ部(OB画素(PD有り)の開始位置)を抽出し(ステップS24)、抽出したエッジ部の画素位置から有効画素開始位置を算出すると共に、当該有効画素開始位置と水平同期信号との位相差を求める(図8のステップS25および図7参照)。
ここで、OB画素(PD有り)の開始位置から有効画素までの距離は、内視鏡ごと(撮像素子ごと)に決まる値であるため、抽出したエッジ部位置(OB画素の開始位置)から有効画素開始位置を算出することが可能となる。
なお、本実施形態においては、OB画素としてPD有りのものと採用したが、仮にOB画素としてPDが無い場合は、抽出したエッジ部が有効画素開始位置となる。
この後、内視鏡2は、算出した有効画素開始位置および前記位相差の情報から、当該内視鏡2に係る「遅延量」のデータを求め、当該遅延量のデータを不揮発メモリである記憶部28に記憶する(ステップS26)。
以上説明したように、本実施形態においては、撮像素子22の有効画素開始位置を算出する工程において、CDS部53における第1サンプルホールド動作時と第2サンプルホールド動作時との間において、撮像素子22に供給する電源電圧値(VDD)を通常より低い第2の電圧値(VDDRST)に設定すると共に、前記第1サンプルホールド動作時と前記第2サンプルホールド動作時との間であって、前記電源電圧値(VDD)が前記第2の電圧値(VDDRST)に設定されている間において、リセットトランジスタMRSTを制御してリセット動作を実行させることにより電荷検出部(FD)をリセットさせて所定の電荷が逆注入させる。
そして、当該所定の電荷が逆注入された電荷検出部(FD)における検出信号に基づく第2出力信号をサンプルホールドすることにより、前記第1サンプルホールド部においてサンプルホールドされた前記第1出力信号と、前記第2サンプルホールド部においてサンプルホールドされた前記第2出力信号(所定の電荷が逆注入された電荷検出部(FD)に係る信号)との差動出力信号を得ることができ、当該差動出力信号に係るアナログ撮像信号を用いることで、撮像素子22に照射される光によらず、有効画素開始位置を正確に算出することができる。
換言すれば、内視鏡自体の遮光構造、配光特性または組立精度に問題が有り、有効画素領域とOB画素領域との境界に光が十分に照射されていない状態が発生し得る場合であっても、有効画素開始位置を正確に算出することを可能とし、ひいては、ケーブルに起因する撮像信号の遅延量を「正しい遅延量」として求めることができる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
図10は、本発明の第2の実施形態の内視鏡における撮像素子の詳細な構成を示す電気回路図である。また、図11は、第2の実施形態の内視鏡において、内視鏡構造等に問題が無いとした場合における有効画素開始位置の算出工程を示すタイミングチャートであり、図12は、第2の実施形態の内視鏡における有効画素開始位置の算出工程(内視鏡構造等に問題が有る場合の算出工程)を示すタイミングチャートである。
本第2の実施形態の検査システムおよび内視鏡システムは、その基本的な構成は第1の実施形態と同様であり、撮像素子22における撮像部において行選択トランジスタMSELを備えないタイプの撮像素子を採用したことを特徴とするものである。
したがって、ここでは第1の実施形態との差異のみの説明にとどめ、共通する部分の説明については省略する。
図10に示すように、第2実施形態における撮像素子は、第1の実施形態における撮像部52に比して行選択トランジスタMSELを省いた撮像部101、102、103・・・を有する。
また、これら撮像部101、102、103の出力信号(増幅トランジスタの出力)は、いずれも垂直出力線に接続され、当該垂直出力線は、第1の実施形態と同様のCDS部104が接続されている。
その他の構成は、第1の実施形態と同様であるので、ここでの詳しい説明は省略する。
本第2の実施形態の撮像素子の作用は、行選択トランジスタMSELを備えないほかは第1の実施形態における撮像素子22と同様であり、図11および図12に示すように、撮像素子101,102,103・・・の有効画素開始位置を算出する工程において、CDS部104における第1サンプルホールド動作時と第2サンプルホールド動作時との間において、撮像素子に供給する電源電圧値(VDD)を通常より低い第2の電圧値(VDDRST)に設定すると共に、前記第1サンプルホールド動作時と前記第2サンプルホールド動作時との間であって、前記電源電圧値(VDD)が前記第2の電圧値(VDDRST)に設定されている間において、リセットトランジスタMRSTを制御してリセット動作を実行させることにより所定の電荷が逆注入させるようになっている。
したがって、本第2の実施形態においても、第1の実施形態と同様に、当該所定の電荷が逆注入された電荷検出部(FD)における検出信号に基づく第2出力信号をサンプルホールドすることにより、前記第1サンプルホールド部においてサンプルホールドされた前記第1出力信号と、前記第2サンプルホールド部においてサンプルホールドされた前記第2出力信号(所定の電荷が逆注入された電荷検出部(FD)に係る信号)との差動出力信号を得ることができ、当該差動出力信号に係るアナログ撮像信号を用いることで、撮像素子に照射される光によらず、有効画素開始位置を正確に算出することができる。
換言すれば、第2の実施形態によっても、内視鏡自体の遮光構造、配光特性または組立精度に問題が有り、有効画素領域とOB画素領域との境界に光が十分に照射されていない状態が発生し得る場合であっても、有効画素開始位置を正確に算出することを可能とし、ひいては、ケーブルに起因する撮像信号の遅延量を「正しい遅延量」として求めることができる。
本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
1…内視鏡システム
2…内視鏡
3…ビデオプロセッサ
4…光源
5…モニタ装置
21…対物光学系
22…撮像素子
23…ケーブル
24…アナログフロントエンド回路(AFE)
25…FPGA
25a…タイミング調整部(有効画素開始位置算出部)
26…VDD電圧制御部
27…撮像素子制御部
28…記憶部
51…制御部
52…撮像部
53…CDS部
61…VDD電源制御部
PD…フォトダイオード
TG…電荷転送電極
FD…電荷検出部
RST…リセットトランジスタ
…増幅トランジスタ
SEL…行選択トランジスタ
BIAS…電流源
SHR…第1サンプルホールドスイッチ
SHS…第2サンプルホールドスイッチ
Cr…第1容量
Cs…第2容量
71…差動出力部

Claims (4)

  1. 入射光に応じて光を光電変換して信号電荷を蓄積する光電変換素部と、
    前記光電変換部において蓄積された信号電荷を転送する電荷転送部と、
    前記電荷転送部に接続され、前記光電変換部において蓄積された前記信号電荷を検出する電荷検出部と、
    前記電荷検出部をリセットするためのリセット動作を実行するリセット部と、
    を有する画素を複数備え、
    前記光電変換部において蓄積された前記信号電荷に基づく撮像信号を出力する固体撮像素子であって、
    前記電荷転送部がオフされた状態において、前記リセット部におけるリセット動作により前記電荷検出部がリセットされた際の当該電荷検出部に係るリセットノイズ信号に基づく第1出力信号をサンプルホールドする第1サンプルホールド部と、
    前記電荷転送部がオンされた状態において、前記光電変換部が蓄積した信号電荷を前記電荷検出部に転送した後、当該電荷検出部における前記リセットノイズ信号を含む検出信号に基づく第2出力信号をサンプルホールドする第2サンプルホールド部と、
    前記第1サンプルホールド部においてサンプルホールドされた前記第1出力信号と、前記第2サンプルホールド部においてサンプルホールドされた前記第2出力信号との差動出力信号を出力する差動出力部と、
    を有する固体撮像素子と、
    前記固体撮像素子に供給する電源電圧値を、当該固体撮像素子が稼働する第1の電圧値から当該第1の電圧値より低い電圧であって、前記電荷検出部に所定の電荷を逆注入可能とする第2の電圧値に設定可能とする電源電圧制御部と、
    前記電荷検出部に所定の電荷を逆注入するため前記リセット部におけるリセット動作を制御するリセット制御部と、
    前記固体撮像素子から出力した前記撮像信号のエッジを抽出し、前記複数の画素に係る有効画素開始位置を算出する有効画素開始位置算出部と、
    を備え、
    前記有効画素開始位置算出部は、
    前記第1サンプルホールド部において前記第1出力信号をサンプルホールドする第1サンプルホールド動作時と前記第2サンプルホールド部において前記第2出力信号をサンプルホールドする第2サンプルホールド動作時との間において、前記電源電圧制御部を制御して、前記固体撮像素子に供給する電源電圧値を前記第2の電圧値に設定し、かつ、前記リセット制御部を制御して、前記リセット部におけるリセット動作を実行させることにより前記電荷検出部をリセットせしめ、当該電荷検出部に所定の電荷が逆注入された状態にされた後、前記固体撮像素子から出力した前記撮像信号のエッジを抽出し、前記複数の画素に係る有効画素開始位置を算出する
    ことを特徴とする撮像装置。
  2. 前記有効画素開始位置算出部により算出された前記有効画素開始位置に係る情報を記憶する記憶部を備える請求項1に記載の撮像装置。
  3. 前記有効画素開始位置に係る情報は、前記有効画素開始位置と水平同期信号との位相差に係る情報である
    ことを特徴とする請求項2に記載の撮像装置。
  4. 前記固体撮像素子に接続され、前記撮像信号を伝送する伝送ケーブルを備え、
    前記有効画素開始位置に係る情報は、前記伝送ケーブルを伝送する前記撮像信号の遅延量の情報である
    ことを特徴とする請求項3に記載の撮像装置。
JP2016091532A 2016-04-28 2016-04-28 撮像装置 Pending JP2017200129A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016091532A JP2017200129A (ja) 2016-04-28 2016-04-28 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016091532A JP2017200129A (ja) 2016-04-28 2016-04-28 撮像装置

Publications (1)

Publication Number Publication Date
JP2017200129A true JP2017200129A (ja) 2017-11-02

Family

ID=60239634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016091532A Pending JP2017200129A (ja) 2016-04-28 2016-04-28 撮像装置

Country Status (1)

Country Link
JP (1) JP2017200129A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291493A (zh) * 2019-07-22 2021-01-29 半导体元件工业有限责任公司 用于生成高动态范围图像的成像系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112291493A (zh) * 2019-07-22 2021-01-29 半导体元件工业有限责任公司 用于生成高动态范围图像的成像系统和方法
CN112291493B (zh) * 2019-07-22 2023-10-03 半导体元件工业有限责任公司 用于生成高动态范围图像的成像系统和方法

Similar Documents

Publication Publication Date Title
JP5596888B1 (ja) 撮像装置、内視鏡システム及びノイズ除去方法
US9137453B2 (en) Control apparatus and imaging system
US9538108B2 (en) Endoscope system and pixel correction method
JP5097308B2 (ja) インピーダンスマッチング装置及びこれを備えた内視鏡
US20200166659A1 (en) Radiation imaging apparatus and radiation imaging system
WO2013128764A1 (ja) 医療システム
JP2010147948A (ja) 撮像装置及び撮像システム
US10735681B2 (en) Inspection device, image processing device, correction value calculating method, image processing method and computer readable recording medium
JP2008067060A (ja) 撮像装置
JP2010088656A (ja) 内視鏡用プロセッサ装置、内視鏡用プロセッサ装置の電源電圧供給方法、並びに内視鏡システム
JP2017200129A (ja) 撮像装置
JP2012130578A (ja) 内視鏡装置
JP6076578B1 (ja) 撮像装置
US20170208268A1 (en) Endoscope and endoscope system
JP5311943B2 (ja) 撮像装置、制御方法、及びプログラム
CN107682647B (zh) 摄像元件以及摄像装置
JP5800747B2 (ja) 撮像装置
JP2013102288A (ja) 撮像装置及び撮像装置の制御方法
JP2017120972A (ja) 撮像装置
JP2014057196A (ja) 撮像装置
WO2017122397A1 (ja) ゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置
JP5827868B2 (ja) 電子内視鏡及び固定パターンノイズ除去方法
JP2013126002A (ja) 内視鏡装置
JP6150969B1 (ja) ゲイン調整装置、ゲイン調整プログラム、内視鏡及び内視鏡装置
JP2009201541A (ja) 撮像システム及び内視鏡システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190213

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200609