JP2002369223A - 画像検出装置と絞り装置 - Google Patents

画像検出装置と絞り装置

Info

Publication number
JP2002369223A
JP2002369223A JP2001173630A JP2001173630A JP2002369223A JP 2002369223 A JP2002369223 A JP 2002369223A JP 2001173630 A JP2001173630 A JP 2001173630A JP 2001173630 A JP2001173630 A JP 2001173630A JP 2002369223 A JP2002369223 A JP 2002369223A
Authority
JP
Japan
Prior art keywords
light
region
image
wavelength
dimensional image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001173630A
Other languages
English (en)
Other versions
JP4010779B2 (ja
Inventor
Shuzo Seo
修三 瀬尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pentax Corp
Original Assignee
Pentax Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pentax Corp filed Critical Pentax Corp
Priority to JP2001173630A priority Critical patent/JP4010779B2/ja
Publication of JP2002369223A publication Critical patent/JP2002369223A/ja
Application granted granted Critical
Publication of JP4010779B2 publication Critical patent/JP4010779B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Blocking Light For Cameras (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Diaphragms For Cameras (AREA)
  • Automatic Focus Adjustment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

(57)【要約】 【課題】 1つの撮像系を用いて、赤外波長領域の光に
よる被写体像と可視波長領域の光による被写体像とをそ
れぞれ適正な露出により同一タイミングで検出する。 【解決手段】 絞り25aの中央に波長領域が380n
m〜950nm(可視光及び赤外波長領域)の光を透過
する光学フィルタを設けた直径D2の円形領域61を設
ける。円形領域61の周囲に波長領域が770nm〜9
50nm(赤外波長領域)の光のみを透過する光学フィ
ルタを設けた外径D1の円環領域62aを設ける。撮影
レンズに入射する光を絞り25aを介した後、赤外波長
領域と可視光波長領域の光に分離し、それぞれの波長に
対応するCCDにおいて撮像する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、光伝播時間測定法
を用いて被写体の3次元形状等を検出する3次元画像検
出装置に関する。
【0002】
【従来の技術】従来、被計測物体(被写体)の3次元形
状を計測する能動方式の3次元画像検出装置として、例
えば「Measurement Science and Technology」(S. Chr
istie他、vol.6, p1301-1308, 1995 年)に記載された
3次元画像検出装置や、国際公開WO97/01111号公報に開
示された3次元画像検出装置などが知られている。「Me
asurement Science and Technology」に記載された装置
では、パルス変調されたレーザ光が被写体の全体に照射
され、その反射光がイメージインテンシファイアが取付
けられた2次元CCDセンサによって受光され、電気信
号に変換される。イメージインテンシファイアはレーザ
光のパルス発光に同期したゲートパルスによってシャッ
タ制御される。この構成によれば、遠い被写体からの反
射光による受光量は近い被写体からの反射光による受光
量に比べて小さいので、被写体の距離に応じた出力がC
CDの各画素毎に得られる。一方、国際公開97/01111号
公報に記載された装置では、パルス変調されたレーザ光
等の光が被写体の全体に照射され、その反射光がメカニ
カル又は液晶素子等から成る電気光学的シャッタと組み
合わされた2次元CCDセンサによって受光され、電気
信号に変換される。そのシャッタは、測距光のパルスと
は異なるタイミングで制御され、距離情報がCCDの各
画素毎に得られる。なお、CCDの画素毎に得られる距
離情報に関する信号電荷は画像信号と考えることができ
るので、以下距離情報に対応する画像を3次元画像と呼
び、CCDを通常方法で駆動して得られる視覚情報に対
応する画像を2次元画像と呼ぶ。
【0003】3次元画像は、通常同一視点から撮像され
る被写体の2次元画像とともに用いられる。例えば、3
次元画像による距離情報を利用して2次元画像における
背景処理を行ったり、距離情報から被写体の3次元形状
データを算出し2次元画像をテクスチャーデータとして
利用したりするために用いられる。このような場合、2
次元画像と3次元画像とは、同一の撮像光学系を用いて
撮像されることが好ましい。2次元画像と3次元画像を
同一の撮像光学系を用いて撮像する方法としては、例え
ば2次元画像の撮像後に続けて3次元画像の撮像を行う
というように、2つの撮像を時系列的に行う方法などが
ある。
【0004】
【発明が解決しようとする課題】しかし、上述のように
2次元画像と3次元画像とを時系列的に非同時に撮像す
る方法では、移動している被写体の撮像を行うことは困
難である。2次元画像と3次元画像とを同時に撮像する
方法としては、撮像光学系に入射された光を2つに分岐
し、分岐された光をそれぞれ別のCCDで同時に受光検
出することが考えられる。しかし、2次元画像の撮像で
検出される光と、3次元画像の撮像で検出される光とで
はその波長領域が異なるため、同一の照明の下で撮像が
行われたとしても照明条件が異なることとなる。すなわ
ち、同一撮像光学系を用いて同時に2次元画像と3次元
画像とを撮像する場合、双方の撮像において同時に適正
な露出を得ることは困難である。
【0005】本発明は、1つの撮像系を用いて、異なる
波長領域の光による被写体像をそれぞれ適正な露出によ
り同一タイミングで検出できる絞り装置と、この絞り装
置を用いた画像検出装置とを得ることを目的としてい
る。より具体的には、本発明は、被写体の2次元画像と
3次元画像とをそれぞれ適正な露出により同一のタイミ
ングで検出可能な3次元画像検出装置を得ることを目的
としている。
【0006】
【課題を解決するための手段】本発明の画像検出装置
は、被写体を撮像するための撮影光学系と、撮影光学系
を介して第1の波長領域の光を受光し、第1の波長領域
の光により被写体を撮像する第1の撮像素子と、撮像光
学系を介して第2の波長領域の光を受光し、第2の波長
領域の光により被写体を撮像する第2の撮像素子と、第
1及び第2の波長領域の光を透過する第1の領域と第1
または第2の波長領域の光のうち一方の波長領域の光の
みを選択的に透過する第2の領域とを有し、第1及び第
2の領域が同一面内にあるとともに第2の領域が第1の
領域の周囲を取囲んで配置される撮影光学系の絞りとを
備えたことを特徴としている。
【0007】画像検出装置が被写体までの距離情報に対
応する3次元画像を検出可能な3次元画像検出装置の場
合、画像検出装置は被写体に第1の波長領域の測距光を
照射する光源を備え、第1の撮像素子における撮像動作
が、この光源から所定のタイミングで照射される測距光
に連動して制御され、第1の撮像素子において撮像され
る画像の各画素値が被写体までの距離に対応する。
【0008】例えばカラー静止画像である2次元画像と
被写体の距離情報に対応する3次元画像とを撮像するよ
うな場合、第2の波長領域は可視光領域であることが必
要であり、第1の波長領域はこれとなるべく重複しない
例えば赤外光領域である。通常2次元画像の撮像に比べ
3次元画像の撮像では信号出力が小さいので、より大き
い3次元画像の出力を得るには、第2の領域を透過する
光は第1の波長領域の光であることが好ましい。更に、
より精緻な画像を得るには第1の領域は円形領域である
ことが好ましく、第2の領域はこの円形領域を取囲む円
環領域であることが好ましい。
【0009】第1の撮像素子に、第1の波長領域の光の
みを選択的に透過する光学フィルタを設け、第2の撮像
素子に、第2の波長領域の光のみを選択的に透過する光
学フィルタを設けることが好ましい。これにより、検出
対象外の波長領域からの影響を各撮像素子において排除
することができる。
【0010】撮影光学系に入射された光は、例えば第1
又は第2の波長領域の光を反射するダイクロイックミラ
ーにより分岐され、分岐された第1及び第2の波長領域
の光はそれぞれ第1及び第2の撮像素子に導かれる。
【0011】また、本発明の絞り装置は、第1及び第2
の波長領域の光を透過する第1の領域と、第1または第
2の波長領域の光のうち一方の波長領域の光のみを選択
的に透過する第2の領域とを備え、第1及び第2の領域
が同一面内にあるとともに第2の領域が第1の領域の周
囲を取囲んで配置されたことを特徴としている。
【0012】絞り装置の構成をより簡略にするとともに
コストを削減するには、第1及び第2の領域は固定され
ていることが好ましい。またこのようにすると、絞り装
置の開口の形状を所望の形状に容易に適合させることが
できる。
【0013】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図1は、本発明の一実施形態であ
るカメラ型の3次元画像検出装置の斜視図である。図1
を参照して本実施形態において用いられるカメラ型の3
次元画像検出装置について説明する。
【0014】カメラ本体10の前面において、撮影レン
ズ11の左上にはファインダ窓(対物部)12が設けら
れ、右上にはストロボ13が設けられている。カメラ本
体10の上面において、撮影レンズ11の真上には、測
距光であるレーザ光を照射する発光装置(光源)14が
配設されている。発光装置14の左側にはレリーズスイ
ッチ15及び液晶表示パネル16が設けられ、また右側
にはモード切替ダイヤル17が設けられている。カメラ
本体10の側面には、ICメモリカード等の記録媒体を
挿入するためのカード挿入口19が形成され、またビデ
オ出力端子20、インターフェースコネクタ21が設け
られている。
【0015】図2は、図1に示すカメラの回路構成を示
すブロック図である。撮影レンズ11の中には絞り25
が設けられている。絞り25は後に詳述するように着脱
可能な固定絞りであり撮影条件に合わせて適宜交換する
ことができる。撮影レンズ11の焦点調節動作及びズー
ミング動作はレンズ駆動回路27によって制御される。
【0016】撮影レンズ11の光軸上には、赤外領域の
光を反射し可視光を透過するダイクロイックミラー18
が光軸と例えば45°の傾きをもって配置されている。
ダイクロイックミラー18を透過した可視光は赤外カッ
トフィルタ28fを介して2次元画像用CCD(第2の
撮像素子)28に達する。2次元画像用CCD28の撮
像面には、可視光による被写体像(2次元画像に対応)
が撮影レンズ11により形成される。2次元画像用CC
D28の撮像面ではこの被写体像に対応した電荷が発生
する。2次元画像用CCD28における電荷の蓄積動
作、電荷の読出動作等の動作は、システムコントロール
回路35からCCD駆動回路30へ出力されるCCD駆
動用のパルス信号によって制御される。2次元画像用C
CD28から読み出された電荷信号、すなわち2次元画
像の画像信号はそれぞれアンプ31において増幅され、
A/D変換器32においてアナログ信号からデジタル信
号に変換される。デジタルの画像信号は撮像信号処理回
路33においてガンマ補正等の処理を施され、画像メモ
リ34に一時的に格納される。
【0017】一方、ダイクロイックミラー18で反射さ
れた赤外光は可視光カットフィルタ28f’を介して3
次元画像用CCD(第1の撮像素子)28’に達する。
3次元画像用CCD28’の撮像面には、赤外光による
被写体像(3次元画像に対応)が撮像レンズ11により
形成される。3次元画像用CCD28’の撮像面ではこ
の被写体像に対応した電荷が発生する。3次元画像用C
CD28’における電荷の蓄積動作、電荷の読出動作等
の動作は、システムコントロール回路35からCCD駆
動回路30へ出力されるCCD駆動用のパルス信号によ
って制御される。3次元画像用CCD28’から読み出
された電荷信号、すなわち3次元画像の画像信号はそれ
ぞれアンプ31’において増幅され、A/D変換器3
2’においてアナログ信号からデジタル信号に変換され
る。デジタルの画像信号は撮像信号処理回路33におい
てガンマ補正等の処理を施され、画像メモリ34に一時
的に格納される。
【0018】レンズ駆動回路27及び撮像信号処理回路
33はシステムコントロール回路35によって制御され
る。2次元画像または3次元画像の画像信号は画像メモ
リ34から読み出され、LCD駆動回路36に供給され
る。LCD駆動回路36は画像信号に応じて動作し、こ
れにより画像表示LCDパネル37には、画像信号に対
応した画像が表示される。
【0019】また画像メモリ34から読み出された画像
信号はTV信号エンコーダ38に送られ、ビデオ出力端
子20を介して、カメラ本体10の外部に設けられたT
Vモニタ39に伝送可能である。システムコントロール
回路35はインターフェース回路40に接続され、イン
ターフェース回路40はインターフェースコネクタ21
に接続されている。したがって画像メモリ34から読み
出された2次元画像及び3次元画像の画像信号は、イン
ターフェースコネクタ21に接続されたコンピュータ4
1に伝送可能である。またシステムコントロール回路3
5は、記録媒体制御回路42を介して画像記録装置43
に接続されている。したがって画像メモリ34から読み
出された2次元画像及び3次元画像の画像信号は、画像
記録装置43に装着されたICメモリカード等の記録媒
体Mに記録可能である。また記録媒体Mに一旦記録され
た画像信号は必要に応じて記録媒体Mから読み出され、
システムコントロール回路35を介してLCDパネル3
7に表示することができる。
【0020】システムコントロール回路35には、発光
素子制御回路44が接続されている。発光装置14には
発光素子14aと照明レンズ14bが設けられ、発光素
子14aの発光動作は発光素子制御回路44によって制
御される。発光素子14aは測距光である赤外波長領域
のレーザ光を照射するものであり、このレーザ光は照明
レンズ14bを介して被写体の全体に照射される。被写
体において反射した赤外光は撮影レンズ11に入射し、
ダイクロイックミラー18において3次元画像用CCD
28’の方向へ反射され、3次元画像用CCD28’に
おいて3次元画像の画像信号として検出される。後述す
るように、この画像信号から3次元画像用CCD28’
の各画素に対応した被写体までの距離が算出される。
【0021】システムコントロール回路35には、レリ
ーズスイッチ15、モード切替ダイヤル17から成るス
イッチ群47と、液晶表示パネル(表示素子)16とが
接続されている。
【0022】次に図3及び図4を参照して、CCDを用
いた本実施形態における距離測定の基本的な原理につい
て説明する。なお図4において横軸は時間tである。
【0023】距離測定装置Bから出力された測距光は被
写体Sにおいて反射し、図示しないCCDによって受光
される。測距光は所定のパルス幅Hを有するパルス状の
光であり、したがって被写体Sからの反射光も、同じパ
ルス幅Hを有するパルス状の光である。また反射光のパ
ルスの立ち上がりは、測距光のパルスの立ち上がりより
も時間δ・t(δは遅延係数)だけ遅れる。光源から射
出された測距光が、被写体で反射され距離測定装置Bに
おいて反射光として検出されるまでに進む距離R(ここ
では距離測定装置Bと被写体Sとの往復の距離2r)は R=2r=δ・t・C ・・・(1) により得られる。ただしCは光速である。
【0024】例えば測距光のパルスの立ち下がりから反
射光を検知可能な状態に定め、反射光のパルスが立ち下
がった後に検知不可能な状態に切り換えるように反射光
検知期間Tを設ける。すなわち、反射光検知期間Tは、
反射光の立ち上がりが、反射光検知期間Tが開始する前
にCCDにおいて受光され、その立下りが反射光検知期
間内にCCDにおいて受光されるように定められる。図
4に示されるように、この反射光検知期間Tにおける受
光量Aは距離rに相関する。すなわち受光量Aは、距離
rが大きくなるほど(時間δ・tが大きくなるほど)大
きくなるため、受光量Aから被写体までの距離が算定さ
れる。
【0025】本実施形態における距離情報検出動作で
は、上述した原理を利用して3次元画像用CCD28’
に設けられ、2次元的に配列された複数のフォトダイオ
ードにおいてそれぞれ受光量Aを検出することにより行
われる。すなわち、各フォトダイオード(各画素)にお
いて検出された受光量Aに基づいて、カメラ本体10か
ら3次元画像用CCD28’の各フォトダイオードに対
応する被写体S上の各点までの距離情報をフォトダイオ
ード(画素)毎に画像信号(3次元画像)として検出す
る。距離情報検出動作では、この画像信号から被写体S
の表面形状を表わす距離データがフォトダイオード(画
素)毎に算出される。
【0026】本実施形態において用いられる2次元画像
用CCD28はカラー単板式のCCDであり、3次元画
像用CCD28’は赤外領域の光を検知するモノクロの
CCDである。2次元画像用CCDと3次元画像用CC
D28’とでは、カラー画像を撮影するための色フィル
タアレイが搭載されているか否かの違いはあるが、その
他の構造に関しては略同一である。したがって、図5、
図6を参照して3次元画像用CCD28’についてのみ
説明し、2次元画像用CCD28の説明は割愛する。
【0027】図5は、3次元画像用CCD28’に設け
られるフォトダイオード51と垂直転送部52の配置を
示す図である。図6は、3次元画像用CCD28’を基
板53に垂直な平面で切断して示す断面図である。この
3次元画像用CCD28’は従来公知のインターライン
型CCDであり、不要電荷の掃出しにVOD(縦型オー
バーフロードレイン)方式を用いたものである。
【0028】フォトダイオード51と垂直転送部(信号
電荷保持部)52はn型基板53の面に沿って形成され
ている。フォトダイオード51は2次元的に格子状に配
列され、垂直転送部52は所定の方向(図5において上
下方向)に1列に並ぶフォトダイオード51に隣接して
設けられている。垂直転送部52は、1つのフォトダイ
オード51に対して4つの垂直転送電極52a、52
b、52c、52dを有している。したがって垂直転送
部52では、4つのポテンシャルの井戸が形成可能であ
り、従来公知のように、これらの井戸の深さを制御する
ことによって、信号電荷を3次元画像用CCD28’か
ら出力することができる。なお、垂直転送電極の数は目
的に応じて自由に変更できる。
【0029】基板53の表面に形成されたp型井戸の中
にフォトダイオード51が形成され、p型井戸とn型基
板53の間に印加される逆バイアス電圧によってp型井
戸が完全空乏化される。この状態において、入射光(被
写体からの反射光)の光量に応じた電荷がフォトダイオ
ード51において蓄積される。基板電圧Vsub を所定値
以上に大きくすると、フォトダイオード51に蓄積した
電荷は、基板53側に掃出される。これに対し、転送ゲ
ート部54に電荷転送信号(電圧信号)が印加されたと
き、フォトダイオード51に蓄積した電荷は垂直転送部
52に転送される。すなわち電荷掃出し信号によって電
荷を基板53側に掃出した後、フォトダイオード51に
蓄積した信号電荷が、電荷転送信号によって垂直転送部
52側に転送される。このような動作により、いわゆる
電子シャッタ動作が実現される。
【0030】2次元画像用CCD28を用いて2次元画
像を撮像する場合には、この電子シャッタ動作により適
正な露光時間が得られる。しかし、3次元画像用CCD
28’を用いて3次元画像を撮像し、被写体までの距離
を図3、図4を参照して説明した原理により測定する場
合には、極めて高速な電子シャッタ動作が要求されるた
め、1回のシャッタ動作では十分な信号出力を得られな
い。したがって、本実施形態の距離情報検出動作では、
3次元画像用CCD28’において上述の電子シャッタ
動作を繰り返し行うことにより、垂直転送部52におい
て信号電荷を積分し、より大きな信号出力を得ている。
【0031】図7は、垂直転送部52において信号電荷
の積分を行う本実施形態の距離情報検出動作のタイミン
グチャートである。また、図8はこの距離情報検出動作
のフローチャートである。図1、図2、図5〜図8を参
照して本実施形態における3次元画像用CCD28’を
用いた距離情報検出動作について説明する。
【0032】図7に示すように、垂直同期信号S1の出
力に同期して一定のパルス幅TSを有するパルス状の測
距光S3が出力される。測距光S3の出力から所定時間
経過後、電荷掃出し信号(パルス信号)S2が出力さ
れ、これによりフォトダイオード51に蓄積していた不
要電荷が基板53の方向に掃出される。電荷掃出し信号
S2は、測距光S3の立下りに略同期してその出力を終
了し、電荷掃出し信号S2の出力の終了によりフォトダ
イオード51における電荷蓄積が開始する。すなわち、
フォトダイオード51における電荷蓄積動作は、測距光
S3の立下りに略同期して開始される。一方、垂直同期
信号S1の出力に同期して出力された測距光S3は、被
写体において反射され、δ・t時間経過後CCD28に
おいて反射光S4として受光される。測距光S3の出力
が終了してから一定時間が経過したとき、すなわち、電
荷蓄積期間が開始してから一定時間が経過したとき、電
荷転送信号(パルス信号)S5が出力され、これにより
フォトダイオード51に蓄積された電荷が垂直転送部5
2に転送され、フォトダイオード51における電荷蓄積
動作が終了する。なお、電荷転送信号S5は、反射光の
立下りが電荷蓄積期間T内に検知されるように、電荷掃
出し信号S2の出力から十分時間が経過した後に出力さ
れる。
【0033】このように電荷掃出し信号S2の出力の終
了から電荷転送信号S5の出力開始までの期間Tの間、
フォトダイオード51には、被写体までの距離に対応し
た信号電荷が蓄積される。すなわち反射光S4は被写体
までの距離に応じて測距光S3に比べてδ・t時間だけ
遅れ3次元画像用CCD28’において受光され、フォ
トダイオード51では、反射光S4の一部のみが検知さ
れる。検知される光は、光が伝播するのにかかる時間
(δ・t)に相関し、この光によって生じる信号電荷S
6は被写体までの距離に対応している。この信号電荷S
6は、電荷転送信号S5によって垂直転送部52に転送
される。なお電荷蓄積期間Tは、測距光S3の立下りに
同期して開始される必要はなく、計測される被写体の距
離に応じてそのタイミングは調整される。
【0034】電荷転送信号S5の出力から一定時間が経
過した後、再び電荷掃出し信号S2が出力され、垂直転
送部52への信号電荷の転送後にフォトダイオード51
に蓄積された不要電荷が基板53の方向へ掃出される。
すなわち、フォトダイオード51において新たに信号電
荷の蓄積が開始する。そして、上述したのと同様に、電
荷蓄積期間Tが経過したとき、信号電荷は垂直転送部5
2へ転送される。
【0035】このような信号電荷S6の垂直転送部52
への転送動作は、次の垂直同期信号S1が出力されるま
で、繰り返し実行される。これにより垂直転送部52に
おいて、信号電荷S6が積分され、1フィールドの期間
(2つの垂直同期信号S1によって挟まれる期間)に積
分された信号電荷S6は、その期間被写体が静止してい
ると見做せれば、被写体までの距離情報に対応してい
る。
【0036】以上説明した信号電荷S6の検出動作は1
つのフォトダイオード51に関するものであり、全ての
フォトダイオード51においてこのような検出動作が行
なわれる。1フィールドの期間の検出動作の結果、各フ
ォトダイオード51に隣接した垂直転送部52の各部位
には、そのフォトダイオード51によって検出された距
離情報が保持される。この距離情報は垂直転送部52に
おける垂直転送動作および図示しない水平転送部におけ
る水平転送動作によって3次元画像用CCD28’から
出力される。
【0037】次に本実施形態の3次元画像検出装置にお
いて実行される撮像処理動作について図8を参照して説
明する。図8は、本実施形態の3次元画像検出装置にお
いて実行される撮像処理動作のフローチャートである。
距離情報検出動作は、図8のフローチャートに従って2
次元画像(スチルビデオ)を撮像するための2次元画像
撮像動作とともに実行される。
【0038】ステップ101においてレリーズスイッチ
18が全押しされたことが確認されるとステップ102
が実行される。ステップ102では、2次元画像用CC
D28に対して通常のスチルビデオ撮影のための検知制
御が開始されるとともに、3次元画像用CCD28’に
対しては垂直同期信号S1が出力されるとともに測距光
制御が開始される。すなわち2次元画像用CCD28に
おいて、可視光による被写体の静止画像が撮像されるの
と並行して、光源装置14が駆動され、パルス状の測距
光S3が断続的に出力される。2次元画像用CCD28
において撮像された静止画像は、画像信号処理回路33
を経て画像メモリ34に記憶される。次いでステップ1
03が実行され、3次元画像用CCD28’における検
知制御が開始される。すなわち図7を参照して説明した
距離情報検出動作が開始され、電荷掃出し信号S2と電
荷転送信号S5が交互に出力されて、距離情報の信号電
荷S6が垂直転送部52において積分される。
【0039】ステップ104では、距離情報検出動作の
開始から1フィールド期間が終了したか否か、すなわち
新たに垂直同期信号S1が出力されたか否かが判定され
る。1フィールド期間が終了するとステップ105へ進
み、距離情報の信号電荷S6が3次元画像用CCD2
8’から出力される。この信号電荷S6はステップ10
6において画像メモリ34に一時的に記憶される。ステ
ップ107では測距光制御がオフ状態に切り換えられ、
光源装置14の発光動作が停止する。その後ステップ1
08において画像メモリ34に一時的記憶されている2
次元画像及び3次元画像が記録媒体Mに保存され、この撮
影処理動作は終了する。
【0040】以上のように本実施形態では、被写体の例
えばカラーの静止画である2次元画像と、各画素値が被
写体までの距離に対応した3次元画像とが同時に撮像さ
れる。しかし、2次元画像は可視光による画像であり3
次元画像は赤外光による画像であるためCCD28、2
8’において検出される波長領域はそれぞれに異なり、
同一の照明の下でもそれぞれの画像に対する照明条件は
異なることとなる。すなわち、本実施形態のように同一
の撮影レンズ11を用いて同時に2つの画像を撮像する
場合、従来の絞りを2次元及び3次元画像の撮像で共用
すると、各CCD28、28’において露光量が異なる
こととなる。したがって、一方の画像の露出が適正に設
定されているときに、他方の画像の露出が適正に設定さ
れないという問題がある。
【0041】図9〜図12を参照して本実施形態の3次
元画像検出装置で用いられる固定絞り25(図2参照)
について説明する。図9、図10はともに絞り25の一
例を示すものであり模式的な平面図である。以後図9に
例示された絞りを25a、図10の例示された絞りを2
5bとして参照する。
【0042】図9、図10において、破線でハッチされ
た中央の円形領域(第1の領域)61には、例えば可視
光領域から近赤外領域の一部を含む凡そ380nm〜9
50nmの波長領域(第1及び第2の波長領域)の光を
選択的に透過する光学フィルタが設けられている。図9
の円形領域61を囲む実線と一点鎖線の斜線で示された
円環領域(第2の領域)62aには、例えば近赤外領域
の一部である凡そ770nm〜950nmの波長領域
(第1の波長領域)の光を選択的に透過する光学フィル
タが設けられており、図10の円形領域61を囲む実線
と破線の斜線で示された円環領域62b(第2の領域)
には、例えば可視光領域である凡そ380nm〜770
nmの波長領域(第2の波長領域)の光を選択的に透過
する光学フィルタが設けられている。なお、図9、10
において、の円環領域62a、62bを囲み、絞り25
a、25bの最外周に設けられた白抜きで示された円環
領域60は光を一切透過しない遮光領域である。また、
図9の円形領域61、円環領域62a及び円環領域6
0、図10の円形領域61、円環領域62b及び円環領
域60は、それぞれ同一平面内の領域である。
【0043】図11、図12には、それぞれ図9、図1
0の領域61、62a、62bに設けられた光学フィル
タの透過率特性の一例が示されている。図11、図12
において、横軸は光の波長であり、縦軸は光の透過率で
ある。波長λ0、λ1、λ2は本実施形態の場合、例えば
λ0=380nm、λ1=770nm、λ2=950nm
であり、曲線TP1は円形領域61に貼付された光学フ
ィルタの透過率特性を示し、曲線TPaは円環領域62
aに貼付された光学フィルタの透過率を、曲線TPb
円環領域62bに貼付された光学フィルタの透過率を示
している。
【0044】図9に示された絞り25aの場合、円形領
域61及び円環領域62aに貼付された光学フィルタ
は、共に赤外領域(λ1からλ2)の光を透過するので、
赤外光に対する絞りは直径D1の円となる。これに対し
円環領域62aに貼付された光学フィルタは可視光領域
(λ0からλ1)の光を透過しないので、可視光は円形領
域61のみを透過することとなり、可視光に対する絞り
は直径D2となる。すなわち、絞り25aを用いること
により、2次元画像の撮像に対する絞りの直径をD2と
し、3次元画像の撮像に対する絞りの直径をD1とする
ことができ、赤外光に対する絞りの方を可視光による絞
りよりも大きく設定することができる。
【0045】一方、図10に示された絞り25bの場
合、円形領域61及び円環領域62bに貼付された光学
フィルタは、共に可視光領域(λ0からλ1)の光を透過
するので、可視光に対する絞りは直径D1の円となる。
また、円環領域62bに貼付された光学フィルタは赤外
領域(λ1からλ2)の光を透過しないので、赤外光は円
形領域61のみを透過することとなり、赤外光に対する
絞りは直径D2となる。すなわち、絞り25bを用いる
ことにより、2次元画像の撮像に対する絞りの直径をD
1とし、3次元画像の撮像に対する絞りの直径をD2と
することができ、可視光に対する絞りの方を赤外光によ
る絞りよりも大きく設定することができる。
【0046】以上のように、本実施形態によれば、一つ
の撮像光学系を用いて同一タイミングで撮像を行う場合
であっても、上述のような固定絞り25a、25bを用
いることにより、可視光と赤外光に対する絞りの大きさ
を異ならせることができる。また、絞り25a、25b
の直径D1、D2の比やその大きさを適宜調節すること
により、2次元画像及び3次元画像を同一撮像光学系に
おいて同一のタイミングで撮像する場合にも、双方の画
像ともに適正な露出で撮像することが可能となる。
【0047】なお、本実施形態では、絞り25に用いる
光学フィルタの波長領域を、それぞれ可視光領域の光を
選択的に透過するフィルタと、赤外領域の光を選択的に
透過するフィルタとで構成したが、2次元画像としてカ
ラー画像を必要としない場合などは、これらの波長領域
を別の領域に定めてもよく、3次元画像の撮像に赤外領
域以外の光を用いてもよい。また本実施形態では、固定
絞りの中央の円形領域に可視光領域及び赤外領域の光を
透過する光学フィルタを設けたが、この領域に光学フィ
ルタを設けずに単なる開口にしてもよい。更に、絞りの
開口の形状は、円形である必要はなく必要に応じて変形
可能である。
【0048】本実施形態では赤外領域の光を反射し、そ
の他の光を透過するダイクロイックミラーを用いるとと
もに2次元画像用CCDには赤外カットフィルタを設
け、3次元画像用CCDには可視光カットフィルタを設
けたが、ダイクロイックミラーを単なるハーフミラーに
置き換えてもよい。ダイクロイックミラーのみを用い赤
外カットフィルタ及び可視光カットフィルタを設けなく
ともよい。
【0049】また、本実施形態では、2次元画像と3次
元画像を同時に撮像する3次元画像検出装置について説
明を行ったが、例えば通常のカラー静止画像と、被写体
までの距離とは関係のない通常の赤外線画像とを同一撮
像光学系で同時に撮像するような画像検出装置に本実施
形態の絞りを適用してもよい。
【0050】
【発明の効果】以上のように、本発明によれば、1つの
撮像系を用いて、異なる波長領域の光による被写体像を
それぞれ適正な露出により同一タイミングで検出できる
絞り装置と、この絞り装置を用いた画像検出装置とを得
ることができる。また本発明によれば、被写体の2次元
画像と3次元画像とをそれぞれ適正な露出により同一の
タイミングで検出可能な3次元画像検出装置を得ること
ができる。
【図面の簡単な説明】
【図1】本発明における一実施形態であるカメラ型の3
次元画像検出装置の斜視図である。
【図2】図1に示すカメラの回路構成を示すブロック図
である。
【図3】測距光による距離測定の原理を説明するための
図である。
【図4】測距光、反射光、ゲートパルス、及びCCDが
受光する光量分布を示す図である。
【図5】CCDに設けられるフォトダイオードと垂直転
送部の配置を示す図である。
【図6】CCDを基板に垂直な平面で切断して示す断面
図である。
【図7】被写体までの距離に関するデータを検出する距
離情報検出動作のタイミングチャートである。
【図8】本実施形態において実行される撮影処理動作の
フローチャートである。
【図9】本実施形態において用いられる固定絞りの平面
的な構成を模式的に示す図である。
【図10】本実施形態において用いられる固定絞りの平
面的な構成を模式的に示す図である。
【図11】図9の固定絞りに用いられる光学フィルタの
透過率特性を示す図である。
【図12】図10の固定絞りに用いられる光学フィルタ
の透過率特性を示す図である。
【符号の説明】
11 撮影レンズ(撮影レンズ系) 28 CCD(第2の撮像素子) 28’ CCD(第1の撮像素子) 61 円形領域(第1の領域) 62a、62b 円環領域(第2の領域)
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G03B 9/07 G03B 15/00 U 5C022 11/00 35/10 5C024 15/00 35/12 5C061 H04N 5/225 Z 5C065 35/10 5/335 V 35/12 9/09 A H04N 5/225 G02B 7/11 F 5/335 H 9/09 G01B 11/24 K Fターム(参考) 2F065 AA06 AA53 FF04 FF11 GG04 GG08 GG21 JJ03 JJ05 JJ26 LL20 LL22 LL26 LL53 QQ03 QQ24 SS13 2H051 AA00 BB27 CB13 CB14 CC03 EB04 2H059 AA08 AA09 2H080 AA30 AA31 AA32 CC02 2H083 AA02 AA04 AA11 AA19 AA26 AA32 AA51 5C022 AA13 AA15 AB13 AB17 AC42 AC55 AC69 5C024 AX01 AX06 BX01 CX52 CX56 CY17 CY20 DX06 EX11 EX17 EX34 EX41 EX51 GX03 GY04 GZ27 JX43 5C061 AA00 AB06 5C065 AA06 BB48 DD07 EE02 EE16

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 被写体を撮像するための撮影光学系と、 前記撮影光学系を介して第1の波長領域の光を受光し、
    前記第1の波長領域の光により前記被写体を撮像する第
    1の撮像素子と、 前記撮像光学系を介して第2の波長領域の光を受光し、
    前記第2の波長領域の光により前記被写体を撮像する第
    2の撮像素子と、 前記第1及び第2の波長領域の光を透過する第1の領域
    と、前記第1または第2の波長領域の光のうち一方の波
    長領域の光のみを選択的に透過する第2の領域とを有
    し、前記第1及び第2の領域が同一面内にあるとともに
    前記第2の領域が前記第1の領域の周囲を取囲んで配置
    される前記撮影光学系の絞りとを備えることを特徴とす
    る画像検出装置。
  2. 【請求項2】 前記画像検出装置が、前記被写体に前記
    第1の波長領域の測距光を照射する光源を備え、前記第
    1の撮像素子における撮像動作が、前記光源から所定の
    タイミングで照射される前記測距光に連動して制御さ
    れ、前記第1の撮像素子において撮像される画像の各画
    素値が前記被写体までの距離に対応することを特徴とす
    る請求項1に記載の画像検出装置。
  3. 【請求項3】 前記第1の波長領域が赤外光領域であ
    り、前記第2の波長領域が可視光領域であることを特徴
    とする請求項1に記載の画像検出装置。
  4. 【請求項4】 前記第2の領域を透過する光が前記第1
    の波長領域の光であることを特徴とする請求項3に記載
    の画像検出装置。
  5. 【請求項5】 前記第1の領域が円形領域であり、前記
    第2の領域が前記円形領域を取囲む円環領域であること
    を特徴とする請求項1に記載の画像検出装置。
  6. 【請求項6】 前記第1の撮像素子に、前記第1の波長
    領域の光のみを選択的に透過する光学フィルタを設けた
    ことを特徴とする請求項1に記載の画像検出装置。
  7. 【請求項7】 前記第2の撮像素子に、前記第2の波長
    領域の光のみを選択的に透過する光学フィルタを設けた
    ことを特徴とする請求項1に記載の画像検出装置。
  8. 【請求項8】 前記撮影光学系に入射された光が前記第
    1又は第2の波長領域の光を反射するダイクロイックミ
    ラーにより分岐され、分岐された前記第1及び第2の波
    長領域の光がそれぞれ前記第1及び第2の撮像素子に導
    かれることを特徴とする請求項1に記載の画像検出装
    置。
  9. 【請求項9】 第1及び第2の波長領域の光を透過する
    第1の領域と、 前記第1または第2の波長領域の光のうち一方の波長領
    域の光のみを選択的に透過する第2の領域とを備え、 前記第1及び第2の領域が同一面内にあるとともに前記
    第2の領域が前記第1の領域の周囲を取囲んで配置され
    ることを特徴とする絞り装置。
  10. 【請求項10】 前記第1及び第2の領域が固定されて
    いることを特徴とする請求項9に記載の絞り装置。
JP2001173630A 2001-06-08 2001-06-08 画像検出装置と絞り装置 Expired - Fee Related JP4010779B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001173630A JP4010779B2 (ja) 2001-06-08 2001-06-08 画像検出装置と絞り装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001173630A JP4010779B2 (ja) 2001-06-08 2001-06-08 画像検出装置と絞り装置

Publications (2)

Publication Number Publication Date
JP2002369223A true JP2002369223A (ja) 2002-12-20
JP4010779B2 JP4010779B2 (ja) 2007-11-21

Family

ID=19015057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001173630A Expired - Fee Related JP4010779B2 (ja) 2001-06-08 2001-06-08 画像検出装置と絞り装置

Country Status (1)

Country Link
JP (1) JP4010779B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006235139A (ja) * 2005-02-24 2006-09-07 Mitsubishi Electric Corp 2波長結像光学系
JP2007163367A (ja) * 2005-12-15 2007-06-28 Nippon Hoso Kyokai <Nhk> カメラ情報解析装置
JP2007264116A (ja) * 2006-03-27 2007-10-11 Mitsumi Electric Co Ltd 赤外線センサ用カメラモジュール
JP2008268868A (ja) * 2007-03-22 2008-11-06 Fujifilm Corp 撮像装置
JP2010079298A (ja) * 2008-09-12 2010-04-08 Sharp Corp カメラ及び撮像システム
WO2011007435A1 (ja) * 2009-07-16 2011-01-20 株式会社山野光学 開口絞り
WO2012002297A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置および撮像方法
WO2012002298A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置および撮像方法
WO2012098806A1 (ja) * 2011-01-20 2012-07-26 株式会社山野光学 照明用開口絞り
WO2013047080A1 (ja) * 2011-09-29 2013-04-04 富士フイルム株式会社 立体画撮像装置
KR20130140617A (ko) * 2010-07-16 2013-12-24 듀얼 아퍼처, 아이엔씨. 다중 조리개 촬영용 플래시 시스템
WO2016020147A1 (en) * 2014-08-08 2016-02-11 Fotonation Limited An optical system for an image acquisition device
WO2017047239A1 (ja) * 2015-09-16 2017-03-23 富士フイルム株式会社 フォーカス装置,撮像システムおよびフォーカス駆動信号出力方法
CN107018294A (zh) * 2015-09-30 2017-08-04 三星电子株式会社 电子装置
KR20190084993A (ko) * 2016-11-10 2019-07-17 매직 립, 인코포레이티드 다중 f-수 렌즈를 위한 방법 및 시스템
US10948638B2 (en) 2014-03-04 2021-03-16 Stryker European Operations Limited Spatial and spectral filtering apertures and optical imaging systems including the same
WO2023281877A1 (ja) * 2021-07-05 2023-01-12 パナソニックIpマネジメント株式会社 光学系、撮像装置および撮像システム

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006235139A (ja) * 2005-02-24 2006-09-07 Mitsubishi Electric Corp 2波長結像光学系
JP2007163367A (ja) * 2005-12-15 2007-06-28 Nippon Hoso Kyokai <Nhk> カメラ情報解析装置
JP2007264116A (ja) * 2006-03-27 2007-10-11 Mitsumi Electric Co Ltd 赤外線センサ用カメラモジュール
JP2008268868A (ja) * 2007-03-22 2008-11-06 Fujifilm Corp 撮像装置
JP2010079298A (ja) * 2008-09-12 2010-04-08 Sharp Corp カメラ及び撮像システム
WO2011007435A1 (ja) * 2009-07-16 2011-01-20 株式会社山野光学 開口絞り
WO2012002297A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置および撮像方法
WO2012002298A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置および撮像方法
US8933995B2 (en) 2010-06-30 2015-01-13 Fujifilm Corporation Image capturing device and image capturing method
US9319659B2 (en) 2010-06-30 2016-04-19 Fujifilm Corporation Image capturing device and image capturing method
CN104977777A (zh) * 2010-06-30 2015-10-14 富士胶片株式会社 摄像装置及摄像方法
JP5628914B2 (ja) * 2010-06-30 2014-11-19 富士フイルム株式会社 撮像装置および撮像方法
JP5628913B2 (ja) * 2010-06-30 2014-11-19 富士フイルム株式会社 撮像装置および撮像方法
US8902294B2 (en) 2010-06-30 2014-12-02 Fujifilm Corporation Image capturing device and image capturing method
KR101655742B1 (ko) 2010-07-16 2016-09-09 주식회사 듀얼어퍼처인터네셔널 다중 조리개 촬영용 플래시 시스템
KR20130140617A (ko) * 2010-07-16 2013-12-24 듀얼 아퍼처, 아이엔씨. 다중 조리개 촬영용 플래시 시스템
US9175831B2 (en) 2011-01-20 2015-11-03 Yamano Optical Co., Ltd. Illumination aperture diaphragm
EP2666402A4 (en) * 2011-01-20 2015-11-25 Yamano Optical Co Ltd LIGHTING DIAPHRAGM
WO2012098806A1 (ja) * 2011-01-20 2012-07-26 株式会社山野光学 照明用開口絞り
WO2013047080A1 (ja) * 2011-09-29 2013-04-04 富士フイルム株式会社 立体画撮像装置
US10948638B2 (en) 2014-03-04 2021-03-16 Stryker European Operations Limited Spatial and spectral filtering apertures and optical imaging systems including the same
US10051208B2 (en) 2014-08-08 2018-08-14 Fotonation Limited Optical system for acquisition of images with either or both visible or near-infrared spectra
WO2016020147A1 (en) * 2014-08-08 2016-02-11 Fotonation Limited An optical system for an image acquisition device
WO2017047239A1 (ja) * 2015-09-16 2017-03-23 富士フイルム株式会社 フォーカス装置,撮像システムおよびフォーカス駆動信号出力方法
US20180180840A1 (en) * 2015-09-16 2018-06-28 Fujifilm Corporation Focus device, imaging system, and method of outputting focus drive signal
JPWO2017047239A1 (ja) * 2015-09-16 2018-03-29 富士フイルム株式会社 フォーカス装置,撮像システムおよびフォーカス駆動信号出力方法
CN107018294A (zh) * 2015-09-30 2017-08-04 三星电子株式会社 电子装置
CN107018294B (zh) * 2015-09-30 2020-07-14 三星电子株式会社 电子装置
US10812738B2 (en) 2015-09-30 2020-10-20 Samsung Electronics Co., Ltd. Electronic device configured to reduce light loss of possible light image and obtain distance information of an object
EP3538840A4 (en) * 2016-11-10 2019-12-04 Magic Leap, Inc. METHOD AND SYSTEM FOR LENS WITH MULTIPLE PANEL NUMBERS
US10659701B2 (en) 2016-11-10 2020-05-19 Magic Leap, Inc. Method and system for multiple f-number lens
JP2019537895A (ja) * 2016-11-10 2019-12-26 マジック リープ, インコーポレイテッドMagic Leap,Inc. 複数のf値レンズのための方法およびシステム
KR20190084993A (ko) * 2016-11-10 2019-07-17 매직 립, 인코포레이티드 다중 f-수 렌즈를 위한 방법 및 시스템
US11240422B2 (en) 2016-11-10 2022-02-01 Magic Leap, Inc. Method and system for multiple f-number lens
CN114143435A (zh) * 2016-11-10 2022-03-04 奇跃公司 用于多个f值镜头的方法和系统
KR102377023B1 (ko) 2016-11-10 2022-03-21 매직 립, 인코포레이티드 다중 f-수 렌즈를 위한 방법 및 시스템
KR20220038828A (ko) * 2016-11-10 2022-03-29 매직 립, 인코포레이티드 다중 f-수 렌즈를 위한 방법 및 시스템
JP2022066564A (ja) * 2016-11-10 2022-04-28 マジック リープ, インコーポレイテッド 複数のf値レンズのための方法およびシステム
JP7093773B2 (ja) 2016-11-10 2022-06-30 マジック リープ, インコーポレイテッド 複数のf値レンズのための方法およびシステム
KR102507365B1 (ko) 2016-11-10 2023-03-07 매직 립, 인코포레이티드 다중 f-수 렌즈를 위한 방법 및 시스템
JP7420849B2 (ja) 2016-11-10 2024-01-23 マジック リープ, インコーポレイテッド 複数のf値レンズのための方法およびシステム
WO2023281877A1 (ja) * 2021-07-05 2023-01-12 パナソニックIpマネジメント株式会社 光学系、撮像装置および撮像システム

Also Published As

Publication number Publication date
JP4010779B2 (ja) 2007-11-21

Similar Documents

Publication Publication Date Title
JP4931288B2 (ja) 画像検出装置と絞り装置
JP4530571B2 (ja) 3次元画像検出装置
JP4867552B2 (ja) 撮像装置
JP4010779B2 (ja) 画像検出装置と絞り装置
JP2008085535A (ja) 撮像素子および撮像装置
JP3574607B2 (ja) 3次元画像入力装置
JP4398562B2 (ja) 3次元画像検出装置の焦点調節機構
JP4391643B2 (ja) 3次元画像入力装置
US6822681B1 (en) Image capturing device for capturing a shape of a measurement subject
JP4303354B2 (ja) 3次元画像入力装置
US20010022653A1 (en) Three-dimensional image capturing device
US6812964B1 (en) Three-dimensional image capturing device
JP4369573B2 (ja) 3次元画像検出装置
US7053937B1 (en) Three-dimensional image capturing device and recording medium
JP4369575B2 (ja) 3次元画像検出装置
JP4270658B2 (ja) 3次元画像検出装置
US6778219B1 (en) Three-dimensional image capturing device
JP2002074346A (ja) 3次元画像入力装置
JP3892632B2 (ja) 静止物体画像検出装置と静止物体画像検出方法
JP2001045520A (ja) 3次元画像検出装置および光通信受信装置
US6982761B1 (en) Device for capturing three-dimensional images with independently controllable groups of photoelectric conversion elements
JP4346736B2 (ja) 3次元画像検出装置
JP3954300B2 (ja) 3次元画像検出装置
JP4334069B2 (ja) 3次元画像検出装置のレーザ発光装置
JP2000023014A (ja) 画像入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070806

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070828

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070904

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100914

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110914

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120914

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees