JP2008307294A - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
JP2008307294A
JP2008307294A JP2007159357A JP2007159357A JP2008307294A JP 2008307294 A JP2008307294 A JP 2008307294A JP 2007159357 A JP2007159357 A JP 2007159357A JP 2007159357 A JP2007159357 A JP 2007159357A JP 2008307294 A JP2008307294 A JP 2008307294A
Authority
JP
Japan
Prior art keywords
signal
imaging
unit
output
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007159357A
Other languages
English (en)
Other versions
JP5325396B2 (ja
Inventor
Kazumasa Kaneko
和真 金子
Susumu Hashimoto
進 橋本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Medical Systems Corp
Original Assignee
Olympus Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Medical Systems Corp filed Critical Olympus Medical Systems Corp
Priority to JP2007159357A priority Critical patent/JP5325396B2/ja
Publication of JP2008307294A publication Critical patent/JP2008307294A/ja
Application granted granted Critical
Publication of JP5325396B2 publication Critical patent/JP5325396B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】複数の内視鏡を用いた観察が行われる場合の観察精度を、従来に比べて向上させることができる撮像システムを提供する。
【解決手段】本発明の撮像システムは、第1の撮像信号を出力可能な第1の撮像部と、第2の撮像信号を出力可能な第2の撮像部と、第1の撮像信号及び第2の撮像信号に信号処理を施して表示部へ出力する信号処理部と、を有し、信号処理部は、第1の識別情報と第2の識別情報とに基づき、第1の撮像信号及び第2の撮像信号の出力先を決定する信号出力先決定部と、第1の撮像信号及び第2の撮像信号を、信号出力先決定部が行う制御に応じて出力する信号振り分け部と、信号振り分け部から出力される第1の撮像信号及び第2の撮像信号に応じ、第1の被写体の像及び第2の被写体の像のうちの少なくともいずれか一方を表示部へ出力させるための制御を行う信号出力制御部と、を有する。
【選択図】図1

Description

本発明は、撮像システムに関し、特に、2つの撮像部により各々撮像された被写体の像のうち、少なくとも一の被写体の像を選択的に出力可能な撮像システムに関するものである。
内視鏡及び画像処理装置等を有して構成される内視鏡システムは、工業分野及び医療分野等において従来広く用いられている。特に、医療分野における内視鏡システムは、生体内の各種器官の観察等の用途において主に用いられている。そして、前述した用途において用いられる内視鏡システムとしては、例えば、特許文献1に提案されている電子内視鏡システムがある。
特許文献1には第1のスコープ(内視鏡)と、第2のスコープと、該第1のスコープが接続される第1のプロセッサと、該第2のスコープが接続される第2のプロセッサと、を有するとともに、該第1のスコープにより得られた被写体の像の画像、または、該第2のスコープにより得られた被写体の像の画像のいずれかを選択的に表示部に出力可能な電子内視鏡システムの構成が開示されている。
また、近年、例えば、画像処理装置に複数の種類の内視鏡を接続可能であるとともに、該複数の種類の内視鏡により取得された各被写体の像の画像を一の表示部に出力可能な構成を有する内視鏡システムが提案されている。
特開2001−218735号公報
前述したような、複数の種類の内視鏡を用いることが可能な内視鏡システムにおいては、各内視鏡において取得された画像が、観察に適した状態として出力されることが望ましい。しかし、特許文献1に開示されている電子内視鏡システムの構成においては、表示部に出力される画像の切り替えが手動により実行されるため、観察に適した画像が該表示部に必ずしも出力されるとは限らず、その結果、観察精度の低下を招くおそれがある。
本発明は、前述した点に鑑みてなされたものであり、複数の内視鏡を用いた観察が行われる場合の観察精度を、従来に比べて向上させることができる撮像システムを提供することを目的としている。
本発明における第1の態様の撮像システムは、第1の被写体の像に応じた第1の撮像信号を出力可能な第1の撮像素子を具備する第1の撮像部と、第2の被写体の像に応じた第2の撮像信号を出力可能な第2の撮像素子を具備する第2の撮像部と、前記第1の撮像信号及び前記第2の撮像信号に対して信号処理を施して表示部へ出力する信号処理部と、を有し、前記信号処理部は、前記第1の撮像素子に関する情報を少なくとも含む第1の識別情報と、前記第2の撮像素子に関する情報を少なくとも含む第2の識別情報と、に基づき、前記第1の撮像信号及び前記第2の撮像信号の出力先を決定する信号出力先決定部と、前記第1の撮像信号及び前記第2の撮像信号を、前記信号出力先決定部が行う前記制御に応じて前記出力先各々へ振り分けつつ出力する信号振り分け部と、前記信号振り分け部から出力される前記第1の撮像信号及び前記第2の撮像信号に応じ、前記第1の被写体の像及び前記第2の被写体の像のうちの少なくともいずれか一方を前記表示部へ出力させるための制御を行う信号出力制御部と、を有することを特徴とする。
本発明における第2の態様の撮像システムは、前記第1の態様の撮像システムにおいて、前記第1の識別情報は、前記第1の撮像素子に関する情報、前記第1の撮像部を具備する第1の内視鏡の機種、該第1の内視鏡の機能、及び、該第1の内視鏡が具備する挿入部の径に関する情報を有し、前記第2の識別情報は、前記第2の撮像素子に関する情報、前記第2の撮像部を具備する第2の内視鏡の機種、該第2の内視鏡の機能、及び、該第2の内視鏡が具備する挿入部の径に関する情報を有し、前記信号出力制御部は、前記第1の識別情報が有する各情報、及び、前記第2の識別情報が有する各情報のうち、少なくとも1つずつの情報の比較結果に基づき、前記第1の撮像信号及び前記第2の撮像信号のうち、一の撮像信号を前記表示部における親画面に出力させるとともに、前記一の撮像信号とは異なる他の撮像信号を前記表示部における子画面に出力させるための制御を行うことを特徴とする。
本発明における第3の態様の撮像システムは、前記第1または前記第2の態様の撮像システムにおいて、前記信号出力制御部は、前記第1の撮像素子の画素数と、前記第2の撮像素子の画素数との比較結果に基づき、相対的に画素数の多い撮像素子から出力される前記一の撮像信号を前記表示部における親画面に出力させ、相対的に画素数の少ない撮像素子から出力される前記他の撮像信号を前記表示部における子画面に出力させるための制御を行うことを特徴とする。
本発明における第4の態様の撮像システムは、前記第1の態様の撮像システムにおいて、前記信号出力制御部は、前記第1の撮像素子の画素数と、前記第2の撮像素子の画素数との比較結果に基づき、相対的に画素数の多い撮像素子から出力される前記一の撮像信号を前記表示部に出力させるための制御を行うことを特徴とする。
本発明における第5の態様の撮像システムは、前記第4の態様の撮像システムにおいて、さらに、前記信号処理部に対する指示を行うことが可能な指示入力部を有し、前記信号出力制御部は、前記指示入力部における所定の指示がなされた場合に、前記第1の撮像素子及び前記第2の撮像素子のうち、相対的に画素数の少ない撮像素子から出力される前記他の撮像信号を前記表示部に出力させるための制御を行うことを特徴とする。
本発明における第6の態様の撮像システムは、前記第1乃至前記第5の態様の撮像システムにおいて、さらに、第1の光源において発せられるとともに前記第1の撮像部に供給される、第1の照明光の光量を変更可能な第1の光量変更部と、第2の光源において発せられるとともに前記第2の撮像部に供給される、第2の照明光の光量を変更可能な第2の光量変更部と、前記第1の撮像信号及び前記第2の撮像信号に基づき、前記表示部に表示される前記第1の被写体の像及び前記第2の被写体の像の明るさを制御する明るさ制御部と、を有することを特徴とする。
本発明における第7の態様の撮像システムは、前記第6の態様の撮像システムにおいて、前記明るさ制御部は、前記第1の撮像信号に基づき、前記第1の撮像素子の露光期間を増減させるとともに、前記第1の撮像信号の利得を増減させる第1の露光/利得制御部と、前記第2の撮像信号に基づき、前記第2の撮像素子の露光期間を増減させるとともに、前記第2の撮像信号の利得を増減させる第2の露光/利得制御部と、前記信号振り分け部から出力される、前記第1の撮像信号または前記第2の撮像信号のうち、いずれか一方の撮像信号の明るさに応じた制御を前記第1の光量変更部及び前記第2の光量変更部に対して行うことにより、前記第1の照明光及び前記第2の照明光の光量を増減させる照明光制御部と、を有することを特徴とする。
本発明における第8の態様の撮像システムは、前記第6または前記第7の態様の撮像システムにおいて、前記第1の光源及び前記第2の光源は、1つの光源装置に設けられていることを特徴とする。
本発明における第9の態様の撮像システムは、前記第6または前記第7の態様の撮像システムにおいて、前記第1の光源及び前記第2の光源は、各々別々の光源装置に設けられていることを特徴とする。
本発明における撮像システムによると、複数の内視鏡を用いた観察が行われる場合の観察精度を、従来に比べて向上させることができる。
以下、図面を参照して本発明の実施の形態を説明する。
図1から図7は、本発明の実施形態に係るものである。図1は、本実施形態に係る撮像システムとしての内視鏡システムの、要部の構成の一例を示す図である。図2は、図1における露光制御部及び利得制御部の具体的な構成の一例を示すブロック図である。図3は、図1のプロセッサの処理によりモニタに表示される画面の一例を示す図である。図4は、図1のプロセッサが内視鏡識別情報に基づいて行う処理の一例を示すフローチャートである。図5は、図1のプロセッサが内視鏡識別情報に基づいて行う処理の、図4とは異なる例を示すフローチャートである。図6は、図1のプロセッサが内視鏡識別情報に基づいて行う処理の、図4及び図5とは異なる例を示すフローチャートである。図7は、図1のプロセッサが内視鏡識別情報に基づいて行う処理の、図4、図5及び図6とは異なる例を示すフローチャートである。
内視鏡システム1は、図1に示すように、生体内に挿入されるとともに、該生体内に存在する被写体の像を撮像し、撮像信号として出力する内視鏡2A及び2Bと、該被写体を照明するための照明光を供給する光源装置6と、内視鏡2A及び2Bから出力される撮像信号に対して信号処理を施すプロセッサ3と、プロセッサ3から出力される映像信号に応じた該被写体の像を画像表示する、表示部としてのモニタ5と、を要部として有している。また、プロセッサ3には、各種指示入力が可能な、例えば、キーボード及び(または)フットスイッチ等からなる指示入力部4が接続されている。
内視鏡2Aは、図1に示すように、プロセッサ3に対する指示が可能な操作部21Aと、細長に形成され、生体内への挿入が可能な挿入部22Aと、を有している。また、挿入部22Aの先端部には、光源装置6から供給される照明光により照明された被写体の像を結像する対物光学系25Aと、該被写体の像を撮像し、撮像信号として出力する撮像素子29Aとを具備した撮像部23Aが設けられている。
さらに、内視鏡2Aの操作部21Aには、図1に示すように、内視鏡2Aの機種、機能、用途、IDナンバー、挿入部22Aの形状(例えば径の太さ)、及び、撮像素子29Aの画素数等の情報からなる第1の内視鏡識別情報が格納されているメモリ24Aと、プロセッサ3に対する指示が可能な複数のスイッチからなるスコープスイッチ群26Aと、撮像部23Aから出力されるアナログの撮像信号をデジタル信号に変換して出力するA/D変換部28Aと、が設けられている。
また、操作部21Aの基端側には、内視鏡2Aの各部に接続される複数の信号線を内部に具備したケーブル27Aが設けられている。そして、内視鏡2Aは、前記ケーブル27Aを介し、プロセッサ3のコネクタ31Aに対して電気的に接続される。さらに、操作部21Aの先端側には、内部に図示しない処置具チャンネルが形成された挿入部22Aが連接されている。そして、挿入部22Aの内部には、外部から入射される照明光を内視鏡2Aの先端部へ導くライトガイド8Aが挿通されている。
内視鏡2Bは、図1に示すように、プロセッサ3に対する指示が可能な操作部21Bと、挿入部22Aよりも細い径を有して形成され、挿入部22Aの図示しない処置具チャンネルに挿通された状態のまま生体内への挿入が可能な挿入部22Bと、を有している。また、挿入部22Bの先端部には、光源装置6から供給される照明光により照明された被写体の像を結像する対物光学系25Bと、該被写体の像を撮像し、撮像信号として出力する撮像素子29Bとを具備した撮像部23Bが設けられている。
なお、本実施形態において、撮像素子29Bの画素数は、撮像素子29Aの画素数に比べて少ないものであるとする。また、本実施形態において、撮像素子29Aは、光源装置6から出力される照明光のうち、白色光により照明された被写体の像を撮像可能な構成を有するものであるとする。さらに、本実施形態において、撮像素子29Bは、光源装置6から出力される照明光のうち、青色の狭帯域光、または、赤外領域の光等のうちのいずれか一の光である、特殊光により照明された被写体の像を撮像可能な構成を有するものであるとする。
さらに、内視鏡2Bの操作部21Bには、図1に示すように、内視鏡2Bの機種、機能、用途、IDナンバー、挿入部22Bの形状(例えば径の太さ)、及び、撮像素子29Bの画素数等の情報からなる第2の内視鏡識別情報が格納されているメモリ24Bと、プロセッサ3に対する指示が可能な複数のスイッチからなるスコープスイッチ群26Bと、が設けられている。
また、操作部21Bの基端側には、内視鏡2Bの各部に接続される複数の信号線を内部に具備したケーブル27Bが設けられている。そして、内視鏡2Bは、前記ケーブル27Bを介し、プロセッサ3のコネクタ31Bに対して電気的に接続される。そして、挿入部22Bの内部には、外部から入射される照明光を内視鏡2Bの先端部へ導くライトガイド8Bが挿通されている。
信号処理部としてのプロセッサ3は、図1に示すように、内視鏡2Aのケーブル27Aが着脱自在に接続可能なコネクタ31Aと、内視鏡2Bのケーブル27Bが着脱自在に接続可能なコネクタ31Bと、アナログ信号処理部32と、セレクタ33と、デジタル信号処理部36と、測光部37と、CPU38と、第1露光/利得制御部41と、第2露光/利得制御部42と、を有している。
アナログ信号処理部32は、内視鏡2Bの撮像素子29Bから出力されるアナログの撮像信号に対してノイズ除去及びA/D変換等の信号処理を施し、該信号処理を施した後のデジタルの撮像信号をセレクタ33へ出力する。
信号振り分け部としての機能を有するセレクタ33は、CPU38の制御に基づき、内視鏡2Aから出力される第1の撮像信号と、内視鏡2Bから(アナログ信号処理部32等を介して)出力される第2の撮像信号とを、第1露光/利得制御部41、第2露光/利得制御部42及び測光部37へ振り分けつつ出力する。
第1露光/利得制御部41は、図2に示すように、明るさ制御部を構成する露光制御部34a及び利得制御部35aを有している。また、第2露光/利得制御部42は、図2に示すように、明るさ制御部を構成する露光制御部34b及び利得制御部35bを有している。
露光制御部34aは、図2に示すように、セレクタ33から出力される第1の撮像信号の明るさを検出する明るさ検出部34Aと、明るさ検出部34Aの検出結果及びCPU38の制御に応じ、撮像素子29Aの露光期間を変更させるための制御信号をCPU38に対して出力する露光期間制御部34Bと、を有している。
露光期間制御部34Bは、CPU38の制御に基づき、明るさ検出部34Aの検出結果と、所定の値を有する明るさ目標値とを比較し、セレクタ33から出力される第1の撮像信号の明るさが該明るさ目標値に対して低い場合には、撮像素子29Aの露光期間を増加させるための制御信号をCPU38に対して出力する。
また、露光期間制御部34Bは、CPU38の制御に基づき、明るさ検出部34Aの検出結果と、所定の値を有する明るさ目標値とを比較し、セレクタ33から出力される第1の撮像信号の明るさが該明るさ目標値に対して高い場合には、撮像素子29Aの露光期間を減少させるための制御信号をCPU38に対して出力する。
露光期間制御部34Bは、CPU38の制御に基づき、明るさ検出部34Aの検出結果と、所定の値を有する明るさ目標値とを比較し、セレクタ33から出力される第1の撮像信号の明るさが該明るさ目標値と同一である場合には、撮像素子29Aの露光期間を維持させるための制御信号をCPU38に対して出力する。
露光期間制御部34Bは、撮像素子29Aの露光期間が上限にまで達していない場合には、第1の撮像信号の利得を増減させないような制御信号を利得制御部35aに対して出力する。また、露光期間制御部34Bは、撮像素子29Aの露光期間が上限にまで達した場合であってもなお、セレクタ33から出力される第1の撮像信号の明るさが前記明るさ目標値に対して低いことを検出すると、第1の撮像信号の利得を増加させるための制御信号を利得制御部35aに対して出力する。さらに、露光期間制御部34Bは、撮像素子29Aの露光期間が下限にまで達した場合であってもなお、セレクタ33から出力される第1の撮像信号の明るさが前記明るさ目標値に対して高いことを検出すると、第1の撮像信号の利得を減少させるための制御信号を利得制御部35aに対して出力する。
利得制御部35aは、図2に示すように、明るさ検出部35Aと、利得生成部35Bと、乗算部35Cと、を有している。
明るさ検出部35Aは、乗算部35Cからフィードバックされる第1の撮像信号の明るさを検出するとともに、該検出した結果を利得生成部35Bへ出力する。
利得生成部35Bは、明るさ検出部35Aの検出結果及びCPU38の制御に応じ、第1の撮像信号の利得を増減させるための利得係数を生成するとともに、生成した該利得係数を乗算部35Cへ出力する。なお、利得生成部35Bにおいては、前記利得係数の初期値として、例えば1が予め設定されているものとする。
具体的には、利得生成部35Bは、露光期間制御部34Bから出力される制御信号及びCPU38の制御に基づき、明るさ検出部35Aの検出結果と、所定の値を有する明るさ目標値とを比較し、セレクタ33から出力される第1の撮像信号の明るさが該明るさ目標値に対して低い場合には、該第1の撮像信号の利得を増加させるための利得係数を生成して乗算部35Cへ出力する。
また、利得生成部35Bは、露光期間制御部34Bから出力される制御信号及びCPU38の制御に基づき、明るさ検出部35Aの検出結果と、所定の値を有する明るさ目標値とを比較し、セレクタ33から出力される第1の撮像信号の明るさが該明るさ目標値に対して高い場合には、該第1の撮像信号の利得を減少させるための利得係数を生成して乗算部35Cへ出力する。
利得生成部35Bは、露光期間制御部34Bから出力される、第1の撮像信号をスルーさせつつ出力させるための制御信号が入力されると、利得係数として1を生成して乗算部35Cへ出力する。さらに、利得生成部35Bは、CPU38により、第1の撮像信号をスルーさせつつ出力させるための制御が行われると、利得係数として1を生成して乗算部35Cへ出力する。
乗算部35Cは、利得生成部35Bから出力される利得係数をセレクタ33から出力される第1の撮像信号に乗算して出力する。
なお、本実施形態のプロセッサ3は、前述したような、露光制御部34aの処理結果に応じて利得制御部35aが処理を行う構成を有するものに限らず、利得制御部35aの処理結果に応じて露光制御部34aが処理を行う構成を有するものであっても良い。
露光制御部34bは、図2に示すように、セレクタ33から出力される第2の撮像信号の明るさを検出する明るさ検出部34Cと、明るさ検出部34Cの検出結果及びCPU38の制御に応じ、撮像素子29Bの露光期間を変更させるための制御信号をCPU38に対して出力する露光期間制御部34Dと、を有している。
露光期間制御部34Dは、CPU38の制御に基づき、明るさ検出部34Cの検出結果と、所定の値を有する明るさ目標値とを比較し、セレクタ33から出力される第2の撮像信号の明るさが該明るさ目標値に対して低い場合には、撮像素子29Bの露光期間を増加させるための制御信号をCPU38に対して出力する。
また、露光期間制御部34Dは、CPU38の制御に基づき、明るさ検出部34Cの検出結果と、所定の値を有する明るさ目標値とを比較し、セレクタ33から出力される第2の撮像信号の明るさが該明るさ目標値に対して高い場合には、撮像素子29Bの露光期間を減少させるための制御信号をCPU38に対して出力する。
露光期間制御部34Dは、CPU38の制御に基づき、明るさ検出部34Cの検出結果と、所定の値を有する明るさ目標値とを比較し、セレクタ33から出力される第2の撮像信号の明るさが該明るさ目標値と同一である場合には、撮像素子29Bの露光期間を維持させるための制御信号をCPU38に対して出力する。
露光期間制御部34Dは、撮像素子29Bの露光期間が上限にまで達していない場合には、第2の撮像信号の利得を増減させないような制御信号を利得制御部35bに対して出力する。また、露光期間制御部34Dは、撮像素子29Bの露光期間が上限にまで達した場合であってもなお、セレクタ33から出力される第2の撮像信号の明るさが前記明るさ目標値に対して低いことを検出すると、第2の撮像信号の利得を増加させるための制御信号を利得制御部35bに対して出力する。さらに、露光期間制御部34Dは、撮像素子29Bの露光期間が下限にまで達した場合であってもなお、セレクタ33から出力される第2の撮像信号の明るさが前記明るさ目標値に対して高いことを検出すると、第2の撮像信号の利得を減少させるための制御信号を利得制御部35bに対して出力する。
利得制御部35bは、図2に示すように、明るさ検出部35Dと、利得生成部35Eと、乗算部35Fと、を有している。
明るさ検出部35Dは、乗算部35Fからフィードバックされる第2の撮像信号の明るさを検出するとともに、該検出した結果を利得生成部35Eへ出力する。
利得生成部35Eは、明るさ検出部35Dの検出結果及びCPU38の制御に応じ、第2の撮像信号の利得を増減させるための利得係数を生成するとともに、生成した該利得係数を乗算部35Fへ出力する。なお、利得生成部35Eにおいては、前記利得係数の初期値として、例えば1が予め設定されているものとする。
具体的には、利得生成部35Eは、露光期間制御部34Dから出力される制御信号及びCPU38の制御に基づき、明るさ検出部35Dの検出結果と、所定の値を有する明るさ目標値とを比較し、セレクタ33から出力される第2の撮像信号の明るさが該明るさ目標値に対して低い場合には、該第2の撮像信号の利得を増加させるための利得係数を生成して乗算部35Fへ出力する。
また、利得生成部35Eは、露光期間制御部34Dから出力される制御信号及びCPU38の制御に基づき、明るさ検出部35Dの検出結果と、所定の値を有する明るさ目標値とを比較し、セレクタ33から出力される第2の撮像信号の明るさが該明るさ目標値に対して高い場合には、該第2の撮像信号の利得を減少させるための利得係数を生成して乗算部35Fへ出力する。
利得生成部35Eは、露光期間制御部34Dから出力される、第2の撮像信号をスルーさせつつ出力させるための制御信号が入力されると、利得係数として1を生成して乗算部35Fへ出力する。さらに、利得生成部35Eは、CPU38により、第2の撮像信号をスルーさせつつ出力させるための制御が行われると、利得係数として1を生成して乗算部35Fへ出力する。
乗算部35Fは、利得生成部35Eから出力される利得係数をセレクタ33から出力される第2の撮像信号に乗算して出力する。
なお、本実施形態のプロセッサ3は、前述したような、露光制御部34bの処理結果に応じて利得制御部35bが処理を行う構成を有するものに限らず、利得制御部35bの処理結果に応じて露光制御部34bが処理を行う構成を有するものであっても良い。
デジタル信号処理部36は、第1露光/利得制御部41及び第2露光/利得制御部42から出力される撮像信号に対してホワイトバランス処理、γ補正処理、画像合成処理及びD/A変換処理等の処理を施し、該処理後のアナログの映像信号をモニタ5に対して出力する。また、デジタル信号処理部36は、CPU38の制御に基づき、モニタ5における表示状態が該制御に応じたものとなるように、前記処理後のアナログの映像信号の出力状態を設定する。これにより、モニタ5には、デジタル信号処理部36から出力される映像信号に応じた被写体の像が画像表示される。
明るさ制御部の一部を構成するとともに、照明光制御部の一部を構成する測光部37は、セレクタ33から出力される撮像信号の明るさを検出するとともに、該検出した結果を明るさ信号として光源装置6の調光部63へ出力する。
CPU38は、内視鏡2A、内視鏡2B及びプロセッサ3の各部に対し、入力される制御信号等に応じた制御及び処理を適宜行う。
光源装置6は、図1に示すように、白色光を発する光源61Aと、青色の狭帯域光、または、赤外領域の光等のうちのいずれか一の光である、特殊光を発する光源61Bと、光源61Aから外部に対して出射される光の光量を変更可能な絞り62Aと、光源61Bから外部に対して出射される光の光量を変更可能な絞り62Bと、調光部63と、を有している。
調光部63は、プロセッサ3の測光部37から出力される明るさ信号に応じて絞り62A及び絞り62Bの絞り量を変更するための制御を行う。
光源61Aから発せられた後、光量変更部としての絞り62Aを介して出射される白色光は、光源装置6に接続されるライトガイド7A、及び、挿入部22Aの内部のライトガイド8Aを介し、撮像素子29Aの撮像対象となる被写体に対して出射される。また、光源61Bから発せられた後、光量変更部としての絞り62Bを介して出射される特殊光は、光源装置6に接続されるライトガイド7B、及び、挿入部22Bの内部のライトガイド8Bを介し、撮像素子29Bの撮像対象となる被写体に対して出射される。
明るさ制御部の一部、かつ、照明光制御部の一部としての調光部63は、測光部37から出力される明るさ信号に基づき、測光部37の検出結果と、所定の値を有する明るさ目標値とを比較し、セレクタ33から出力される撮像信号の明るさが該明るさ目標値に対して高い場合には、絞り62A及び62Bの絞り量を大きくさせるための制御信号を出力する。また、調光部63は、測光部37から出力される明るさ信号に基づき、測光部37の検出結果と、所定の値を有する明るさ目標値とを比較し、セレクタ33から出力される撮像信号の明るさが該明るさ目標値に対して低い場合には、絞り62A及び62Bの絞り量を小さくさせるための制御信号を出力する。
すなわち、本実施形態における照明光制御部は、プロセッサ3の測光部37と、光源装置6の調光部63と、を有して構成されている。
なお、本実施形態において、前述した明るさ目標値は、内視鏡2Aから出力される第1の撮像信号と、内視鏡2Bから出力される第2の撮像信号とにおいて、各々別の値として設定されているものとする。すなわち、前記第1の撮像信号に応じた第1の明るさ目標値は、内視鏡2Aにより撮像された被写体の像がユーザの観察に適した明るさを有するように出力可能な値である。また、前記第2の撮像信号に応じた第2の明るさ目標値は、内視鏡2Bにより撮像された被写体の像がユーザの観察に適した明るさを有するように出力可能な値である。
また、本実施形態において、調光部63は、絞り62A及び62Bの両方を連動させつつ制御を行うものに限らず、例えば、入力される明るさ信号に応じた一方の絞りのみに対して制御を行うものであっても、光源61A及び61Bに供給される電力を制御する等して照明光の明るさを制御するものであっても良く、また、これらの手段を組み合わせたものであっても良い。
さらに、本実施形態において、光源装置6は、白色光を外部へ出射可能な光源と、特殊光を外部へ出射可能な光源との2つの光源を1つの光源装置内に有して構成されるものに限らず、例えば、光源、絞り及び調光部が出射される照明光毎に別々に設けられた、2つの光源装置を有して構成されるものであっても良い。
ここで、本実施形態の内視鏡システム1の作用について説明を行う。
まず、ユーザは、内視鏡システム1の各部を図1に示すように接続した後、該各部の電源を投入する。
内視鏡システム1の各部の電源が投入されると、CPU38は、メモリ24A及び24Bに格納された、第1の内視鏡識別情報及び第2の内視鏡識別情報を読み込む(図4のステップS1)。
CPU38は、第1の内視鏡識別情報及び第2の内視鏡識別情報に基づき、内視鏡2Aの撮像素子29Aの画素数と、内視鏡2Bの撮像素子29Bの画素数との比較を行う(図4のステップS2)。
そして、信号出力先決定部としての機能を有するCPU38は、前記比較した結果に基づき、撮像素子29Aの画素数が撮像素子29Bの画素数に比べて多いことを検出すると、内視鏡2Aから出力される第1の撮像信号を第1露光/利得制御部41及び測光部37へ出力させるとともに、内視鏡2Bから(アナログ信号処理部32等を介して)出力される第2の撮像信号を第2露光/利得制御部42へ出力させるための制御を、セレクタ33に対して行う(図4のステップS3)。
なお、前述した処理において、CPU38は、例えば、撮像素子29Aの画素数と撮像素子29Bの画素数とが同数であることを検出した場合には、生成した撮像信号をデジタル信号として出力可能な機能を有する内視鏡2Aからの第1の撮像信号を第1露光/利得制御部41及び測光部37へ出力させるとともに、生成した撮像信号をアナログ信号として出力する内視鏡2Bからの第2の撮像信号を第2露光/利得制御部42へ出力させる制御を行うものとする。
セレクタ33から測光部37へ出力された第1の撮像信号は、測光部37により明るさが検出され、該検出した結果に応じた明るさ信号に変換されつつ調光部63に入力される。
調光部63は、入力される明るさ信号に応じて絞り62A及び62Bの絞り量を変化させるための制御信号を出力する。これにより、光源装置6から出力される白色光の光量が、前述した第1の明るさ目標値に応じた光量として調整される(図4のステップS4)。
一方、信号出力制御部としての機能を有するCPU38は、第1の撮像信号に応じて撮像素子29Aの露光期間を変化させるための制御を露光制御部34aに対して行うとともに、該第1の撮像信号の利得を変化させるための制御を利得制御部35aに対して行う。
露光制御部34aは、CPU38の制御に基づき、第1の撮像信号の明るさを検出するとともに、該検出した結果と第1の明るさ目標値との比較を行う。また、露光制御部34aは、前記比較した結果に応じ、撮像素子29Aの露光期間を変更させるための制御信号をCPU38に対して出力する。
そして、CPU38は、露光制御部34aからの制御信号に基づき、撮像素子29Aの露光期間を変更する。これにより、撮像素子29Aの露光期間が、前述した第1の明るさ目標値に応じた露光期間として調整される(図4のステップS5)。
一方、利得制御部35aは、露光制御部34aからの制御信号に基づいて撮像素子29Aの露光期間が上限または下限のいずれであるかを判定し、該判定した結果と第1の明るさ目標値とに応じ、入力される第1の撮像信号の利得を増加または減少させるための処理を行う。これにより、内視鏡2Aから出力される第1の撮像信号の利得が、前述した第1の明るさ目標値に応じた利得として調整される(図4のステップS5)。
そして、デジタル信号処理部36は、CPU38の制御に基づき、利得制御部35aから出力された第1の撮像信号に対して各種処理を施すことにより第1の映像信号を生成するとともに、例えば図3に示すように、該第1の映像信号に応じた被写体の像がモニタ5の親画面101に画像表示されるように、該第1の映像信号の出力状態を設定する(図4のステップS7)。
また、CPU38は、第2の撮像信号に応じて撮像素子29Bの露光期間を変化させるための制御を露光制御部34bに対して行うとともに、該第2の撮像信号の利得を変化させるための制御を利得制御部35bに対して行う。
露光制御部34bは、CPU38の制御に基づき、第2の撮像信号の明るさを検出するとともに、該検出した結果と第2の明るさ目標値との比較を行う。また、露光制御部34bは、前記比較した結果に応じ、撮像素子29Bの露光期間を変更させるための制御信号をCPU38に対して出力する。
そして、CPU38は、露光制御部34bからの制御信号に基づき、撮像素子29Bの露光期間を変更する。これにより、撮像素子29Bの露光期間が、前述した第2の明るさ目標値に応じた露光期間として調整される(図4のステップS6)。
一方、利得制御部35bは、露光制御部34bからの制御信号に基づいて撮像素子29Bの露光期間が上限または下限のいずれであるかを判定し、該判定した結果と第2の明るさ目標値とに応じ、入力される第2の撮像信号の利得を増加または減少させるための処理を行う。これにより、内視鏡2Bから出力される第2の撮像信号の利得が、前述した第2の明るさ目標値に応じた利得として調整される(図4のステップS6)。
そして、デジタル信号処理部36は、CPU38の制御に基づき、利得制御部35bから出力された第2の撮像信号に対して各種処理を施すことにより第2の映像信号を生成するとともに、例えば図3に示すように、該第2の映像信号に応じた被写体の像がモニタ5の子画面102に画像表示されるように、該第2の映像信号の出力状態を設定する(図4のステップS8)。
以上に述べた処理が行われることにより、モニタ5には、例えば図3に示すように、各々がユーザの観察に適した明るさを有する、第1の映像信号に応じた被写体の像が親画面101において画像表示されるとともに、第2の映像信号に応じた被写体の像が子画面102において画像表示される。
なお、本実施形態において、CPU38は、以上に述べた各制御及び処理が行われた後に、例えば、指示入力部4の図示しないキーボードが有する所定のキー等の押下によってなされる所定の指示に応じ、親画面101及び子画面102に表示される被写体の像を切り替えるための制御を(、CPU38を介し、)デジタル信号処理部36等に対して行うものであっても良い。
また、本実施形態において、CPU38は、セレクタ33に入力される各撮像信号に応じ、図3に示すような、相対的に大きく表示される親画面101と、相対的に小さく表示される子画面102とを表示させるための制御をデジタル信号処理部36等に対して行うものに限らない。
具体的には、CPU38は、例えば、指示入力部4の図示しないキーボードが有する所定のキー等の押下による所定の指示がなされるまでは、画素数が相対的に多い撮像素子29Aから出力される第1の撮像信号に応じた被写体の像を出力させ続けるとともに、該所定のキー等の押下による所定の指示がなされた場合に、画素数が相対的に少ない撮像素子29Bから出力される第2の撮像信号に応じた被写体の像に切り替えて出力させるための制御をデジタル信号処理部36等に対して行うものであっても良い。
また、本実施形態において、CPU38は、前述したような、セレクタ33に入力される各撮像信号の出力先を決定するための制御を、撮像素子29A及び29Bの画素数の比較結果に基づいて行うものに限らず、例えば、内視鏡2A及び2Bの用途に基づいて行うものであっても良い。
具体的には、CPU38は、第1の内視鏡識別情報及び第2の内視鏡識別情報を読み込む(図5のステップS11)。とともに、該第1の内視鏡識別情報及び該第2の内視鏡識別情報に基づき、内視鏡2A及び内視鏡2Bが各々どのような用途として用いられるものかを検出する(図5のステップS12)。
そして、CPU38は、前記検出した結果に基づき、例えば、白色光用の撮像素子29Aを具備した内視鏡2Aから出力される第1の撮像信号を第1露光/利得制御部41及び測光部37へ出力させるとともに、特殊光用の撮像素子29Bを具備した内視鏡2Bから出力される第2の撮像信号を第2露光/利得制御部42へ出力させるための制御を、セレクタ33に対して行う(図5のステップS13)。
セレクタ33から測光部37へ出力された第1の撮像信号は、測光部37により明るさが検出され、該検出した結果に応じた明るさ信号に変換されつつ調光部63に入力される。
調光部63は、入力される明るさ信号に応じて絞り62A及び62Bの絞り量を変化させるための制御信号を出力する。これにより、光源装置6から出力される白色光の光量が、前述した第1の明るさ目標値に応じた光量として調整される(図5のステップS14)。
一方、信号出力制御部としての機能を有するCPU38は、第1の撮像信号に応じて撮像素子29Aの露光期間を変化させるための制御を露光制御部34aに対して行うとともに、該第1の撮像信号の利得を変化させるための制御を利得制御部35aに対して行う。
露光制御部34aは、CPU38の制御に基づき、第1の撮像信号の明るさを検出するとともに、該検出した結果と第1の明るさ目標値との比較を行う。また、露光制御部34aは、前記比較した結果に応じ、撮像素子29Aの露光期間を変更させるための制御信号をCPU38に対して出力する。
そして、CPU38は、露光制御部34aからの制御信号に基づき、撮像素子29Aの露光期間を変更する。これにより、撮像素子29Aの露光期間が、前述した第1の明るさ目標値に応じた露光期間として調整される(図5のステップS15)。
一方、利得制御部35aは、露光制御部34aからの制御信号に基づいて撮像素子29Aの露光期間が上限または下限のいずれであるかを判定し、該判定した結果と第1の明るさ目標値とに応じ、入力される第1の撮像信号の利得を増加または減少させるための処理を行う。これにより、内視鏡2Aから出力される第1の撮像信号の利得が、前述した第1の明るさ目標値に応じた利得として調整される(図5のステップS15)。
そして、デジタル信号処理部36は、CPU38の制御に基づき、利得制御部35aから出力された第1の撮像信号に対して各種処理を施すことにより第1の映像信号を生成するとともに、例えば図3に示すように、該第1の映像信号に応じた被写体の像がモニタ5の親画面101に画像表示されるように、該第1の映像信号の出力状態を設定する(図5のステップS17)。
また、CPU38は、第2の撮像信号に応じて撮像素子29Bの露光期間を変化させるための制御を露光制御部34bに対して行うとともに、該第2の撮像信号の利得を変化させるための制御を利得制御部35bに対して行う。
露光制御部34bは、CPU38の制御に基づき、第2の撮像信号の明るさを検出するとともに、該検出した結果と第2の明るさ目標値との比較を行う。また、露光制御部34bは、前記比較した結果に応じ、撮像素子29Bの露光期間を変更させるための制御信号をCPU38に対して出力する。
そして、CPU38は、露光制御部34bからの制御信号に基づき、撮像素子29Bの露光期間を変更する。これにより、撮像素子29Bの露光期間が、前述した第2の明るさ目標値に応じた露光期間として調整される(図5のステップS16)。
一方、利得制御部35bは、露光制御部34bからの制御信号に基づいて撮像素子29Bの露光期間が上限または下限のいずれであるかを判定し、該判定した結果と第2の明るさ目標値とに応じ、入力される第2の撮像信号の利得を増加または減少させるための処理を行う。これにより、内視鏡2Bから出力される第2の撮像信号の利得が、前述した第2の明るさ目標値に応じた利得として調整される(図5のステップS16)。
そして、デジタル信号処理部36は、CPU38の制御に基づき、利得制御部35bから出力された第2の撮像信号に対して各種処理を施すことにより第2の映像信号を生成するとともに、例えば図3に示すように、該第2の映像信号に応じた被写体の像がモニタ5の子画面102に画像表示されるように、該第2の映像信号の出力状態を設定する(図5のステップS18)。
以上に述べた処理が行われることにより、モニタ5には、例えば図3に示すように、各々がユーザの観察に適した明るさを有する、第1の映像信号に応じた被写体の像が親画面101において画像表示されるとともに、第2の映像信号に応じた被写体の像が子画面102において画像表示される。
なお、図5に示す一連の処理は、白色光により照明された被写体の像を撮像可能な内視鏡と、特殊光により照明された被写体の像を撮像可能な内視鏡とにおいて異なる明るさ制御を行う例として示しているが、これに限らず、例えば、白色光により照明された被写体の像を撮像可能な内視鏡と、面順次光により照明された被写体の像を撮像可能な内視鏡とにおいて異なる明るさ制御を行うものであっても良い。(また、前記面順次光は、光源61Aから発せられる白色光が図示しない回転フィルタ等の分光部材により分光されつつ生成される光であって、例えば赤、緑及び青の3色からなる光である。)
また、本実施形態において、CPU38は、前述したような、セレクタ33に入力される各撮像信号の出力先を決定するための制御を、第1の内視鏡識別情報及び第2の内視鏡識別情報が有する各情報のうち、1つずつの情報の比較結果に基づいて行うものに限らず、例えば、挿入部22A及び22Bの形状、及び、撮像素子29A及び29Bの画素数というような、2つずつ以上の情報を組み合わせた比較結果に基づいて行うものであっても良い。
具体的には、CPU38は、第1の内視鏡識別情報及び第2の内視鏡識別情報を読み込む(図6のステップS21)。とともに、該第1の内視鏡識別情報及び該第2の内視鏡識別情報に基づき、内視鏡2A及び2Bについて、挿入部22A及び22Bの径の太さと、撮像素子29A及び29Bの画素数とを検出する(図6のステップS22)。
さらに、CPU38は、撮像素子29A及び29Bの画素数の検出結果に基づき、撮像素子29Aの画素数と撮像素子29Bの画素数との差を算出する。そして、CPU38は、撮像素子29Aの画素数と撮像素子29Bの画素数との差が所定の値以上であることを検出した場合(図6のステップS23)、撮像素子の画素数が相対的に多い内視鏡2Aから出力される第1の撮像信号を第1露光/利得制御部41及び測光部37へ出力させるとともに、撮像素子の画素数が相対的に少ない内視鏡2Bから出力される第2の撮像信号を第2露光/利得制御部42へ出力させる制御を、セレクタ33に対して行う(図6のステップS24)。
セレクタ33から測光部37へ出力された第1の撮像信号は、測光部37により明るさが検出され、該検出した結果に応じた明るさ信号に変換されつつ調光部63に入力される。
調光部63は、入力される明るさ信号に応じて絞り62A及び62Bの絞り量を変化させるための制御信号を出力する。これにより、光源装置6から出力される白色光の光量が、前述した第1の明るさ目標値に応じた光量として調整される(図6のステップS26)。
一方、信号出力制御部としての機能を有するCPU38は、第1の撮像信号に応じて撮像素子29Aの露光期間を変化させるための制御を露光制御部34aに対して行うとともに、該第1の撮像信号の利得を変化させるための制御を利得制御部35aに対して行う。
露光制御部34aは、CPU38の制御に基づき、第1の撮像信号の明るさを検出するとともに、該検出した結果と第1の明るさ目標値との比較を行う。また、露光制御部34aは、前記比較した結果に応じ、撮像素子29Aの露光期間を変更させるための制御信号をCPU38に対して出力する。
そして、CPU38は、露光制御部34aからの制御信号に基づき、撮像素子29Aの露光期間を変更する。これにより、撮像素子29Aの露光期間が、前述した第1の明るさ目標値に応じた露光期間として調整される(図6のステップS28)。
一方、利得制御部35aは、露光制御部34aからの制御信号に基づいて撮像素子29Aの露光期間が上限または下限のいずれであるかを判定し、該判定した結果と第1の明るさ目標値とに応じ、入力される第1の撮像信号の利得を増加または減少させるための処理を行う。これにより、内視鏡2Aから出力される第1の撮像信号の利得が、前述した第1の明るさ目標値に応じた利得として調整される(図6のステップS28)。
そして、デジタル信号処理部36は、CPU38の制御に基づき、利得制御部35aから出力された第1の撮像信号に対して各種処理を施すことにより第1の映像信号を生成するとともに、例えば図3に示すように、該第1の映像信号に応じた被写体の像がモニタ5の親画面101に画像表示されるように、該第1の映像信号の出力状態を設定する(図6のステップS32)。
また、CPU38は、第2の撮像信号に応じて撮像素子29Bの露光期間を変化させるための制御を露光制御部34bに対して行うとともに、該第2の撮像信号の利得を変化させるための制御を利得制御部35bに対して行う。
露光制御部34bは、CPU38の制御に基づき、第2の撮像信号の明るさを検出するとともに、該検出した結果と第2の明るさ目標値との比較を行う。また、露光制御部34bは、前記比較した結果に応じ、撮像素子29Bの露光期間を変更させるための制御信号をCPU38に対して出力する。
そして、CPU38は、露光制御部34bからの制御信号に基づき、撮像素子29Bの露光期間を変更する。これにより、撮像素子29Bの露光期間が、前述した第2の明るさ目標値に応じた露光期間として調整される(図6のステップS29)。
一方、利得制御部35bは、露光制御部34bからの制御信号に基づいて撮像素子29Bの露光期間が上限または下限のいずれであるかを判定し、該判定した結果と第2の明るさ目標値とに応じ、入力される第2の撮像信号の利得を増加または減少させるための処理を行う。これにより、内視鏡2Bから出力される第2の撮像信号の利得が、前述した第2の明るさ目標値に応じた利得として調整される(図6のステップS29)。
そして、デジタル信号処理部36は、CPU38の制御に基づき、利得制御部35bから出力された第2の撮像信号に対して各種処理を施すことにより第2の映像信号を生成するとともに、例えば図3に示すように、該第2の映像信号に応じた被写体の像がモニタ5の子画面102に画像表示されるように、該第2の映像信号の出力状態を設定する(図6のステップS33)。
以上に述べた処理が行われることにより、モニタ5には、例えば図3に示すように、各々がユーザの観察に適した明るさを有する、第1の映像信号に応じた被写体の像が親画面101において画像表示されるとともに、第2の映像信号に応じた被写体の像が子画面102において画像表示される。
一方、CPU38は、撮像素子29A及び29Bの画素数の検出結果に基づき、撮像素子29Aの画素数と撮像素子29Bの画素数との差を算出する。そして、CPU38は、撮像素子29Aの画素数と撮像素子29Bの画素数との差が所定の値未満であることを検出した場合(図6のステップS23)、挿入部の径が相対的に細い内視鏡2Bから出力される第2の撮像信号を第2露光/利得制御部42及び測光部37へ出力させるとともに、挿入部の径が相対的に太い内視鏡2Aから出力される第1の撮像信号を第1露光/利得制御部41へ出力させる制御を、セレクタ33に対して行う(図6のステップS25)。
セレクタ33から測光部37へ出力された第2の撮像信号は、測光部37により明るさが検出され、該検出した結果に応じた明るさ信号に変換されつつ調光部63に入力される。
調光部63は、入力される明るさ信号に応じて絞り62A及び62Bの絞り量を変化させるための制御信号を出力する。これにより、光源装置6から出力される特殊光の光量が、前述した第2の明るさ目標値に応じた光量として調整される(図6のステップS27)。
一方、信号出力制御部としての機能を有するCPU38は、第2の撮像信号に応じて撮像素子29Bの露光期間を変化させるための制御を露光制御部34bに対して行うとともに、該第2の撮像信号の利得を変化させるための制御を利得制御部35bに対して行う。
露光制御部34bは、CPU38の制御に基づき、第2の撮像信号の明るさを検出するとともに、該検出した結果と第2の明るさ目標値との比較を行う。また、露光制御部34bは、前記比較した結果に応じ、撮像素子29Bの露光期間を変更させるための制御信号をCPU38に対して出力する。
そして、CPU38は、露光制御部34bからの制御信号に基づき、撮像素子29Bの露光期間を変更する。これにより、撮像素子29Bの露光期間が、前述した第2の明るさ目標値に応じた露光期間として調整される(図6のステップS30)。
一方、利得制御部35bは、露光制御部34bからの制御信号に基づいて撮像素子29Bの露光期間が上限または下限のいずれであるかを判定し、該判定した結果と第1の明るさ目標値とに応じ、入力される第2の撮像信号の利得を増加または減少させるための処理を行う。これにより、内視鏡2Bから出力される第2の撮像信号の利得が、前述した第2の明るさ目標値に応じた利得として調整される(図6のステップS30)。
そして、デジタル信号処理部36は、CPU38の制御に基づき、利得制御部35bから出力された第2の撮像信号に対して各種処理を施すことにより第2の映像信号を生成するとともに、例えば図3に示すように、該第2の映像信号に応じた被写体の像がモニタ5の親画面101に画像表示されるように、該第2の映像信号の出力状態を設定する(図6のステップS34)。
また、CPU38は、第1の撮像信号に応じて撮像素子29Aの露光期間を変化させるための制御を露光制御部34aに対して行うとともに、該第1の撮像信号の利得を変化させるための制御を利得制御部35aに対して行う。
露光制御部34aは、CPU38の制御に基づき、第1の撮像信号の明るさを検出するとともに、該検出した結果と第1の明るさ目標値との比較を行う。また、露光制御部34aは、前記比較した結果に応じ、撮像素子29Aの露光期間を変更させるための制御信号をCPU38に対して出力する。
そして、CPU38は、露光制御部34aからの制御信号に基づき、撮像素子29Aの露光期間を変更する。これにより、撮像素子29Aの露光期間が、前述した第1の明るさ目標値に応じた露光期間として調整される(図6のステップS31)。
一方、利得制御部35aは、露光制御部34aからの制御信号に基づいて撮像素子29Aの露光期間が上限または下限のいずれであるかを判定し、該判定した結果と第1の明るさ目標値とに応じ、入力される第2の撮像信号の利得を増加または減少させるための処理を行う。これにより、内視鏡2Aから出力される第1の撮像信号の利得が、前述した第1の明るさ目標値に応じた利得として調整される(図6のステップS31)。
そして、デジタル信号処理部36は、CPU38の制御に基づき、利得制御部35aから出力された第1の撮像信号に対して各種処理を施すことにより第1の映像信号を生成するとともに、例えば図3に示すように、該第1の映像信号に応じた被写体の像がモニタ5の子画面102に画像表示されるように、該第1の映像信号の出力状態を設定する(図6のステップS35)。
以上に述べた処理が行われることにより、モニタ5には、例えば図3に示すように、各々がユーザの観察に適した明るさを有する、第2の映像信号に応じた被写体の像が親画面101において画像表示されるとともに、第1の映像信号に応じた被写体の像が子画面102において画像表示される。
なお、前述した図6のフローチャートに基づく処理において、CPU38は、例えば、内視鏡2Aの挿入部の径が相対的に細く、かつ、内視鏡2Bの挿入部の径が相対的に太いことを検出した場合、撮像素子29Aの画素数と撮像素子29Bの画素数との差によらず、内視鏡2Aから出力される第1の撮像信号を第1露光/利得制御部41及び測光部37へ出力させるとともに、内視鏡2Bから出力される第2の撮像信号を第2露光/利得制御部42へ出力させる制御を、セレクタ33に対して行うものであっても良い。
さらに、本実施形態において、CPU38は、前述したような、セレクタ33に入力される各撮像信号の出力先を決定するための制御を、撮像素子29A及び29Bの画素数の比較結果に基づいて行うものに限らず、例えば、さらに、内視鏡2A及び2Bにより使用可能な機能の比較結果に基づき、相対的に高度な機能を有する一の内視鏡から出力される撮像信号を第1露光/利得制御部41及び測光部37へ出力させるとともに、相対的に低度な機能を有する他の内視鏡から出力される撮像信号を第2露光/利得制御部42へ出力させる制御を行うものであっても良い。
具体的には、CPU38は、第1の内視鏡識別情報及び第2の内視鏡識別情報を読み込む(図7のステップS41)とともに、該第1の内視鏡識別情報及び該第2の内視鏡識別情報に基づき、内視鏡2A及び2Bについて、挿入部22A及び22Bの径の太さと、使用可能な機能とを検出する(図7のステップS42)。
さらに、CPU38は、内視鏡2A及び2Bにおいて使用可能な機能の検出結果に基づき、例えば、挿入部の形状を検出可能な機能というような、内視鏡2Aが内視鏡2Bに比べて高度な機能を有することを検出した場合(図7のステップS43)、相対的に高度な機能を有する内視鏡2Aから出力される第1の撮像信号を第1露光/利得制御部41及び測光部37へ出力させるとともに、相対的に低度な機能を有する内視鏡2Bから出力される第2の撮像信号を第2露光/利得制御部42へ出力させる制御を、セレクタ33に対して行う(図7のステップS44)。
セレクタ33から測光部37へ出力された第1の撮像信号は、測光部37により明るさが検出され、該検出した結果に応じた明るさ信号に変換されつつ調光部63に入力される。
調光部63は、入力される明るさ信号に応じて絞り62A及び62Bの絞り量を変化させるための制御信号を出力する。これにより、光源装置6から出力される白色光の光量が、前述した第1の明るさ目標値に応じた光量として調整される(図7のステップS46)。
一方、信号出力制御部としての機能を有するCPU38は、第1の撮像信号に応じて撮像素子29Aの露光期間を変化させるための制御を露光制御部34aに対して行うとともに、該第1の撮像信号の利得を変化させるための制御を利得制御部35aに対して行う。
露光制御部34aは、CPU38の制御に基づき、第1の撮像信号の明るさを検出するとともに、該検出した結果と第1の明るさ目標値との比較を行う。また、露光制御部34aは、前記比較した結果に応じ、撮像素子29Aの露光期間を変更させるための制御信号をCPU38に対して出力する。
そして、CPU38は、露光制御部34aからの制御信号に基づき、撮像素子29Aの露光期間を変更する。これにより、撮像素子29Aの露光期間が、前述した第1の明るさ目標値に応じた露光期間として調整される(図7のステップS48)。
一方、利得制御部35aは、露光制御部34aからの制御信号に基づいて撮像素子29Aの露光期間が上限または下限のいずれであるかを判定し、該判定した結果と第1の明るさ目標値とに応じ、入力される第1の撮像信号の利得を増加または減少させるための処理を行う。これにより、内視鏡2Aから出力される第1の撮像信号の利得が、前述した第1の明るさ目標値に応じた利得として調整される(図7のステップS48)。
そして、デジタル信号処理部36は、CPU38の制御に基づき、利得制御部35aから出力された第1の撮像信号に対して各種処理を施すことにより第1の映像信号を生成するとともに、例えば図3に示すように、該第1の映像信号に応じた被写体の像がモニタ5の親画面101に画像表示されるように、該第1の映像信号の出力状態を設定する(図7のステップS52)。
また、CPU38は、第2の撮像信号に応じて撮像素子29Bの露光期間を変化させるための制御を露光制御部34bに対して行うとともに、該第2の撮像信号の利得を変化させるための制御を利得制御部35bに対して行う。
露光制御部34bは、CPU38の制御に基づき、第2の撮像信号の明るさを検出するとともに、該検出した結果と第2の明るさ目標値との比較を行う。また、露光制御部34bは、前記比較した結果に応じ、撮像素子29Bの露光期間を変更させるための制御信号をCPU38に対して出力する。
そして、CPU38は、露光制御部34bからの制御信号に基づき、撮像素子29Bの露光期間を変更する。これにより、撮像素子29Bの露光期間が、前述した第2の明るさ目標値に応じた露光期間として調整される(図7のステップS49)。
一方、利得制御部35bは、露光制御部34bからの制御信号に基づいて撮像素子29Bの露光期間が上限または下限のいずれであるかを判定し、該判定した結果と第2の明るさ目標値とに応じ、入力される第2の撮像信号の利得を増加または減少させるための処理を行う。これにより、内視鏡2Bから出力される第2の撮像信号の利得が、前述した第2の明るさ目標値に応じた利得として調整される(図7のステップS49)。
そして、デジタル信号処理部36は、CPU38の制御に基づき、利得制御部35bから出力された第2の撮像信号に対して各種処理を施すことにより第2の映像信号を生成するとともに、例えば図3に示すように、該第2の映像信号に応じた被写体の像がモニタ5の子画面102に画像表示されるように、該第2の映像信号の出力状態を設定する(図7のステップS53)。
以上に述べた処理が行われることにより、モニタ5には、例えば図3に示すように、各々がユーザの観察に適した明るさを有する、第1の映像信号に応じた被写体の像が親画面101において画像表示されるとともに、第2の映像信号に応じた被写体の像が子画面102において画像表示される。
一方、CPU38は、内視鏡2A及び2Bにおいて使用可能な機能の検出結果に基づき、内視鏡2Aが内視鏡2Bに比べて高度な機能を有しないことを検出した場合(図7のステップS43)、挿入部の径が相対的に細い内視鏡2Bから出力される第2の撮像信号を第2露光/利得制御部42及び測光部37へ出力させるとともに、挿入部の径が相対的に太い内視鏡2Aから出力される第1の撮像信号を第1露光/利得制御部41へ出力させる制御を、セレクタ33に対して行う(図7のステップS45)。
セレクタ33から測光部37へ出力された第2の撮像信号は、測光部37により明るさが検出され、該検出した結果に応じた明るさ信号に変換されつつ調光部63に入力される。
調光部63は、入力される明るさ信号に応じて絞り62A及び62Bの絞り量を変化させるための制御信号を出力する。これにより、光源装置6から出力される特殊光の光量が、前述した第2の明るさ目標値に応じた光量として調整される(図7のステップS47)。
一方、信号出力制御部としての機能を有するCPU38は、第2の撮像信号に応じて撮像素子29Bの露光期間を変化させるための制御を露光制御部34bに対して行うとともに、該第2の撮像信号の利得を変化させるための制御を利得制御部35bに対して行う。
露光制御部34bは、CPU38の制御に基づき、第2の撮像信号の明るさを検出するとともに、該検出した結果と第2の明るさ目標値との比較を行う。また、露光制御部34bは、前記比較した結果に応じ、撮像素子29Bの露光期間を変更させるための制御信号をCPU38に対して出力する。
そして、CPU38は、露光制御部34bからの制御信号に基づき、撮像素子29Bの露光期間を変更する。これにより、撮像素子29Bの露光期間が、前述した第2の明るさ目標値に応じた露光期間として調整される(図7のステップS50)。
一方、利得制御部35bは、露光制御部34bからの制御信号に基づいて撮像素子29Bの露光期間が上限または下限のいずれであるかを判定し、該判定した結果と第1の明るさ目標値とに応じ、入力される第2の撮像信号の利得を増加または減少させるための処理を行う。これにより、内視鏡2Bから出力される第2の撮像信号の利得が、前述した第2の明るさ目標値に応じた利得として調整される(図7のステップS50)。
そして、デジタル信号処理部36は、CPU38の制御に基づき、利得制御部35bから出力された第2の撮像信号に対して各種処理を施すことにより第2の映像信号を生成するとともに、例えば図3に示すように、該第2の映像信号に応じた被写体の像がモニタ5の親画面101に画像表示されるように、該第2の映像信号の出力状態を設定する(図7のステップS54)。
また、CPU38は、第1の撮像信号に応じて撮像素子29Aの露光期間を変化させるための制御を露光制御部34aに対して行うとともに、該第1の撮像信号の利得を変化させるための制御を利得制御部35aに対して行う。
露光制御部34aは、CPU38の制御に基づき、第1の撮像信号の明るさを検出するとともに、該検出した結果と第1の明るさ目標値との比較を行う。また、露光制御部34aは、前記比較した結果に応じ、撮像素子29Aの露光期間を変更させるための制御信号をCPU38に対して出力する。
そして、CPU38は、露光制御部34aからの制御信号に基づき、撮像素子29Aの露光期間を変更する。これにより、撮像素子29Aの露光期間が、前述した第1の明るさ目標値に応じた露光期間として調整される(図7のステップS51)。
一方、利得制御部35aは、露光制御部34aからの制御信号に基づいて撮像素子29Aの露光期間が上限または下限のいずれであるかを判定し、該判定した結果と第1の明るさ目標値とに応じ、入力される第2の撮像信号の利得を増加または減少させるための処理を行う。これにより、内視鏡2Aから出力される第1の撮像信号の利得が、前述した第1の明るさ目標値に応じた利得として調整される(図7のステップS51)。
そして、デジタル信号処理部36は、CPU38の制御に基づき、利得制御部35aから出力された第1の撮像信号に対して各種処理を施すことにより第1の映像信号を生成するとともに、例えば図3に示すように、該第1の映像信号に応じた被写体の像がモニタ5の子画面102に画像表示されるように、該第1の映像信号の出力状態を設定する(図7のステップS55)。
以上に述べた処理が行われることにより、モニタ5には、例えば図3に示すように、各々がユーザの観察に適した明るさを有する、第2の映像信号に応じた被写体の像が親画面101において画像表示されるとともに、第1の映像信号に応じた被写体の像が子画面102において画像表示される。
なお、前述した図7のフローチャートに基づく処理において、CPU38は、例えば、内視鏡2Aの挿入部の径が相対的に細く、かつ、内視鏡2Bの挿入部の径が相対的に太いことを検出した場合、内視鏡2A及び2B各々において使用可能な機能の検出結果によらず、内視鏡2Aから出力される第1の撮像信号を第1露光/利得制御部41及び測光部37へ出力させるとともに、相対的に低度な機能を有する内視鏡2Bから出力される第2の撮像信号を第2露光/利得制御部42へ出力させる制御を、セレクタ33に対して行うものであっても良い。
以上に述べたように、本実施形態に係る内視鏡システム1は、各内視鏡識別情報に基づき、内視鏡2A及び2Bにより各々撮像された被写体の像を、観察に適した状態としてモニタ5へ出力することが可能な構成を有している。その結果、本実施形態に係る内視鏡システム1は、複数の内視鏡を用いた観察が行われる場合の観察精度を、従来に比べて向上させることができる。
なお、本発明は、上述した実施形態に限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更や応用が可能であることは勿論である。
本実施形態に係る撮像システムとしての内視鏡システムの、要部の構成の一例を示す図。 図1における露光制御部及び利得制御部の具体的な構成の一例を示すブロック図。 図1のプロセッサの処理によりモニタに表示される画面の一例を示す図。 図1のプロセッサが内視鏡識別情報に基づいて行う処理の一例を示すフローチャート。 図1のプロセッサが内視鏡識別情報に基づいて行う処理の、図4とは異なる例を示すフローチャート。 図1のプロセッサが内視鏡識別情報に基づいて行う処理の、図4及び図5とは異なる例を示すフローチャート。 図1のプロセッサが内視鏡識別情報に基づいて行う処理の、図4、図5及び図6とは異なる例を示すフローチャート。
符号の説明
1・・・内視鏡システム、2A,2B・・・内視鏡、3・・・プロセッサ、4・・・指示入力部、5・・・モニタ、6・・・光源装置、22A,22B・・・挿入部、23A,23B・・・撮像部、33・・・セレクタ、37・・・測光部、41・・・第1露光/利得制御部、42・・・第2露光/利得制御部、63・・・調光部

Claims (9)

  1. 第1の被写体の像に応じた第1の撮像信号を出力可能な第1の撮像素子を具備する第1の撮像部と、第2の被写体の像に応じた第2の撮像信号を出力可能な第2の撮像素子を具備する第2の撮像部と、前記第1の撮像信号及び前記第2の撮像信号に対して信号処理を施して表示部へ出力する信号処理部と、を有し、
    前記信号処理部は、
    前記第1の撮像素子に関する情報を少なくとも含む第1の識別情報と、前記第2の撮像素子に関する情報を少なくとも含む第2の識別情報と、に基づき、前記第1の撮像信号及び前記第2の撮像信号の出力先を決定する信号出力先決定部と、
    前記第1の撮像信号及び前記第2の撮像信号を、前記信号出力先決定部が行う前記制御に応じて前記出力先各々へ振り分けつつ出力する信号振り分け部と、
    前記信号振り分け部から出力される前記第1の撮像信号及び前記第2の撮像信号に応じ、前記第1の被写体の像及び前記第2の被写体の像のうちの少なくともいずれか一方を前記表示部へ出力させるための制御を行う信号出力制御部と、
    を有することを特徴とする撮像システム。
  2. 前記第1の識別情報は、前記第1の撮像素子に関する情報、前記第1の撮像部を具備する第1の内視鏡の機種、該第1の内視鏡の機能、及び、該第1の内視鏡が具備する挿入部の径に関する情報を有し、
    前記第2の識別情報は、前記第2の撮像素子に関する情報、前記第2の撮像部を具備する第2の内視鏡の機種、該第2の内視鏡の機能、及び、該第2の内視鏡が具備する挿入部の径に関する情報を有し、
    前記信号出力制御部は、前記第1の識別情報が有する各情報、及び、前記第2の識別情報が有する各情報のうち、少なくとも1つずつの情報の比較結果に基づき、前記第1の撮像信号及び前記第2の撮像信号のうち、一の撮像信号を前記表示部における親画面に出力させるとともに、前記一の撮像信号とは異なる他の撮像信号を前記表示部における子画面に出力させるための制御を行うことを特徴とする請求項1に記載の撮像システム。
  3. 前記信号出力制御部は、前記第1の撮像素子の画素数と、前記第2の撮像素子の画素数との比較結果に基づき、相対的に画素数の多い撮像素子から出力される前記一の撮像信号を前記表示部における親画面に出力させ、相対的に画素数の少ない撮像素子から出力される前記他の撮像信号を前記表示部における子画面に出力させるための制御を行うことを特徴とする請求項1または請求項2に記載の撮像システム。
  4. 前記信号出力制御部は、前記第1の撮像素子の画素数と、前記第2の撮像素子の画素数との比較結果に基づき、相対的に画素数の多い撮像素子から出力される前記一の撮像信号を前記表示部に出力させるための制御を行うことを特徴とする請求項1に記載の撮像システム。
  5. さらに、前記信号処理部に対する指示を行うことが可能な指示入力部を有し、
    前記信号出力制御部は、前記指示入力部における所定の指示がなされた場合に、前記第1の撮像素子及び前記第2の撮像素子のうち、相対的に画素数の少ない撮像素子から出力される前記他の撮像信号を前記表示部に出力させるための制御を行うことを特徴とする請求項4に記載の撮像システム。
  6. さらに、第1の光源において発せられるとともに前記第1の撮像部に供給される、第1の照明光の光量を変更可能な第1の光量変更部と、
    第2の光源において発せられるとともに前記第2の撮像部に供給される、第2の照明光の光量を変更可能な第2の光量変更部と、
    前記第1の撮像信号及び前記第2の撮像信号に基づき、前記表示部に表示される前記第1の被写体の像及び前記第2の被写体の像の明るさを制御する明るさ制御部と、
    を有することを特徴とする請求項1乃至請求項5のいずれか一に記載の撮像システム。
  7. 前記明るさ制御部は、
    前記第1の撮像信号に基づき、前記第1の撮像素子の露光期間を増減させるとともに、前記第1の撮像信号の利得を増減させる第1の露光/利得制御部と、
    前記第2の撮像信号に基づき、前記第2の撮像素子の露光期間を増減させるとともに、前記第2の撮像信号の利得を増減させる第2の露光/利得制御部と、
    前記信号振り分け部から出力される、前記第1の撮像信号または前記第2の撮像信号のうち、いずれか一方の撮像信号の明るさに応じた制御を前記第1の光量変更部及び前記第2の光量変更部に対して行うことにより、前記第1の照明光及び前記第2の照明光の光量を増減させる照明光制御部と、
    を有することを特徴とする請求項6に記載の撮像システム。
  8. 前記第1の光源及び前記第2の光源は、1つの光源装置に設けられていることを特徴とする請求項6または請求項7に記載の撮像システム。
  9. 前記第1の光源及び前記第2の光源は、各々別々の光源装置に設けられていることを特徴とする請求項6または請求項7に記載の撮像システム。
JP2007159357A 2007-06-15 2007-06-15 撮像システム Active JP5325396B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007159357A JP5325396B2 (ja) 2007-06-15 2007-06-15 撮像システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007159357A JP5325396B2 (ja) 2007-06-15 2007-06-15 撮像システム

Publications (2)

Publication Number Publication Date
JP2008307294A true JP2008307294A (ja) 2008-12-25
JP5325396B2 JP5325396B2 (ja) 2013-10-23

Family

ID=40235441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007159357A Active JP5325396B2 (ja) 2007-06-15 2007-06-15 撮像システム

Country Status (1)

Country Link
JP (1) JP5325396B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012029703A (ja) * 2009-09-24 2012-02-16 Fujifilm Corp 内視鏡装置の制御方法及び内視鏡装置
JP2014042842A (ja) * 2009-09-24 2014-03-13 Fujifilm Corp 内視鏡装置
CN104023614A (zh) * 2011-12-28 2014-09-03 奥林巴斯株式会社 立体内窥镜装置、立体内窥镜系统和立体内窥镜机器人
US8834359B2 (en) 2009-09-24 2014-09-16 Fujifilm Corporation Method of controlling endoscope and endoscope

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01185239A (ja) * 1988-01-18 1989-07-24 Olympus Optical Co Ltd 電子式内視鏡装置
JPH07184856A (ja) * 1993-12-27 1995-07-25 Olympus Optical Co Ltd 内視鏡用光源装置
JPH10262923A (ja) * 1997-03-25 1998-10-06 Olympus Optical Co Ltd 電子内視鏡装置
JPH10308896A (ja) * 1997-05-07 1998-11-17 Olympus Optical Co Ltd 画像合成表示装置
JP2003038432A (ja) * 2001-08-01 2003-02-12 Pentax Corp 電子内視鏡システム
JP2004275321A (ja) * 2003-03-14 2004-10-07 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2005021392A (ja) * 2003-07-02 2005-01-27 Olympus Corp 内視鏡システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01185239A (ja) * 1988-01-18 1989-07-24 Olympus Optical Co Ltd 電子式内視鏡装置
JPH07184856A (ja) * 1993-12-27 1995-07-25 Olympus Optical Co Ltd 内視鏡用光源装置
JPH10262923A (ja) * 1997-03-25 1998-10-06 Olympus Optical Co Ltd 電子内視鏡装置
JPH10308896A (ja) * 1997-05-07 1998-11-17 Olympus Optical Co Ltd 画像合成表示装置
JP2003038432A (ja) * 2001-08-01 2003-02-12 Pentax Corp 電子内視鏡システム
JP2004275321A (ja) * 2003-03-14 2004-10-07 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2005021392A (ja) * 2003-07-02 2005-01-27 Olympus Corp 内視鏡システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012029703A (ja) * 2009-09-24 2012-02-16 Fujifilm Corp 内視鏡装置の制御方法及び内視鏡装置
JP2014042842A (ja) * 2009-09-24 2014-03-13 Fujifilm Corp 内視鏡装置
US8834359B2 (en) 2009-09-24 2014-09-16 Fujifilm Corporation Method of controlling endoscope and endoscope
US8936548B2 (en) 2009-09-24 2015-01-20 Fujifilm Corporation Method of controlling endoscope and endoscope
CN104023614A (zh) * 2011-12-28 2014-09-03 奥林巴斯株式会社 立体内窥镜装置、立体内窥镜系统和立体内窥镜机器人

Also Published As

Publication number Publication date
JP5325396B2 (ja) 2013-10-23

Similar Documents

Publication Publication Date Title
JP6072372B2 (ja) 内視鏡システム
JP5948512B2 (ja) 処理装置、撮像装置および内視鏡システム
JP6109456B1 (ja) 画像処理装置および撮像システム
JPWO2012033200A1 (ja) 撮像装置
JP6049945B2 (ja) 撮像装置および処理装置
US8477182B2 (en) Endoscope apparatus and control method of endoscope apparatus
US10548465B2 (en) Medical imaging apparatus and medical observation system
JP6109457B1 (ja) 撮像システムおよび処理装置
JP2010115243A (ja) 電子内視鏡用画像信号処理装置
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
JP5325396B2 (ja) 撮像システム
JP6489644B2 (ja) 撮像システム
JP2019102986A (ja) 内視鏡システム
US10462440B2 (en) Image processing apparatus
US10893247B2 (en) Medical signal processing device and medical observation system
JP4787032B2 (ja) 内視鏡画像信号処理装置および電子内視鏡システム
JP2020151090A (ja) 医療用光源装置及び医療用観察システム
WO2017047321A1 (ja) 信号処理装置
JP2011024901A (ja) 電子内視鏡システムおよび調光信号補正方法
JP2003250760A (ja) 内視鏡用自動調光装置および電子内視鏡装置
JP2017123997A (ja) 撮像システムおよび処理装置
JP2009095466A (ja) 内視鏡システム
JP4836591B2 (ja) 内視鏡画像信号処理装置および電子内視鏡システム
JP4657003B2 (ja) 内視鏡プロセッサ
JP4786875B2 (ja) 明るさ調整処理可能な電子内視鏡装置のビデオスコープ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100531

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120611

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130722

R151 Written notification of patent or utility model registration

Ref document number: 5325396

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250