JP2013013481A - 画像取得装置および集積回路 - Google Patents
画像取得装置および集積回路 Download PDFInfo
- Publication number
- JP2013013481A JP2013013481A JP2011147006A JP2011147006A JP2013013481A JP 2013013481 A JP2013013481 A JP 2013013481A JP 2011147006 A JP2011147006 A JP 2011147006A JP 2011147006 A JP2011147006 A JP 2011147006A JP 2013013481 A JP2013013481 A JP 2013013481A
- Authority
- JP
- Japan
- Prior art keywords
- image
- light
- unit
- distance image
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
Abstract
【課題】凹凸物の検出結果に応じて、凹凸物の検出精度と撮影する画像の数を制御する画像取得装置を提供する。
【解決手段】画像取得装置は、発光部と、撮影部と、白色光と距離画像生成用のパターン光の発光と撮影タイミングを決定し、発光部と撮影部に指示する撮影発光制御部と、撮影された画像がパターン光の発光による画像であれば第1距離画像生成部に送り、白色光の発光による画像であれば第2距離画像生成部に送る映像分離部と、パターン光の発光による画像から距離画像を生成する第1距離画像生成部と、白色光の発光による画像から距離画像を生成する第2距離画像生成部と、その距離画像から凹凸物を検出し、撮影発光制御部がタイミング決定に使用する情報を再設定する異常検出部と、を有する。
【選択図】図2
【解決手段】画像取得装置は、発光部と、撮影部と、白色光と距離画像生成用のパターン光の発光と撮影タイミングを決定し、発光部と撮影部に指示する撮影発光制御部と、撮影された画像がパターン光の発光による画像であれば第1距離画像生成部に送り、白色光の発光による画像であれば第2距離画像生成部に送る映像分離部と、パターン光の発光による画像から距離画像を生成する第1距離画像生成部と、白色光の発光による画像から距離画像を生成する第2距離画像生成部と、その距離画像から凹凸物を検出し、撮影発光制御部がタイミング決定に使用する情報を再設定する異常検出部と、を有する。
【選択図】図2
Description
本発明は、凹凸物を検知と画像撮影を行う画像取得装置において、特に、発光する光の種別と、撮影するカメラの数と、距離画像の生成方法を制御する画像取得装置に関するものである。
カプセル内視鏡は、内臓内部の様子を撮影するための装置である。カプセル内視鏡は、数cm程度の大きさで、その中に、カメラ、照明、撮影した画像を記録または送信する手段を保持している。
カプセル内視鏡の利用方法は、次の通りである。まず、内臓疾患の可能性のある患者は、薬を飲むように口からカプセル内視鏡を飲み込む。飲み込まれたカプセル内視鏡は、内臓内部を決められたタイミングで撮影し、カプセル内視鏡が便と共に排出するまで、撮影を続ける。その後、医師は、カプセル内視鏡によって撮影された画像を見て、診断を行う。
カプセル内視鏡で撮影された画像は、かなりの数に上るため、医師がすべての画像を目視で確認するのは困難である。このため、医師は、予め、別の診断方法によって、疾患がありそうな部位を絞り込んでおく。そして、医師は、その絞り込んだ部位付近の画像のみを、診断することが多い。
医師が診断すべき画像の枚数を減らすことができれば、医師が様々な部位の画像を診断することが現実的になる。加えて、疾患の可能性がある部位の画像が多ければ、医師は、疾患かどうかを確度高く判断することができる。
疾患の可能性が高いものの1つとして、突起物や凹みなどの凹凸物があげられる。これらの画像のみを抽出することが可能となれば、医師が確認すべき画像を大幅に減らすことができる。さらに、様々な角度から撮影した凹凸物の画像を数多く撮影することで、医師は、その凹凸物が疾患かどうかを、確度をあげて判断することができる。
凹凸物の検知は、カプセル内視鏡から内臓までの距離を測定することで可能となる。
距離を測定する方法は、これまで様々な方法が提案されている。その中でも、カメラを用いて距離を測定する手法は、カプセル内視鏡が持つカメラを利用して実現できるため、カプセル内視鏡に導入しやすい。また、カメラを用いて距離を測定する方法は、一般的に入手がしやすい部品を用いて装置を構成できるため、これまでに様々な方法が提案されている。
例えば、距離測定の手法としては、ステレオ法と呼ばれるものがある。ステレオ法は、ステレオカメラで対象物を異なる位置から撮像した複数の画像を用いて画像間の相関を求め、同一物体に対する視差からステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いて、三角測量の原理で距離を求める。ステレオ法では、距離測定のために撮影した画像を、そのまま診断画像として用いることが可能である。このため、ステレオ法は、距離測定と診断画像取得の両立が可能であり、この点がステレオ法の長所となる。一方、ステレオ法の短所としては、特徴点の抽出が難しい画像では、距離測定の精度が落ちることがあげられる。ステレオ法は、画像の特徴点の抽出・マッチングを行うことで、同一物体に対する視差を求めている。ステレオ法は、特徴点の抽出ができなかった場合には、同一物体の判断ができず視差を求められなくなり、距離測定の精度が落ちる。この結果、凹凸物を見落とすことで、診断の確度が落ちる可能性がある。
別の距離測定の手法としては、パターン光投影法と呼ばれるものがある。パターン光投影法は、条件を整えれば、精度の高い測定が可能である。
しかし、パターン光投影法では診断画像の取得が行えないため、パターン光と通常光の発光を交互に行い、距離画像(距離測定のための画像)と診断画像の取得を交互に行う手法が提案されている(例えば、特許文献1参照)。前記特許文献1の装置で距離測定と診断画像取得を行った場合には、精度の高い距離測定が可能であり、凹凸物の見落としの可能性を低くできる。
カプセル内視鏡が、画像撮影と凹凸物の検知を行う機能を備え、更に、画像撮影のフレームレートを変える機能を有している場合がある。フレームレートをあげることで、診断画像を数多く撮影することが可能となる。
しかしながら、前記特許文献1の装置で距離測定と診断画像取得を行った場合、診断画像の撮影とは別に、距離測定のための画像(距離画像)を撮影する必要がある。前記特許文献1の装置では、距離画像を撮影するためのパターン光を発光しているタイミングでは、診断画像を取得することができない。このため、パターン光を発光するタイミングを除いた範囲でしか、診断画像を取得するフレームレートをあげることができないという課題を有していた。
本発明は、前記従来の課題を解決するもので、凹凸物の検出結果に応じて、凹凸物の検出精度と撮影する画像の数を制御する画像取得装置を提供することを目的とする。
前記従来の課題を解決するために、本発明の画像取得装置は、発光した光で照らした領域を撮影する画像取得装置であって、白色光と、距離画像生成用のパターン光とを、切り替えて発光する発光部と、前記発光部が発光した光で照らした領域を撮影する撮影部と、距離画像を生成する生成方式の精度を示す距離画像生成方式情報と、白色光を発光して撮影するフレームレートを示す撮影フレームレート情報に基づいて、白色光とパターン光の発光タイミングと撮影タイミングを決定し、前記発光部に発光を指示し、前記撮影部に発光期間中の撮影を指示する撮影発光制御部と、前記撮影部が撮影した画像を受け取り、パターン光の発光による画像と、白色光の発光による画像とを分離する映像分離部と、前記映像分離部から、パターン光の発光による画像を受け取り、距離画像を生成する第1距離画像生成部と、前記映像分離部から、白色光の発光による複数の画像を受け取り、距離画像を生成する第2距離画像生成部と、前記第1距離画像生成部と前記第2距離画像生成部から、距離画像を受け取り、前記距離画像を用いて、凹凸物の検出を行い、検出結果に応じて、前記距離画像生成方式情報と前記撮影フレームレート情報を再設定する異常検出部とを備える。
本構成によって、凹凸物の検出結果に応じて、凹凸物の検出精度と撮影する画像の数を制御することができる。
本発明の画像取得装置によれば、カプセル内視鏡を用いた診断において、疾患の可能性が高い診断部位を精度高く検出し、疾患の可能性が高い診断部位を撮影した画像の数を多く提供することが可能となる。これにより、医師が確認すべき画像の総数を減らす一方、疾患の可能性がある部位の画像の数を増やすことで、医師による、疾患かどうかの判断の確度を高めることができる。
以下本発明の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
図1は、本発明の実施の形態1における画像取得装置を備えたカプセル内視鏡の構成図である。
図1は、本発明の実施の形態1における画像取得装置を備えたカプセル内視鏡の構成図である。
図1において、カプセル内視鏡1は、画像取得装置2、通信部60、バッテリー70、メモリ80を備える。
通信部60は、カプセル内視鏡1の外部の機器と通信を行い、画像取得装置2から出力された画像を送信する。通信部60は、アンテナを備え、無線ネットワークを介して、外部の機器に画像を送信する。通信部60は、画像取得装置2から直接画像を受け取るだけでなく、メモリ80に記憶されている画像を読み出し、送信してもよい。
バッテリー70は、カプセル内視鏡1の動作に必要な電力をリチウムイオン電池などに保持しており、動作時に各部へ電力を供給する。
メモリ80は、例えばRAM(Randon Access Memory)またはROM(Read Only Memory)などで構成され、画像取得装置2が動作するためのワーキングメモリとして利用される。また、メモリ80は、フラッシュメモリなどの記憶媒体を備えていてもよい。メモリ80は、例えば、画像取得装置2の画像取得制御部30に読み込まれて実行されるプログラムを格納している。また、メモリ80は、例えば、画像取得装置2によって生成される距離画像生成方式情報や撮影フレームレート情報などのデータを、一時的に記憶するための作業領域を有していてもよい。また、メモリ80は、画像取得装置2から出力された画像を記憶してもよい。
画像取得装置2は、発光部10、撮影部20、21、画像取得制御部30、出力部40を備える。
発光部10は、LEDなどの発光手段を用いて、撮影部20、21で撮影する領域を照らす。発光部10は、白色光とパターン光とを切り替えて発光することが可能であり、距離を測定する際には、距離画像生成用のパターン光で発光を行う。
撮影部20、21は、カメラ装置であり、外部から入力した光信号を電気信号である画像に変換して、画像取得制御部30に出力する。図1では、撮影部20の中心と、撮影部21の中心との距離を、基線長Dcとする。また、図1では、撮影部20の中心と、発光部10の中心との距離を、基線長Dpとする。
出力部40は、画像取得制御部30が出力した画像、もしくは、距離画像、もしくはその両方を出力する。画像取得制御部30が出力した画像は、医師が確認すべき診断画像である。また、画像取得制御部30が出力した画像は、医師が確認すべき診断画像と距離画像である。出力部40は、通信部60に画像を出力し、通信部60は、受け取った画像を、外部の機器に送信する。また、出力部40は、メモリ80に画像を出力し、メモリ80は、受け取った画像を記憶保持する。
画像取得制御部30は、メモリ80からプログラムを読み出して、そのプログラムを実行する。画像取得制御部30は、プログラムの内容に従い、発光部10、撮影部20、21、出力部40を制御する。
画像取得制御部30は、発光部10に対して発光を指示し、撮影部20、21に対し、その発光期間中の画像の撮影を指示する。次に、画像取得制御部30は、撮影部20、21から、撮影した画像を受け取り、受け取った画像から、距離画像の生成を行う。画像取得制御部30は、生成した距離画像を用いて凹凸物の検出を行い、凹凸物の検出結果に応じて、撮影する画像の数を制御する。制御の詳細は、後で説明する。さらに、画像取得制御部30は、受け取った画像(診断画像)を、出力部40に出力する。なお、画像取得制御部30は、生成した距離画像と距離画像の両方を、出力部40に出力してもよい。
以上により、カプセル内視鏡1を暗い体内に入れても、内臓の中の様子を撮影して、記録・送信することができる。特に、カプセル内視鏡1は、凹凸物の検出結果に応じて、凹凸物の検出精度と撮影する画像の数を制御し、疾患の可能性が高い診断部位を精度高く検出し、疾患の可能性が高い診断部位を撮影した画像の数を多く提供することが可能となる。これにより、医師が確認すべき画像の総数を減らす一方、疾患の可能性がある部位の画像の数を増やすことで、医師による、疾患かどうかの判断の確度を高めることができる。
図2は、本実施の形態における画像取得制御部30の構成を示すブロック図である。ここでは、画像取得制御部30を構成する各構成要素について説明を行なう。
画像取得制御部30は、撮影発光制御部300、映像分離部310、第1距離画像生成部320、第2距離画像生成部321、異常検出部330を備える。
撮影発光制御部300は、異常検出部330から、距離画像生成方式情報と撮影フレームレート情報を受け取り、発光間隔、発光種別、画像の取得を行うカメラの数を決定する。撮影発光制御部300は、決定した結果に基づいて、発光部10と、撮影部20、21の制御を行う。具体的には、次の制御を行う。撮影発光制御部300は、発光部10に対し白色光の発光を指示し、撮影部20、撮影部21、もしくはその両方に対し、その発光期間中の画像の撮影を指示する。また、撮影発光制御部300は、発光部10に対し、距離画像生成用パターン光の発光を指示し、撮影部20、もしくは撮影部21、もしくはその両方に対し、その発光期間中の画像の撮影を指示する。なお、距離画像を生成可能なパターン光とは、空間コード法で用いるN種類の格子パターン光、位相シフト法で用いるサインカーブパターン光などである。なお、撮影発光制御部300は、距離画像生成方式情報と撮影フレームレート情報の初期値を設定して、処理を開始する。距離画像生成方式情報は、距離画像を生成する生成方式の精度を示す情報であり、精度高方式、または、精度中方式が設定される。距離画像生成方式情報の初期値は、精度高方式である。また、撮影フレームレート情報は、白色光を発光して撮影する画像の単位時間あたりの撮影枚数を示す情報であり、フレームレートFL、または、フレームレートFHが設定される。撮影フレームレート情報の初期値は、フレームレートFL(例えば、フレームレートFL=15fps)である。
映像分離部310は、撮影部20、21から、撮影した画像を受け取り、受け取った画像が、パターン光の発光による画像か、白色光の発光による画像かを、判断する。映像分離部310は、受け取った画像がパターン光の発光による画像である場合、第1距離画像生成部320に画像を出力する。映像分離部310は、受け取った画像が白色光の発光による画像である場合、第2距離画像生成部321と出力部40に画像を出力する。また、映像分離部310は、第1距離画像生成部320、または、第2距離画像生成部321から、距離画像を受け取ると、その距離画像を、出力部40に出力する。
第1距離画像生成部320は、映像分離部310からパターン光の発光による画像を受け取り、距離画像を生成する。第1距離画像生成部320は、生成した距離画像を、異常検出部330に出力する。第1距離画像生成部320は、距離画像の生成方法として、空間コード化法、位相シフト法などを用いる。また、第1距離画像生成部320は、生成した距離画像を、映像分離部310に出力してもよい。
第2距離画像生成部321は、映像分離部310から白色光の発光による複数の画像を受け取り、距離画像を生成する。第2距離画像生成部321は、生成した距離画像を、異常検出部330に出力する。第2距離画像生成部321は、距離画像の生成方法として、ステレオマッチング法を用いる。ステレオマッチング法は、撮影部20、21で取得された2つの画像から対応点を求めて三角測量の原理で距離を計算する手法である。また、第2距離画像生成部321は、生成した距離画像を、映像分離部310に出力してもよい。
異常検出部330は、第1距離画像生成部320と第2距離画像生成部321から距離画像を受け取り、受け取った距離画像を用いて、撮影部位の異常検出を行う。異常検出部330は、異常検出結果(異常が存在する、または、存在しない)が、前回の異常検出結果と異なる場合、距離情報生成方式情報と、画像取得のフレームレート情報を、再設定し、撮影発光制御部300に通知する。異常検出部330は、異常が存在するかの判断方法として、距離画像から凹凸物の検出を行い、その凹凸物の大きさを取得して判断する。異常検出部330は、凹凸物の高さ(深さ)・横幅を距離画像から取得し、それらの値が決められた閾値を超えた場合には異常と判断する。また、距離画像生成方式情報は、精度高方式、または、精度中方式を設定する。また、撮影フレームレート情報は、フレームレートFL、または、フレームレートFHを設定する。
以上により、画像取得装置2は、凹凸物の検出結果に応じて、凹凸物の検出精度と撮影する画像の数を制御し、疾患の可能性が高い診断部位を精度高く検出し、疾患の可能性が高い診断部位を撮影した画像の数を多く提供することが可能となる。これにより、医師が確認すべき画像の総数を減らす一方、疾患の可能性がある部位の画像の数を増やすことで、医師による、疾患かどうかの判断の確度を高めることができる。
図3は、画像取得装置2の動作概要を示す図である。
図3(A)は、第1距離画像生成方法を用いる制御を示している。第1距離画像生成方法は、距離画像生成方式情報が精度高方式の場合に用い、パターン光の発光による撮影を行うことで、凹凸物の検出を精度高く行うことができる。
図3(B)は、第2距離画像生成方法を用いる制御を示している。第2距離画像生成方法は、距離画像生成方式情報が精度中方式の場合に用い、パターン光の発光による撮影を行わないため、第1距離画像生成方法よりも、白色光の発光による撮影のフレームレートをあげることが可能となる。この結果、診断画像として用いることができる画像をより多く撮影することができる。
画像取得装置2は、最初に、図3(A)で示した第1距離画像生成方法を用いる制御を行う。画像取得装置2は、発光部10にて、白色光とパターン光の発光を交互に行う。画像取得装置2は、この発光に合わせて、撮影部20を用いて、白色光の発光による撮影と、パターン光の発光による撮影を交互に行う。その後、画像取得装置2は、パターン光の発光によって撮影された画像を用いて、第1距離画像生成方法により、精度が高い距離画像を生成する。画像取得装置2は、白色光の発光による撮影画像を、診断画像として出力する。
ここで、画像取得装置2は、距離画像が生成される度に、距離画像を用いて、撮影部位の異常検出を行う。画像取得装置2は、異常があると判断した場合には、図3(B)で示した第2距離画像生成方法を用いる制御に遷移する。
画像取得装置2は、遷移した後、図3(B)で示した第2距離画像生成方法を用いる制御を行う。画像取得装置2は、発光部10にて、白色光のみの発光を行う。画像取得装置2は、この発光に合わせて、撮影部20と撮影部21の2つを用いて、同時に2枚の画像の撮影を行う。その後、画像取得装置2は、白色光の発光によって同時に撮影された2枚の画像を用いて、第2距離画像生成方法により、距離画像を生成する。画像取得装置2は、白色光の発光による撮影画像を、診断画像として出力する。
ここで、画像取得装置2は、距離画像が生成される度に、距離画像を用いて、撮影部位の異常検出を行う。画像取得装置2は、異常がないと判断した場合には、図3(A)で示した第1距離画像生成方法を用いる制御に遷移する。
これら一連の動作により、画像取得装置2は、異常の検出されない場合には、精度高い距離画像を生成することで異常検知の精度を高め、異常が検出された場合には診断画像を多く撮影して診断の確度を高めることが可能となる。
図4は、画像取得装置2の動作の一例を示すフローチャートである。
まず、画像取得装置2の撮影発光制御部300は、距離画像生成方式情報と撮影フレームレート情報の初期値を設定する。具体的には、距離画像生成方式情報は、精度高方式、撮影フレームレート情報は、フレームレートFL(例えば、フレームレートFL=15fps)を設定する(ステップS4001)。
次に、撮影発光制御部300は、設定されている距離画像生成方式情報と撮影フレームレート情報に従って、発光部10に対して発光を指示し、撮影部20、撮影部21、または、その両方に対し、その発光期間中の画像の撮影を指示する。発光部10は、指示に従って、発光する。撮影部20、撮影部21は、指示に従って、画像を撮影し、その撮影した画像を、映像分離部310に出力する(ステップS4002)。距離画像生成方式情報が精度高方式の場合は、第1距離画像生成方法を用い、白色光とパターン光の発光を交互に行い、白色光の発光による画像とパターン光の発光による画像を、撮影部20のみで交互に取得する(図3(A)参照)。距離画像生成方式情報が精度中方式の場合は、第2距離画像生成方法を用い、白色光のみ発光を行い、撮影部20と撮影部21の2つを用いて、同時に2枚の画像を取得する(図3(B)参照)。
映像分離部310は、撮影部20、21から受け取った画像が、パターン光の発光による画像か、白色光の発光による画像かを、判断し、パターン光の発光による画像と白色光の発光による画像とを分離する(ステップS4003)。
映像分離部310は、パターン光の発光による画像の場合、第1距離画像生成部320に画像を出力する。第1距離画像生成部320は、映像分離部310から受け取ったパターン光の発光による画像から、距離画像を生成し、生成した距離画像を、異常検出部330に出力する(S4004)。
一方、映像分離部310は、白色光の発光による画像の場合、第2距離画像生成部321と出力部40に画像を出力する。第2距離画像生成部は、映像分離部310から受け取った白色光の発光による複数の画像を用いて距離画像を生成し、生成した距離画像を、異常検出部330に出力する(ステップS4005)。出力部40は、映像分離部310から受け取った白色光の発光による画像を、医師が確認すべき診断画像として出力する(ステップS4006)。
異常検出部330は、第1距離画像生成部320、または、第2距離画像生成部321から距離画像を受け取り、受け取った距離画像を用いて、撮影部位の異常検出を行う。異常検出部330は、異常検出結果に基づいて、距離画像生成方式情報と撮影フレームレート情報を再設定する(ステップS4007)。距離画像生成方式情報と撮影フレームレート情報の設定により、図3(A)から図3(B)への遷移、もしくは、その逆の遷移が発生する。
これ以降は、新たに設定された距離画像生成方法と撮影フレームレートに従って、ステップS4003からS4007を繰り返す。
図5は、撮影発光制御部300の動作の一例を示すフローチャートである。なお、このフローチャートは、図4のステップS4002における、撮影発光制御部300の動作詳細である。
まず、撮影発光制御部300は、距離画像生成方式情報に変更があったかを確認する(ステップS5001)。
距離画像生成方式情報が変更されていた場合、撮影発光制御部300は、現在の距離画像生成方式情報に応じて、発光タイミング式、撮影間隔、距離画像生成方法を設定する(ステップS5002)。距離画像生成方式情報が変更されていない場合、既に、発光タイミング式、撮影間隔、距離画像生成方法が設定されているので、ステップS5002の処理は不要である。
撮影発光制御部300は、設定されている撮影間隔を用いて、次の撮影時間に到達したかの判断を行う(ステップS5003)。
撮影発光制御部300は、次の撮影時間に到達していない場合には、撮影時間に到達するまで待ち、次の撮影時間に到達した場合には、画像番号に1を加算する(ステップS5004)。
次に、撮影発光制御部300は、設定されている距離画像生成方法を確認する(ステップS5005)。
第1距離画像生成方法の場合、撮影発光制御部300が、発光部10に対して発光を指示し、撮影部21に対して撮影を指示することで、パターン光、もしくは、白色光を発光し、1つのカメラにて画像取得を実施する(ステップS5006)。
一方、第2距離画像生成方法の場合、撮影発光制御部300が、発光部10に対して発光を指示し、撮影部20と撮影部21に対して撮影を指示することで、白色光を発光し、2つのカメラにて画像取得を実施する。
図6は、撮影発光制御部300が、発光タイミング式、撮影間隔、距離画像生成方式を設定する動作の一例を示すフローチャートである。なお、このフローチャートは、図5のステップS5002における、撮影発光制御部300の動作詳細を示す。
まず、撮影発光制御部300は、現在の距離画像生成方式情報を確認する(ステップS6001)。
距離画像生成方式情報が精度高方式の場合、撮影発光制御部300は、実フレームレートとしてカメラの最大フレームレートを設定する(ステップS6002)。実フレームレートとは、白色光の発光による撮影とパターン光の発光による撮影の、両方の撮影を行うために必要とされるフレームレートである。
撮影発光制御部300は、精度高方式での、発光タイミング式を設定する(ステップS6003)。発光タイミング式は、発光パターンがパターン光か白色光かを決定するものである。ここでは、カメラの最大フレームレートのうち、撮影フレームレート情報分の画像番号の時は白色光の発光を行い、それ以外の画像番号の場合には、パターン光を発光する式を設定する。具体的な発光タイミング式は、画像番号が(カメラの最大フレームレート/撮影フレームレート)の倍数の時、白色光発光とし、それ以外の場合はパターン光発光を示す式となる。
撮影発光制御部300は、距離画像生成方法として、第1距離画像生成方法を設定する(ステップS6004)。
一方、距離画像生成方式情報が精度中方式の場合、撮影発光制御部300は、実フレームレートとして撮影フレームレート情報を設定する(ステップS6005)。
撮影発光制御部300は、精度中方式での、発光タイミング式を設定する(ステップS6004)。精度中方式ではスレテオ法を用いて距離画像生成を行うため、パターン光の発光は必要なく、すべて白色光の発光でよい。ここでは、すべての画像番号の時に白色光の発光を行う式を設定する(ステップS6007)。
撮影発光制御部300は、距離画像生成方法として、第2距離画像生成方法を設定する(ステップS6008)。
最後に、撮影発光制御部300は、撮影間隔として、(1/実フレームレート)を設定して、処理を終了する(ステップS6009)。
図7(A)は、撮影発光制御部300が、発光部10に対して発光を指示し、撮影部21に対して撮影を指示することで、パターン光、もしくは、白色光を発光し、1つのカメラにて画像取得する動作の一例を示すフローチャートある。なお、このフローチャートは、図5のステップS5006における、撮影発光制御部300の動作詳細を示す。
まず、撮影発光制御部300は、発光タイミング式に画像番号を代入して、発光種別(パターン光、もしくは、白色光)を決定する(ステップS7001)。
発光種別がパターン光の場合、撮影発光制御部300は、発光部10に対し、パターン光の発光を指示する(ステップS7002)。一方、発光種別が白色光の場合、撮影発光制御部300は、発光部10に対し、白色光の発光を指示する(ステップS7003)。
次に、撮影発光制御部300は、撮影部20に対し、撮影を指示する(ステップS7004)。
最後に、撮影発光制御部300は、発光部10に対し、発光停止を指示し、処理を終了する(ステップS7005)。
以上により、発行タイミング式に従って、発光部10が、白色光、または、パターン光を発光し、その発光期間中に、撮影部20は、撮影を行い、画像を取得する。
図7(B)は、撮影発光制御部300が、発光部10に対して発光を指示し、撮影部20と撮影部21に対して撮影を指示することで、白色光を発光し、2つのカメラにて画像取得する動作の一例を示すフローチャートである。なお、このフローチャートは、図5のステップS5007における、撮影発光制御部300の動作を示す。
まず、撮影発光制御部300は、発光部10に対し、発光部10に対し、白色光の発光を指示する(ステップS7101)。
次に、撮影発光制御部300は、撮影部20、21に対し、撮影を指示する(ステップS7102)。
最後に、撮影発光制御部300は、発光部10に対し、発光停止を指示し、処理を終了する(ステップS7103)。
以上により、発光部10が、白色光を発光し、その発光期間中に、撮影部20と撮影部21は、同時に撮影を行い、2枚の画像を取得する。
なお、撮影発光制御部300が、図6のステップS6007で設定した発光タイミング式に画像番号を代入して、発光種別を決定するステップを、図7(B)の最初に追加してもよい。ただし、常に白色光と決定するため、ステップS7101移行は、同様の処理となる。
図8は、映像分離部310の動作の一例を示すフローチャートである。なお、このフローチャートは、図4のステップS4003における、映像分離部310の動作詳細を示す。
まず、映像分離部310は、撮影発光制御部300から、発光タイミング式を受け取る(ステップS8001)。
次に、映像分離部310は、撮影部20、撮影部21から、画像と画像番号を受け取る(ステップS8002)。距離画像生成方法が第2距離画像生成方法の場合、映像分離部310は、撮影部20と撮影部21の両方から同時に画像を受け取る。距離画像生成方法が第1距離画像生成方法の場合、映像分離部310は、撮影部20または撮影部21の一方からのみ画像を受け取る。
映像分離部310は、受け取った画像が、パターン光の発光による画像、白色光の発光による画像かを、判断する(ステップS8003)。S8001で受け取った発光タイミング式に、S8002で受け取った画像番号を当てはめ、パターン光の発光による画像と、白色光の発光による画像とを、判断することができる。
パターン光の発光による画像と判断した場合、映像分離部310は、第1距離画像生成部320に、その画像を出力する(ステップS8004)。
白色光の発光による画像と判断した場合、映像分離部310は、第2距離画像生成部321と出力部40に、画像を出力する(ステップS8005)。
図9は、異常検出部330の動作の一例を示すフローチャートである。なお、このフローチャートは、図4のステップS4007における、異常検出部330の動作詳細を示す。
まず、異常検出部330は、第1距離画像生成部320、または、第2距離画像生成部321から、距離画像を受け取る(ステップS9001)。第1距離画像生成方法を用いている場合、異常検出部330は、第1距離画像生成部320から、距離画像を受け取る。また、第2距離画像生成方法を用いている場合、異常検出部330は、第2距離画像生成部321から、距離画像を受け取る。
次に、異常検出部330は、受け取った距離画像を用いて、撮影部位の異常検出を行う(ステップS9002)。異常検出部330は、異常検出結果として、異常が存在するか存在しないかを得る。
異常検出部330は、異常検出結果(異常が存在する、または、存在しない)と、保持していた前回の異常検出結果の比較を行う(ステップS9003)。前回の異常検出結果と同じである場合、異常検出部330は、処理を終了する。一方、前回の異常検出結果と異なる場合、異常検出部330は、ステップS9004に遷移する。
異常検出部330は、異常検出結果に基づいて、距離画像生成方式情報と、撮影フレームレート情報を、再設定し(ステップS9004)、撮影発光制御部300に通知する(ステップS9005)。
最後に、異常検出部330は、異常検出結果を、前回の異常検出結果として保持して終了する(ステップS9006)。
図10(A)は、第1距離画像生成部320、または、第2距離画像生成部321が生成する距離画像の一例である。[a][b][c][d]は、それぞれ距離画像から突起物と判断される箇所を示す。また、図10(B)は、図10(A)の一部を拡大したものである。
図10に示した距離画像は、グレースケールの画像として表され、それぞれの画素の値がカメラからの距離を表す。グレースケールの画像は、黒に近い値ほど、カメラから遠くの距離にあることを示し、白に近いほどカメラから近くの距離にあることを示す。図10では、3段階の値を持つグレースケールで示している。距離画像値P1は、最もカメラから遠い距離にあることを示し、距離画像値P3は、カメラから最も近い位置にあることを示す。距離画像値P2は、距離画像値P1より近く、距離画像値P3より通遠い、この二つの値の中間位置にあることを示す。
図10(B)は、突起物を表しており、図中の突起物は、(距離画像値P3−距離画像値P1)に相当する高さを持ち、幅x(dot)に相当する幅を持つ。
図11は、異常検出部330が、異常検出を行なう動作の一例を示すフローチャートである。なお、このフローチャートは、図9のステップS9002における、異常検出部330の動作詳細を示す。
まず、異常検出部330は、距離画像から凹凸物が含まれる領域を抽出する(ステップS11001)。図10(A)では、異常検出部330は、[a][b][c][d]の4つの領域を抽出する。
異常検出部330は、ステップS11001で抽出した凹凸物が含まれる領域の、凹凸物の高さ(深さ)Hを取得する(ステップS11002)。凹凸物の高さHは、高さH=距離情報値一辺りの距離[m]*(突起物の頂点の距離画像値−突起物の底面の距離画像値)となる。図10(B)に示す突起物では、高さH=距離画像情報値一辺りの距離[m]*(距離画像値P3−距離画像値P1)となる。
異常検出部330は、抽出した凹凸物が含まれる領域の、凹凸物の幅Wを取得する(ステップS11003)。凹凸物の幅Wは、幅W=(距離画像上での突起物の幅[dot]/突起物の底面の距離画像値) * 基線長D[m]となる。なお、基線長Dは、第1距離画像生成部320からの距離画像を用いて計算する場合には、基線長Dpを用い、第2距離画像生成部321からの距離画像を用いて計算する場合には、基線長Dcを用いる。図10(B)に示す突起物では、幅W=(幅x/距離画像値P1)となる。
異常検出部330は、取得した高さHと幅Wと、予め設定された閾値(高さの閾値と幅の閾値)とを比較する(ステップS11004)。具体的には、高さW>=規定の高さ(高さの閾値)、幅W>=規定の幅(幅の閾値)、の2つの比較を行い、この条件を満たすか否を判断する。
ステップ11004の比較の結果、取得した高さHと幅Wの両方が、閾値より大きい場合、異常検出部330は、異常を検出したと判定する(ステップS11005)。一方、取得した高さHと幅Wの両方が、閾値より小さい場合、異常を検出しなかったと判定する(ステップS11006)。具体的には、ステップS11004の処理として記載した条件を満たす場合、異常検出と判定し、条件を満たさない場合、異常検出なしと判定する。
なお、ステップS11004の処理は、高さW>規定の高さ、幅W>規定の幅、の2つの比較を条件としてもよい。
図12は、異常検出部330が、距離画像生成方式情報と撮影フレームレート情報を再設定する動作の一例を示すフローチャートである。なお、このフローチャートは、図9のステップS9004における、異常検出部330の動作詳細を示す。
まず、異常検出部330は、異常検出結果を確認する(ステップS12001)。
異常検出結果が異常ありの場合、異常検出部330は、距離画像生成方式情報に精度中方式を設定する(ステップS12002)。次に、異常検出部330は、撮影フレームレート情報にフレームレートFH(例えば、フレームレートFH=60fps)を設定し(ステップS12003)、処理を終了する。
異常検出結果が異常なしの場合、異常検出部330は、距離画像生成方式情報に精度高方式を設定する(ステップS12004)。次に、異常検出部330は、撮影フレームレート情報にフレームレートFL(例えば、フレームレートFL=15fps)を設定し(ステップS12005)、処理を終了する。
以上により、画像取得装置2は、凹凸物の検出結果に応じて、凹凸物の検出精度と撮影する画像の数を制御し、疾患の可能性が高い診断部位を精度高く検出し、疾患の可能性が高い診断部位を撮影した画像の数を多く提供することが可能となる。これにより、医師が確認すべき画像の総数を減らす一方、疾患の可能性がある部位の画像の数を増やすことで、医師による、疾患かどうかの判断の確度を高めることができる。
本発明にかかる画像取得装置は、凹凸物の検出結果に応じて、凹凸物の検出精度と撮影する画像の数を制御する機能を有し、カプセル内視鏡や医療用内視鏡などとして有用である。また、工業用内視鏡などの用途にも応用できる。
1 カプセル内視鏡
2 画像取得装置
10 発光部
20,21 撮影部
30 画像取得制御部
40 出力部
60 通信部
70 バッテリー
80 メモリ
300 撮影発光制御部
310 映像分離部
320 第1距離画像生成部
321 第2距離画像生成部
330 異常検出部
2 画像取得装置
10 発光部
20,21 撮影部
30 画像取得制御部
40 出力部
60 通信部
70 バッテリー
80 メモリ
300 撮影発光制御部
310 映像分離部
320 第1距離画像生成部
321 第2距離画像生成部
330 異常検出部
Claims (7)
- 発光した光で照らした領域を撮影する画像取得装置であって、
白色光と、距離画像生成用のパターン光とを、切り替えて発光する発光部と、
前記発光部が発光した光で照らした領域を撮影する撮影部と、
距離画像を生成する生成方式の精度を示す距離画像生成方式情報と、白色光を発光して撮影するフレームレートを示す撮影フレームレート情報に基づいて、白色光とパターン光の発光タイミングと撮影タイミングを決定し、前記発光部に発光を指示し、前記撮影部に発光期間中の撮影を指示する撮影発光制御部と、
前記撮影部が撮影した画像を受け取り、パターン光の発光による画像と、白色光の発光による画像とを分離する映像分離部と、
前記映像分離部から、パターン光の発光による画像を受け取り、距離画像を生成する第1距離画像生成部と、
前記映像分離部から、白色光の発光による複数の画像を受け取り、距離画像を生成する第2距離画像生成部と、
前記第1距離画像生成部と前記第2距離画像生成部から、距離画像を受け取り、前記距離画像を用いて、凹凸物の検出を行い、検出結果に応じて、前記距離画像生成方式情報と前記撮影フレームレート情報を再設定する異常検出部と、
を備える画像取得装置。 - 前記異常検出部は、前記検出結果が、凹凸物を検出した場合、前記距離画像生成方式情報を精度高方式とし、前記撮影フレームレート情報を低フレームレートと設定し、凹凸部を検出していない場合、前記距離画像生成方式情報を精度中方式とし、前記撮影フレームレート情報を高フレームレートと設定することを特徴とする請求項1記載の画像取得装置。
- 前記異常検出部は、予め高さの閾値と幅の閾値を保持しており、前記検出した凹凸物の高さと幅とを、前記閾値と比較し、凹凸物の検出結果を決定することを特徴とする請求項2記載の画像取得装置。
- 前記撮影発光制御部は、前記距離画像生成方式情報が精度高方式である場合、パターン光の発光による画像を用いて距離画像を生成する第1距離画像生成方法を選択し、前記撮影フレームレート情報に従って白色光とパターン光の発光タイミングを決定し、前記決定したタイミングで、前記発光部にパターン光と白色光の発光を指示することを特徴とする請求項2記載の画像取得装置。
- 前記撮影発光制御部は、前記距離画像生成方式情報が精度中方式である場合、白色光の発光による複数の画像を用いて距離画像を生成する第2距離画像生成方法を選択し、前記撮影フレームレート情報に従って白色光の発光タイミングを決定し、前記発光部に白色光の発光を指示することを特徴とする請求項2に記載の画像取得装置。
- 前記画像取得装置は、さらに、
前記映像分離部から、白色光の発光による画像を受け取り、前記受け取った画像を出力する出力部を備える、
請求項1〜4記載の画像取得装置。 - 発光した光で照らした領域を撮影する画像取得装置であって、
白色光と、距離画像生成用のパターン光とを、切り替えて発光する発光部と、
前記発光部が発光した光で照らした領域を撮影する撮影部と、
距離画像を生成する生成方式の精度を示す距離画像生成方式情報と、白色光を発光して撮影するフレームレートを示す撮影フレームレート情報に基づいて、白色光とパターン光の発光タイミングと撮影タイミングを決定し、前記発光部に発光を指示し、前記撮影部に発光期間中の撮影を指示する撮影発光制御部と、
前記撮影部が撮影した画像を受け取り、パターン光の発光による画像と、白色光の発光による画像とを分離する映像分離部と、
前記映像分離部から、パターン光の発光による画像を受け取り、距離画像を生成する第1距離画像生成部と、
前記映像分離部から、白色光の発光による複数の画像を受け取り、距離画像を生成する第2距離画像生成部と、
前記第1距離画像生成部と前記第2距離画像生成部から、距離画像を受け取り、前記距離画像を用いて、凹凸物の検出を行い、検出結果に応じて、前記距離画像生成方式情報と前記撮影フレームレート情報を再設定する異常検出部と、
前記映像分離部から、白色光の発光による画像を受け取り、前記受け取った画像を出力する出力部と、
を備える集積回路。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011147006A JP2013013481A (ja) | 2011-07-01 | 2011-07-01 | 画像取得装置および集積回路 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011147006A JP2013013481A (ja) | 2011-07-01 | 2011-07-01 | 画像取得装置および集積回路 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013013481A true JP2013013481A (ja) | 2013-01-24 |
Family
ID=47686776
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011147006A Withdrawn JP2013013481A (ja) | 2011-07-01 | 2011-07-01 | 画像取得装置および集積回路 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013013481A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014103425A1 (ja) * | 2012-12-25 | 2014-07-03 | オリンパス株式会社 | 画像処理装置、プログラム及び画像処理方法 |
WO2014115371A1 (ja) * | 2013-01-28 | 2014-07-31 | オリンパス株式会社 | 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム |
WO2014119047A1 (ja) * | 2013-01-31 | 2014-08-07 | オリンパス株式会社 | 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム |
JP2015008781A (ja) * | 2013-06-27 | 2015-01-19 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び画像処理方法 |
JP2018130537A (ja) * | 2017-01-30 | 2018-08-23 | キャプソ・ヴィジョン・インコーポレーテッド | オブジェクトのスケーリングに対する距離測量機能付き内視鏡に用いられる方法および装置 |
EP3768144A4 (en) * | 2018-03-21 | 2021-12-01 | CapsoVision, Inc. | ENDOSCOPE USING STRUCTURED LIGHT PROVIDING SIZE MEASUREMENT OF PHYSIOLOGICAL CHARACTERISTICS |
-
2011
- 2011-07-01 JP JP2011147006A patent/JP2013013481A/ja not_active Withdrawn
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014103425A1 (ja) * | 2012-12-25 | 2014-07-03 | オリンパス株式会社 | 画像処理装置、プログラム及び画像処理方法 |
JP2014124221A (ja) * | 2012-12-25 | 2014-07-07 | Olympus Corp | 画像処理装置、プログラム及び画像処理方法 |
US9826884B2 (en) | 2012-12-25 | 2017-11-28 | Olympus Coporation | Image processing device for correcting captured image based on extracted irregularity information and enhancement level, information storage device, and image processing method |
WO2014115371A1 (ja) * | 2013-01-28 | 2014-07-31 | オリンパス株式会社 | 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム |
JP2014144034A (ja) * | 2013-01-28 | 2014-08-14 | Olympus Corp | 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム |
WO2014119047A1 (ja) * | 2013-01-31 | 2014-08-07 | オリンパス株式会社 | 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム |
JP2014166298A (ja) * | 2013-01-31 | 2014-09-11 | Olympus Corp | 内視鏡用画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム |
JP2015008781A (ja) * | 2013-06-27 | 2015-01-19 | オリンパス株式会社 | 画像処理装置、内視鏡装置及び画像処理方法 |
JP2018130537A (ja) * | 2017-01-30 | 2018-08-23 | キャプソ・ヴィジョン・インコーポレーテッド | オブジェクトのスケーリングに対する距離測量機能付き内視鏡に用いられる方法および装置 |
EP3768144A4 (en) * | 2018-03-21 | 2021-12-01 | CapsoVision, Inc. | ENDOSCOPE USING STRUCTURED LIGHT PROVIDING SIZE MEASUREMENT OF PHYSIOLOGICAL CHARACTERISTICS |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013013481A (ja) | 画像取得装置および集積回路 | |
JP5896390B2 (ja) | カメラのフォーカスを合わせるための方法、装置、システム、およびソフトウェア | |
US20120120305A1 (en) | Imaging apparatus, program, and focus control method | |
US10485402B2 (en) | Observation system | |
JP5789091B2 (ja) | 撮像装置および撮像装置の制御方法 | |
US20090240108A1 (en) | Capsule endoscopy system and method of controlling operation of capsule endoscope | |
EP3351958B1 (en) | Object position detection apparatus | |
TWI590804B (zh) | 資訊處理裝置,資訊處理方法,程式,以及測量系統 | |
WO2019106712A1 (ja) | 内視鏡画像処理装置及び内視鏡画像処理方法 | |
CN111712198B (zh) | 用于移动x射线成像的系统和方法 | |
JP5712519B2 (ja) | 撮像装置および撮像方法 | |
JP6323184B2 (ja) | 画像処理装置、画像処理方法、並びにプログラム | |
US20180098684A1 (en) | Image processing device for endoscope, endoscope device, image processing method of image processing device for endoscope, and image processing program | |
US8764635B2 (en) | Endoscope apparatus | |
JPWO2017056757A1 (ja) | 撮像装置および撮像方法 | |
CN111948798A (zh) | 内窥镜系统及用于检测内窥镜的末端与组织接触的方法 | |
US20220361739A1 (en) | Image processing apparatus, image processing method, and endoscope apparatus | |
JP6335007B2 (ja) | カプセル内視鏡システム、カプセル内視鏡、受信装置、カプセル内視鏡の作動方法、及びプログラム | |
JP6381434B2 (ja) | フォーカス制御装置、光学機器およびフォーカス制御方法 | |
JP6780161B2 (ja) | 視線検出装置及び視線検出方法 | |
US20210281745A1 (en) | Information processing apparatus, information processing method, and program | |
CN117670971A (zh) | 图像处理装置、图像处理方法和存储介质 | |
US8619119B2 (en) | Digital photographing apparatus | |
WO2017082091A1 (ja) | 手術システム、手術用制御方法、およびプログラム | |
US10917555B2 (en) | Imaging apparatus, focus control method, and focus determination method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140902 |