JP2016151584A - Organ image capturing device - Google Patents
Organ image capturing device Download PDFInfo
- Publication number
- JP2016151584A JP2016151584A JP2015027341A JP2015027341A JP2016151584A JP 2016151584 A JP2016151584 A JP 2016151584A JP 2015027341 A JP2015027341 A JP 2015027341A JP 2015027341 A JP2015027341 A JP 2015027341A JP 2016151584 A JP2016151584 A JP 2016151584A
- Authority
- JP
- Japan
- Prior art keywords
- image
- organ
- imaging
- unit
- tongue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Endoscopes (AREA)
- Image Input (AREA)
Abstract
Description
本発明は、生体の器官を撮影して画像を取得する器官画像撮影装置に関するものである。 The present invention relates to an organ image capturing apparatus that captures an image of a living organ by acquiring an image.
東洋医学においては、舌の状態を観察することにより、健康状態や病状を診断する診断手法(舌診)が知られている。血液や体液の代謝および循環、免疫力、自律神経のバランス、栄養や体のエネルギーの状態に問題が生じると、舌の粘膜に変化が現れるため、その色や形を観察することにより診断に役立てている。 In oriental medicine, a diagnostic method (tongue diagnosis) for diagnosing a health condition or a medical condition by observing the state of the tongue is known. When problems occur in the metabolism and circulation of blood and body fluids, immunity, autonomic balance, nutrition and body energy, changes occur in the mucous membrane of the tongue. ing.
このような診断は、専門の医師が実施しているが、経験や勘に頼っているため、個人差があり、客観性に乏しい。また、過去の状態の記憶もあいまいで、客観的な状態の変化を捉えられない。 Such a diagnosis is carried out by a specialist doctor, but because it depends on experience and intuition, there are individual differences and the objectivity is poor. Moreover, the memory of the past state is ambiguous, and an objective change in the state cannot be captured.
そこで、これらの課題を解決するため、デジタルカメラを用いて被写体を撮影し、撮影画像からその特徴を数値化して記録、診断するシステムが提案されている。例えば、特許文献1では、デジタルカメラで撮影した舌の映像から、舌尖、舌中などの関心領域を抽出し、データベースに保存された基本映像と比較することにより、健康状態を判別できるようにしている。また、特許文献2では、撮影された舌の画像データから、舌の形状、舌表面の色等に基づく状態パラメータを抽出し、舌診データ(予め記憶されている状態パラメータと舌診結果とを対応付けたもの)と比較して、舌診結果を抽出するようにしている。
In order to solve these problems, a system has been proposed in which a subject is photographed using a digital camera, and features of the photographed image are digitized and recorded and diagnosed. For example, in
ところで、上記した東洋医学の診断項目として、舌裏の静脈の膨らみ度合いがある。例えば、図16の上図で示すように、舌裏に静脈の膨らみが無い場合、つまり、舌裏の静脈の色が薄く、静脈の見え方が不明瞭な場合、健康状態は正常と診断している。逆に、図16の下図で示すように、舌裏に静脈の膨らみがある場合、つまり、舌裏の静脈が青く、静脈が明瞭に見える場合(怒張や蛇行も含む)、「お血」と診断している。 By the way, as a diagnosis item of the above-mentioned Oriental medicine, there is a degree of swelling of the vein on the back of the tongue. For example, as shown in the upper diagram of FIG. 16, when there is no bulge of veins on the back of the tongue, that is, when the vein color on the back of the tongue is light and the veins are unclear, the health condition is diagnosed as normal. ing. On the contrary, as shown in the lower part of FIG. 16, when there is a bulge of veins on the back of the tongue, that is, when the veins on the back of the tongue are blue and the veins are clearly visible (including anger and meander), “blood” I have a diagnosis.
お血は、血の巡りが悪くなった状態を指す。血の巡りが悪く、末梢血管が循環不全になっていると、皮膚や関節、四肢末端に栄養が運ばれないため、新陳代謝が低下する。この場合、肩こり、関節痛、頭痛、めまい、のぼせなどの症状が現れる。また、糖尿病や肝機能障害でも、血の巡りが悪くなって、これらの症状が現れることがある。 Blood refers to the condition where blood circulation has deteriorated. If blood circulation is poor and peripheral blood vessels are circulatory insufficiency, nutrients are not delivered to the skin, joints, and extremities, resulting in a decrease in metabolism. In this case, symptoms such as stiff shoulders, joint pain, headache, dizziness, and hot flashes appear. In addition, diabetes and liver dysfunction may cause these symptoms to appear due to poor blood circulation.
上記した特許文献2では、舌裏の静脈の膨らみ度合いの判定方法についても開示している。具体的には、舌裏を撮影して静脈のエッジおよび静脈の位置を検出し、検出した位置の色が青紫色であるか否かを判定することによって、その検出位置に静脈があるか否かを判定する。そして、青紫色であると判定された範囲が正常な範囲を超えている場合には、静脈肥大と判定する。
このように舌裏を撮影して静脈の膨らみ度合いを判定するにあたっては、舌裏に適切にピントを合わせて舌裏を撮影し、画像を取得する必要がある。しかし、特許文献2では、ピント合わせについての詳細な記載はない。
In order to determine the degree of bulge of the vein by photographing the back of the tongue in this way, it is necessary to capture the image by capturing the back of the tongue by appropriately focusing on the back of the tongue. However, in
ピント合わせを行う技術は、撮像装置の分野において種々提案されており、中でも、特定の波長域の光を用いてピントを合わせる技術が、例えば特許文献3および4で提案されている。特許文献3では、赤外光を用いてピント合わせを行うようにしており、特許文献4では、被写体光をプリズムにて色分解し、緑色成分(G成分)の光を用いてピント合わせを行うようにしている。
Various techniques for focusing have been proposed in the field of imaging devices, and among them, techniques for focusing using light in a specific wavelength range have been proposed in, for example,
ところが、舌裏へのピント合わせを、赤外光や緑色光を用いて行う方法では、精度よくピント合わせを行うことはできない。これは、舌裏などの粘膜部分では、赤外成分や緑色成分のコントラスト(例えば画像データの最大値と最小値との差)が小さく、かつ、コントラストの変化が低周波である(変化の繰り返しが少ない)ためである。このような問題は、舌裏を撮影する場合のみならず、瞼の裏や胃の内壁など、他の粘膜組織を持つ器官を撮影する場合でも同様に起こり得る。 However, the method of performing focusing on the back of the tongue using infrared light or green light cannot achieve accurate focusing. This is because the contrast of the infrared component and the green component (for example, the difference between the maximum value and the minimum value of the image data) is small in the mucous membrane part such as the back of the tongue, and the change in contrast is low frequency (repetitive changes) Is less). Such a problem can occur not only when photographing the back of the tongue but also when photographing organs having other mucosal tissues such as the back of the heel and the inner wall of the stomach.
本発明は、上記の問題点を解決するためになされたもので、その目的は、生体の粘膜組織を持つ器官を撮影する場合でも、器官に精度よくピントを合わせることができ、これによって、撮影画像から器官の静脈の特徴(例えば膨らみ度合い)を精度よく求めることができる器官画像撮影装置を提供することにある。 The present invention has been made to solve the above-described problems, and its purpose is to accurately focus on an organ even when photographing an organ having a living mucosal tissue. An object of the present invention is to provide an organ imaging apparatus capable of accurately determining the characteristics of an organ vein (for example, the degree of swelling) from an image.
本発明の一側面に係る器官画像撮影装置は、生体の、粘膜組織を持つ器官を撮影して画像を取得する撮像部と、前記撮像部にて取得された前記画像のデータに基づいて、前記器官の静脈の特徴を求める演算部とを備え、前記撮像部は、ピント合わせのために前記器官を撮影して青色成分の画像を取得するとともに、取得した青色成分の画像のデータを用いてピントを合わせる。 An organ imaging apparatus according to one aspect of the present invention is based on an imaging unit that acquires an image by imaging a biological organ having a mucosal tissue, and based on the image data acquired by the imaging unit, A calculation unit that obtains the characteristics of the veins of the organ, and the imaging unit captures the organ for focusing to acquire a blue component image, and uses the acquired blue component image data to focus. Adjust.
静脈を流れる血液には、還元ヘモグロビンが多く存在する。この還元ヘモグロビンは、赤色の吸収係数が大きい。このため、器官の撮影画像において、静脈部分では青色成分が多くなり、静脈部分とそれ以外の部分とで、青色成分のコントラスト(例えば画像データの最大値と最小値との差)が大きくなる。また、粘膜組織を持つ器官では、その表面付近に細かい静脈が通っているため、上記器官の撮影によって得られる青色成分の画像では、青色成分のコントラストの変化も高周波で現れる。 There are many reduced hemoglobins in the blood flowing through the veins. This reduced hemoglobin has a large red absorption coefficient. For this reason, in the captured image of the organ, the blue component increases in the vein portion, and the contrast of the blue component (for example, the difference between the maximum value and the minimum value of the image data) increases between the vein portion and the other portions. Further, in organs having mucosal tissues, fine veins pass near the surface of the organ. Therefore, in the blue component image obtained by photographing the organ, a change in the contrast of the blue component also appears at a high frequency.
したがって、撮像部が、上記器官を撮影して取得した青色成分の画像のデータを用いてピント合わせを行うことにより、器官に精度よくピントを合わせることができる。これにより、演算部は、ピントを合わせた状態で撮影された器官の撮影画像のデータに基づいて、器官の静脈の特徴(例えば膨らみ度合い)を精度よく求めることができる。 Therefore, the imaging unit can focus on the organ with high accuracy by performing focusing using the image data of the blue component acquired by imaging the organ. Thereby, the calculating part can obtain | require the characteristic (for example, bulging degree) of the vein of an organ accurately based on the data of the picked-up image of the organ image | photographed in the focused state.
前記撮像部は、前記青色成分の画像のデータに基づいて、青色成分のコントラストを求め、求めた前記コントラストに基づいてピントを合わせてもよい。上述のように、粘膜組織を持つ器官の撮影画像では、静脈部分とそれ以外の部分とで青色成分のコントラストが大きくなり、そのコントラストの変化も高周波で現れる。このため、青色成分のコントラストに基づいてピントを合わせることにより、精度のよいピント合わせを確実に行うことができる。 The imaging unit may obtain a blue component contrast based on the blue component image data and may focus based on the obtained contrast. As described above, in a photographed image of an organ having a mucosal tissue, the contrast of the blue component increases between the vein portion and the other portions, and the contrast change also appears at a high frequency. For this reason, by focusing based on the contrast of the blue component, accurate focusing can be reliably performed.
前記撮像部は、前記器官の画像を取得するための撮像素子と、前記器官からの入射光を前記撮像素子の受光面上に集光させるための撮像光学系と、前記撮像光学系を介して前記撮像素子にて撮像された前記器官の画像から、青色成分の画像を抽出する画像処理部と、前記画像処理部にて抽出された青色成分の画像のデータに基づいて、前記撮像光学系を光軸方向に移動させることにより、ピント合わせを行う駆動部とを含んでいてもよい。これにより、撮像部が青色成分の画像のデータを用いてピントを合わせる構成を確実に実現することができる。 The imaging unit includes an imaging element for acquiring an image of the organ, an imaging optical system for collecting incident light from the organ on a light receiving surface of the imaging element, and the imaging optical system. An image processing unit that extracts a blue component image from the image of the organ imaged by the imaging element, and the imaging optical system based on the data of the blue component image extracted by the image processing unit. A drive unit that performs focusing by moving in the optical axis direction may be included. Accordingly, it is possible to reliably realize a configuration in which the imaging unit focuses using the blue component image data.
前記駆動部は、前記青色成分の画像のデータから求められるコントラストが最大となる位置に、前記撮像光学系を移動させることにより、ピント合わせを行ってもよい。撮像光学系の移動後の位置では、青色成分のコントラストが最大となるので、撮影対象となる器官にピントを確実に合わせることができる。 The driving unit may perform focusing by moving the imaging optical system to a position where the contrast obtained from the blue component image data is maximized. At the position after the imaging optical system has moved, the contrast of the blue component becomes maximum, so that it is possible to reliably focus on the organ to be imaged.
前記コントラストは、前記青色成分の画像のデータの最大値と最小値との差、前記画像の度数分布の標準偏差、前記画像の各画素のデータにエッジ抽出フィルタを掛け算して得られる値の和、のいずれかであってもよい。いずれをコントラストとして用いても、そのコントラストに基づいて、ピント合わせを精度よく行うことができる。 The contrast is the difference between the maximum value and the minimum value of the blue component image data, the standard deviation of the frequency distribution of the image, and the sum of values obtained by multiplying the data of each pixel of the image by an edge extraction filter. Either of these may be sufficient. Regardless of which is used as the contrast, focusing can be accurately performed based on the contrast.
上記の器官画像撮影装置は、前記撮像部におけるピント合わせのときに、前記器官に青色の補助光を照射する補助光出力部をさらに備えていてもよい。ピント合わせのときに、補助光出力部から青色の補助光を器官に照射することにより、撮像部が取得する画像における青色成分のコントラストが補助光なしの場合に比べて増大する。これにより、青色成分の画像データを用いたピント合わせをより精度よく行うことができる。 The organ image capturing apparatus may further include an auxiliary light output unit that irradiates the organ with blue auxiliary light when focusing in the imaging unit. By irradiating the organ with blue auxiliary light from the auxiliary light output unit at the time of focusing, the contrast of the blue component in the image acquired by the imaging unit is increased as compared with the case without auxiliary light. Thereby, focusing using the image data of the blue component can be performed with higher accuracy.
前記器官は、舌であり、前記撮像部は、舌裏を撮影して青色成分または赤色成分の画像を取得し、前記演算部は、前記青色成分の画像のデータ、または前記赤色成分の画像のデータに基づいて、舌裏の静脈の膨らみ度合いを検出し、複数のレベルに分類してもよい。 The organ is a tongue, the imaging unit captures the back of the tongue to obtain a blue component or red component image, and the arithmetic unit is configured to acquire the blue component image data or the red component image. Based on the data, the degree of swelling of the vein on the back of the tongue may be detected and classified into a plurality of levels.
静脈を流れる血液に多く含まれる還元ヘモグロビンと、静脈を流れる血液に少ない酸化ヘモグロビンとでは、赤色成分および青色成分の光の吸収係数に差が生じる。このため、赤色成分の画像でも、青色成分の画像でも、血管(静脈)の有無によって画像データに差が生じる。したがって、演算部は、舌裏の青色成分の画像のデータまたは赤色成分の画像のデータに基づいて、静脈の膨らみ度合いを検出することができ、その膨らみ度合いを複数のレベルに分類することにより、そのレベルに基づいて生体の健康度を診断することが可能となる。 There is a difference in the absorption coefficient of light between the red component and the blue component between reduced hemoglobin contained in a large amount in blood flowing through a vein and oxygenated hemoglobin present in a small amount in blood flowing through a vein. For this reason, there is a difference in image data depending on the presence or absence of blood vessels (veins) in both the red component image and the blue component image. Therefore, the calculation unit can detect the degree of bulge of the vein based on the blue component image data or the red component image data on the back of the tongue, and classifies the bulge degree into a plurality of levels. It becomes possible to diagnose the health level of the living body based on the level.
前記器官は、舌であり、前記撮像部は、舌裏を撮影して青色成分および赤色成分の画像を取得し、前記演算部は、前記青色成分の画像のデータBと、前記赤色成分の画像のデータRとの比B/Rに基づいて、舌裏の静脈の膨らみ度合いを検出し、複数のレベルに分類してもよい。 The organ is a tongue, the imaging unit captures the back of the tongue to obtain images of a blue component and a red component, and the calculation unit includes data B of the blue component image and an image of the red component. Based on the ratio B / R with the data R, the degree of swelling of the vein on the back of the tongue may be detected and classified into a plurality of levels.
舌は粘膜組織であり、緑色(G)成分が少ない。また、舌は全体的に赤色(R)が主成分であり、検出対象である静脈は、青色(B)が主成分である。このため、演算部は、B/Rの値に基づいて、舌裏の静脈の膨らみ度合いを精度よく検出することができ、その膨らみ度合いを複数のレベルに分類することにより、そのレベルに基づいて生体の健康度を精度よく診断することが可能となる。 The tongue is a mucosal tissue and has little green (G) component. The tongue is entirely composed mainly of red (R), and the vein to be detected is composed mainly of blue (B). For this reason, the arithmetic unit can accurately detect the degree of swelling of the vein on the back of the tongue based on the value of B / R, and classifies the degree of swelling into a plurality of levels. It becomes possible to accurately diagnose the health level of a living body.
上記の構成によれば、撮像部が、粘膜組織を持つ器官を撮影して取得した青色成分の画像のデータを用いてピント合わせを行うことにより、器官に精度よくピントを合わせることができる。これにより、演算部は、ピントを合わせた状態で撮影された器官の撮影画像のデータに基づいて、器官の静脈の特徴を精度よく求めることができる。 According to the above configuration, the imaging unit can focus on the organ with high accuracy by performing focusing using the image data of the blue component acquired by imaging the organ having the mucosal tissue. Thereby, the calculating part can obtain | require the characteristic of the vein of an organ accurately based on the data of the picked-up image of the organ image | photographed in the focused state.
本発明の実施の一形態について、図面に基づいて説明すれば、以下の通りである。なお、本明細書において、数値範囲をA〜Bと表記した場合、その数値範囲に下限Aおよび上限Bの値は含まれるものとする。 An embodiment of the present invention will be described below with reference to the drawings. In the present specification, when the numerical range is expressed as A to B, the numerical value range includes the values of the lower limit A and the upper limit B.
〔器官画像撮影装置の概略構成〕
図1は、本実施形態の器官画像撮影装置1の外観を示す斜視図であり、図2は、器官画像撮影装置1の概略の構成を示すブロック図である。器官画像撮影装置1は、生体の、粘膜組織を持つ器官を撮影して、生体の健康度の診断に必要な情報(例えば静脈の膨らみ度合い)を抽出するものである。ここで、粘膜とは、表面が常に粘液性の分泌物で濡れている柔らかい膜を指し、粘膜組織を持つ器官とは、そのような粘膜を組織として持つ器官を指す。このような器官としては、例えば、舌、眼の瞼(裏側)、胃や大腸などの消化器系の臓器(内壁)、などが含まれる。以下では、例として、器官が舌であり、舌裏を撮影して静脈の膨らみ度合いを検出する場合について説明する。
[Schematic structure of organ imaging apparatus]
FIG. 1 is a perspective view showing an external appearance of an organ
器官画像撮影装置1は、照明部2、撮像部3、表示部4、操作部5、通信部6、音声出力部7および補助光出力部8を備えている。照明部2、撮像部3および補助光出力部8は筐体21に設けられており、表示部4、操作部5、通信部6および音声出力部7は、筐体22に設けられている。筐体21と筐体22とは相対的に回転可能に連結されているが、必ずしも回転は必要ではなく、一方が他方に完全に固定されていてもよい。また、上記の照明部2等は、単一の筐体に設けられていてもよい。
The
(照明部)
照明部2は、生体の器官を照明するものであり、本実施形態では、第1の照明器2aおよび第2の照明器2bの2つの照明器で構成されている。第1の照明器2aおよび第2の照明器2bは、筐体21において、中央の撮像部3を左右両側から挟む位置に設けられている。これにより、第1の照明器2aおよび第2の照明器2bは、器官である舌を撮影光軸に対して左右から照明することになる。舌を上下方向から照明すると、上唇または下唇で照明光が遮断され、口腔の奥まで照明光が届かないおそれがあるが、舌を左右方向から照明することにより、照明光を唇で遮断させずに口腔の奥まで入射させやすくなり、明るく照明された口腔内を撮像部3によって撮影することが可能となる。
(Lighting part)
The illuminating
図3は、舌を撮影するときの撮像部3の撮影光軸Xを示しており、図4は、照明部2と撮像部3との水平方向の位置関係を模式的に示している。撮像部3は、撮影対象である器官(舌)に正対して配置されている。第1の照明器2aおよび第2の照明器2bは、各照明光の照明光軸Yと撮像部3の撮影光軸Xとのなす角度が、上下方向にはほぼ0°となり、左右方向には片側15°〜30°となるように、筐体21に設けられている。なお、照明光軸Yとは、照明光(照明光束)の中心光線が進行する軸を指し、撮影光軸Xとは、撮像部3が有する撮像光学系31の光軸を指す。
FIG. 3 shows the photographing optical axis X of the
上記のように、左右方向において、撮影光軸Xと照明光軸Yとのなす角度がある程度ついているため、第1の照明器2aおよび第2の照明器2bから出射される照明光が舌裏で正反射されて撮像部3に入射するのを低減できる。これにより、正反射光によるノイズの影響を低減できる。つまり、正反射光の撮像部3への入射によって、撮影画像のデータが変動するのを低減でき、そのデータに基づく舌裏の静脈の検出精度の低下を抑えることができる。
As described above, since the angle formed by the photographing optical axis X and the illumination optical axis Y is set to some extent in the left-right direction, the illumination light emitted from the
このような照明部2の光源としては、色再現性を向上させるために、例えばキセノンランプなどの昼光色を発光するものを用いている。光源の明るさは、撮像部3の感度や撮影対象までの距離に応じて、照明制御部9によって制御される。例えば、撮影対象の照度が1000〜10000lxとなるように光源の明るさが制御される。照明部2は、上記の光源の他に、点灯回路や調光回路を有しており、照明制御部9からの指令によって点灯/消灯および調光が制御される。
As the light source of the
(撮像部)
撮像部3は、照明部2による照明下で、生体の器官を撮影して画像を取得するものである。この撮像部3は、撮像光学系31と、撮像素子32とを有している。撮像素子32は、器官の画像を取得するためのエリアセンサであり、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)で構成されている。撮像素子32は、撮影対象の色および形状を十分に検出できるように、感度や解像度などが設定されている。一例としては、感度:60db、解像度:1000万画素である。
(Imaging part)
The
撮像光学系31は、器官からの入射光を撮像素子32の受光面上に集光させるための光学系であり、少なくとも1個のレンズで構成されている。撮像光学系31の絞り(レンズの明るさ)、シャッター速度、焦点距離は、撮影対象の全ての範囲に焦点が合うように設定されている。一例としては、Fナンバー:16、シャッター速度:1/120秒、焦点距離:20mmである。
The imaging
撮像部3による撮影は、撮像制御部10によって制御されている。また、撮像部3は、フォーカス機構(ピント調整機構)、絞り機構、駆動回路およびA/D変換回路などをさらに有しており、撮像制御部10からの指令により、フォーカスや絞りの制御、A/D変換などが制御される。なお、撮像部3におけるピント合わせの詳細については後述する。
Imaging by the
撮像部3では、撮影画像のデータとして、赤(R)、緑(G)、青(B)のそれぞれについて、例えば8ビットで0〜255のデータが取得される。すなわち、撮像部3では、異なる色(RGB)のそれぞれについて、撮影対象を撮影した画像が取得され、これによって、各色の画像データが取得される。また、撮像部3の撮像レンズの倍率は、必要な画像の解像度が得られるように、撮像制御部10によって制御される。
In the
(表示部)
表示部4は、不図示の液晶パネル、バックライト、点灯回路および制御回路を有しており、撮像部3での撮影によって取得される画像と、枠線P(図1参照)とを表示する。表示部4に表示される上記の画像としては、舌裏の静脈検出時の撮影によって取得される画像のほか、ピント調整時の撮影によって取得される画像を含む。枠線Pは、撮像部3による撮影時の器官(ここでは舌)の撮影位置を規定するための画枠である。このような枠線Pを表示部4に表示させることにより、ユーザは表示された枠線Pを見ながら、適切な撮影位置(枠線P内の位置)に口腔および舌裏を位置させることが容易となり、撮像部3によって舌裏の撮影を適切に行うことが可能となる。
(Display section)
The
また、表示部4は、通信部6を介して外部から取得した情報(例えば外部の医療機関に情報を送信して診断された結果)など、その他の情報を表示することもできる。表示部4における各種の情報の表示は、表示制御部11によって制御されている。
The
なお、撮像部3での撮影によって取得された撮影対象の画像は、間引き処理や色補正処理などの画像処理が画像処理部(図示せず)によって施された後に、表示部4に表示されてもよい。以下での説明において、単に「撮影対象の(撮影)画像」と表現した場合は、特に断らない限り、撮像部3での撮影によって取得されて、表示に必要な上記の画像処理が施される前の画像を指すものとする。
The image to be captured acquired by the
(操作部)
操作部5は、撮像部3による撮影を指示するための入力部であり、OKボタン(撮影実行ボタン)5aおよびCANCELボタン5bで構成されている。本実施形態では、表示部4および操作部5を、共通のタッチパネル表示装置41(図1参照)で構成している。タッチパネル表示装置41における操作部5の表示は、操作制御部12によって制御される。なお、操作部5は、タッチパネル表示装置41以外の入力部で構成されてもよい(タッチパネル表示装置41の表示領域外の位置に操作部5を設けてもよい)。
(Operation section)
The
(通信部)
通信部6は、後述する演算部14にて得られた情報を、外部の装置に送信したり、逆に外部の装置から送信される各種の情報(例えば外部機関での診断結果)を受信するためのインターフェースである。通信部6における情報の送受信は、通信制御部16によって制御されている。
(Communication Department)
The
(音声出力部)
音声出力部7は、各種の情報を音声で出力するものであり、例えばスピーカーで構成される。音声出力部7は、演算部14にて抽出された情報に基づく診断結果を音声出力することができる。上記の診断結果は、当該装置で得られるものであってもよいし、外部機関で診断されて当該装置に送信されるものであってもよい。音声出力部7における音声出力は、音声出力制御部17によって制御される。
(Audio output part)
The audio output unit 7 outputs various kinds of information as audio, and is constituted by, for example, a speaker. The voice output unit 7 can output the diagnosis result based on the information extracted by the
(補助光出力部)
補助光出力部8は、撮像部3における後述のピント合わせや静脈検出の際の撮影時に、器官に青色の補助光を照射する。このような補助光出力部8は、青色成分(B成分)の多い光を出射する青色LEDや蛍光灯などの光源で構成することができる。補助光出力部8による補助光の照射は、補助光制御部18によって制御される。
(Auxiliary light output section)
The auxiliary
本実施形態の器官画像撮影装置1は、上記の他にも、輪郭抽出部13、演算部14および記憶部15を備えている。
In addition to the above, the
(輪郭抽出部)
輪郭抽出部13は、撮像部3にて取得された画像から、器官等の輪郭線を抽出する処理を行う画像処理部である。本実施形態では、輪郭抽出部13は、撮影画像の輝度エッジ(画像の中で急激に明るさが変化している部分)に基づいて、口腔領域の輪郭線を抽出する。
(Outline extraction unit)
The
輝度エッジの抽出は、例えば図5に示すようなエッジ抽出フィルタを用いて行うことができる。エッジ抽出フィルタは、1次微分をするときに(隣接画素間で画像データの差分をとるときに)、注目画素の近傍の画素に重みを付けるフィルタである。このようなエッジ抽出フィルタを用い、例えば、撮影画像の各画素のRの画像データについて、注目画素と近傍画素とで画像データの差分を取り、その差分値が所定の閾値を超える画素を抽出することで、輝度エッジとなる画素を抽出できる。唇内側の口腔領域には、唇の影や歯に起因する輝度差が存在するため、上記のように輝度エッジとなる画素を抽出することにより、口腔領域の輪郭線Q(図9も参照)を抽出することができる。 Luminance edge extraction can be performed using an edge extraction filter as shown in FIG. 5, for example. The edge extraction filter is a filter that weights pixels in the vicinity of the target pixel when performing first-order differentiation (when obtaining a difference in image data between adjacent pixels). Using such an edge extraction filter, for example, with respect to R image data of each pixel of the captured image, a difference between the image data is calculated between the target pixel and a neighboring pixel, and a pixel whose difference value exceeds a predetermined threshold is extracted. Thus, a pixel that becomes a luminance edge can be extracted. Since there is a luminance difference due to the shadow and teeth of the lips in the oral cavity area inside the lips, the contour line Q of the oral cavity area (see also FIG. 9) is obtained by extracting the pixels that become luminance edges as described above. Can be extracted.
なお、輪郭抽出部13は、輝度エッジの代わりに、画像の距離情報を用いて輪郭線を抽出してもよい。唇は撮像部3に最も近い位置にあるため、距離情報を用いることにより、口腔内との境界を検出することができる。
Note that the
(演算部)
演算部14は、撮像部3での撮影によって取得された画像のデータに基づいて、健康度の診断に必要な情報(例えば器官の静脈の特徴)を求める。器官として舌を考える場合、演算部14は、撮像部3にて取得された舌裏の画像のデータに基づいて、舌裏の静脈の膨らみ度合いを検出し、数値化(分類)するが、その詳細について後述する。
(Calculation unit)
The
(記憶部)
記憶部15は、撮像部3にて取得した画像のデータ、輪郭抽出部13および演算部14で取得した情報、外部の装置から送信された情報などを記憶したり、上述した各種の制御部を動作させるためのプログラムを記憶するメモリである。このようなメモリは、RAM、ROM、不揮発性メモリなどを含んで構成することが可能である。
(Memory part)
The
(制御部等)
器官画像撮影装置1は、照明制御部9、撮像制御部10、表示制御部11、操作制御部12、通信制御部16、音声出力制御部17、補助光制御部18およびこれらの各部を制御する全体制御部20をさらに備えている。照明制御部9、撮像制御部10、表示制御部11、操作制御部12、通信制御部16、音声出力制御部17および補助光制御部18は、上述したように、照明部2、撮像部3、表示部4、操作部5、通信部6、音声出力部7および補助光出力部8をそれぞれ制御する。全体制御部20は、例えばCPU(Central Processing Unit)で構成されており、記憶部15に記憶されている動作プログラムを実行する。なお、照明制御部9、撮像制御部10、表示制御部11、操作制御部12、通信制御部16、音声出力制御部17および補助光制御部18と、全体制御部20とは、一体的に(例えば1つのCPUで)構成されてもよい。
(Control unit, etc.)
The organ
〔ピント合わせについて〕
次に、撮像部3におけるピント合わせの詳細について説明する。図6は、撮像部3の詳細な構成を示すブロック図である。撮像部3は、上述した撮像光学系31および撮像素子32に加えて、画像処理部33および駆動部34をさらに備えている。
[About focusing]
Next, details of focusing in the
画像処理部33は、撮像光学系31を介して撮像素子32にて撮像された器官の画像(R成分、G成分、B成分の各画像を含む)から、B成分の画像を抽出する。駆動部34は、画像処理部33にて抽出されたB成分の画像のデータに基づいて、撮像光学系31を光軸方向(図3および図4のX軸方向)に移動させることにより、ピント合わせを行う。
The
ここで、図7は、健常者の舌裏の撮影画像と、その撮影画像の口腔内の領域Aに含まれるR成分、G成分、B成分の各画像データの度数分布をそれぞれ示している。同図に示すように、標準偏差は、G成分が最も小さく、次いで、R成分、B成分の順に大きくなる。また、画像データの最大値と最小値との差(度数分布の幅)を、画像のコントラストとした場合、G成分、R成分、B成分の順に、画像のコントラストも高くなることがわかる。 Here, FIG. 7 shows the frequency distribution of each image data of the R component, G component, and B component included in the intraoral area A of the captured image of the healthy subject's back of the tongue. As shown in the figure, the standard deviation has the smallest G component, and then increases in the order of the R component and the B component. Further, when the difference between the maximum value and the minimum value of the image data (frequency distribution width) is used as the contrast of the image, it can be seen that the contrast of the image increases in the order of the G component, the R component, and the B component.
静脈を流れる血液には、還元ヘモグロビンが多く存在するが、後述のように、還元ヘモグロビンは、R成分(波長600〜700nmあたり)の吸収係数が大きい(図10参照)。このため、舌裏において、還元ヘモグロビンの多い静脈部分は、酸化ヘモグロビンの多い、静脈以外の舌本体部分よりも青っぽく見える。したがって、B成分の画像では、B成分の多い静脈部分と、B成分の少ない舌本体部分とで、画像データの差異(コントラスト)が大きくなる。しかも、粘膜組織を持つ舌裏の表面付近には、細かい静脈が通っているため、舌裏の撮影によって得られるB成分の画像では、B成分のコントラストの変化も高周波で現れる。よって、B成分の画像データを用いてピント合わせを行うと、ピントを精度よく合わせることができ、最も鮮鋭な撮影画像が得られる。
The blood flowing through the vein contains a large amount of reduced hemoglobin. As described later, reduced hemoglobin has a large absorption coefficient of the R component (
具体的には、撮像部3は、撮影制御部10の制御のもとで以下の動作を行う。すなわち、駆動部34は、ピント合わせのために、撮像光学系31を光軸方向に、移動可能範囲の端(最も器官側)から端(最も撮像素子32側)まで移動させ、撮像素子32が撮像光学系31のX軸方向の各位置ごとに舌裏を撮影する。続いて、画像処理部33は、撮像光学系31のX軸方向の各位置ごとに、撮影画像からB成分の画像を抽出して度数分布を作成し、その度数分布における画像データの最大値と最小値との差をコントラストとして求め(数値化し)、そのコントラストの値が最大となるような撮像光学系31のX方向の位置を求める。上記位置が求まると、駆動部34により、上記位置に撮像光学系31を再度移動させることにより、ピント合わせが完了する。
Specifically, the
以上のように、撮像部3が、舌裏を撮影して取得したB成分の画像のデータを用いてピント合わせを行うことにより、舌裏に精度よくピントを合わせることができる。これにより、上述した演算部14は、ピントを合わせた状態で撮影された舌裏の撮影画像のデータに基づいて、舌裏の静脈の特徴(膨らみ度合い)を精度よく求めることができる。
As described above, the
特に、撮像部3は、B成分の画像のデータに基づいてB成分のコントラストを求め、求めたコントラストに基づいてピントを合わせることにより、精度のよいピント合わせを確実に行うことができる。
In particular, the
このように撮像部3がピント合わせを行う構成は、撮像部3が、撮像光学系31および撮像素子32に加えて、上述した画像処理部33および駆動部34をさらに備えていることによって確実に実現できる。つまり、画像処理部33が、B成分の画像のデータからコントラストが最大となる撮像光学系31の位置を求め、駆動部34が、上記位置に撮像光学系31を移動させることにより、舌裏にピントを確実に合わせることができる。
In this way, the configuration in which the
ところで、以上では、B成分の画像データの最大値と最小値との差をコントラストとして考えたが、コントラストとしては、図7のB成分の度数分布の標準偏差を考えてもよい。度数分布の幅(画像データの最大値と最小値との差)と、標準偏差とはほぼ対応関係にあり、度数分布の幅が広がると、標準偏差も大きくなる。このため、B成分の度数分布の標準偏差が最大となるような位置に撮像光学系31を移動させるようにしても、ピント合わせを精度よく行うことができる。
In the above, the difference between the maximum value and the minimum value of the B component image data is considered as the contrast. However, as the contrast, the standard deviation of the frequency distribution of the B component in FIG. 7 may be considered. The width of the frequency distribution (difference between the maximum value and the minimum value of the image data) and the standard deviation are almost corresponding to each other, and the standard deviation increases as the width of the frequency distribution increases. For this reason, even if the imaging
また、コントラストは、B成分の画像の各画素のデータにエッジ抽出フィルタを掛け算して得られる値(画素値、エッジ抽出量)の和であってもよい。例えば、図5で示したようなエッジ抽出フィルタを図7の領域A内の各画素のデータに掛け合わせたときに、静脈部分でエッジが強調されて、B−B’線上に並ぶ画素について、図8に示すような画素値の分布が得られたとする。舌裏にピントが合っていない場合、エッジ抽出フィルタによるエッジの強調度合いが小さく、フィルタを掛け算した後の値が小さい。逆に、舌裏にピントが合っている場合、エッジ抽出フィルタによるエッジの強調度合いが大きいため、フィルタを掛け算した後の値が大きくなる。したがって、フィルタ掛け算後の画素値の和(図8の例では、a+b+c+b+aの値)が最大となるような位置に撮像光学系31を移動させることによっても、ピント合わせを精度よく行うことができる。
The contrast may be the sum of values (pixel value, edge extraction amount) obtained by multiplying the data of each pixel of the B component image by the edge extraction filter. For example, when the edge extraction filter as shown in FIG. 5 is multiplied with the data of each pixel in the region A of FIG. 7, the edge is emphasized in the vein portion and the pixels lined up on the BB ′ line are Assume that a distribution of pixel values as shown in FIG. 8 is obtained. When the back of the tongue is not in focus, the degree of edge enhancement by the edge extraction filter is small, and the value after multiplication is small. On the other hand, when the back of the tongue is in focus, the edge enhancement degree by the edge extraction filter is large, so the value after multiplying the filter becomes large. Accordingly, focusing can be performed with high accuracy by moving the imaging
上記した撮像部3でのピント合わせのとき、口腔内は周囲の光が届きにくいため、補助光出力部8により、舌裏に青色の補助光を照射することが望ましい。上記補助光の照射により、撮像部3が取得する画像におけるB成分のコントラストが、補助光なしの場合に比べて増大する。つまり、B成分の画像における静脈部分では、B成分の画像データの値がより大きくなり、度数分布の幅(画像データの最大値と最小値との差)がより広がる。このため、B成分の画像データを用いたピント合わせをより精度よく行うことが可能となる。
When focusing with the
〔静脈検出について〕
次に、上述したピント合わせの後に行われる舌裏の静脈の検出手順について説明する。
[About vein detection]
Next, a procedure for detecting the vein on the back of the tongue, which is performed after the above-described focusing, will be described.
舌裏にピントが合った状態で、撮像部3により舌裏を撮影すると、輪郭抽出部13は、図5に示したエッジ抽出フィルタを用いて、撮影画像から口腔領域の輪郭線Qを検出する。そして、演算部14は、輪郭線Qをもとに、口腔領域内で静脈の検出に適した検出領域を設定する。
When the back of the tongue is photographed by the
図9は、撮影画像における輪郭線Qの位置と、その輪郭線Qをもとに設定される静脈の検出領域D1・D2とを模式的に示している。舌裏の静脈は、舌裏の中心と周辺部とを除いた左右に存在する。また、静脈は、舌根から舌先にかけて、縦に伸びて存在する。このため、演算部14は、上記で求めた口腔領域の輪郭線Qをもとに、図9で示した寸法関係となる検出領域D1・D2を設定する。すなわち、輪郭線Qの上下方向の長さをHとし、左右方向の長さをWとしたとき、演算部14は、上下方向にH/3の長さで、左右方向にW/6の長さを持つ矩形の検出領域D1・D2を設定する。各検出領域D1・D2は、輪郭線Qの上下方向および左右方向の中心Oから、左方向および右方向にそれぞれにW/8離れた位置で、かつ、上下方向に3等分したうちの中央に位置している。
FIG. 9 schematically shows the position of the contour line Q in the captured image and the vein detection areas D1 and D2 set based on the contour line Q. The veins on the back of the tongue are present on the left and right except for the center and periphery of the back of the tongue. The veins extend vertically from the base of the tongue to the tip of the tongue. For this reason, the calculating
図10は、血液の色を決定する酸化ヘモグロビン(HbO2)と還元ヘモグロビン(Hb)の吸収特性を示す。波長600〜700nmの赤色領域、および波長400〜500nmの青色領域においては、還元ヘモグロビンと酸化ヘモグロビンとで吸収係数に差が生じている。このことは、R成分の画像でも、B成分の画像でも、血管(静脈)の有無によって画像データに差が生じることを意味する。したがって、演算部14は、舌裏のR成分またはB成分の画像のデータに基づいて、舌裏の静脈を検出することができる。
FIG. 10 shows absorption characteristics of oxygenated hemoglobin (HbO 2 ) and reduced hemoglobin (Hb) that determine the color of blood. In the red region having a wavelength of 600 to 700 nm and the blue region having a wavelength of 400 to 500 nm, there is a difference in absorption coefficient between reduced hemoglobin and oxidized hemoglobin. This means that there is a difference in image data depending on the presence or absence of blood vessels (veins) in both the R component image and the B component image. Therefore, the
以下、静脈の具体的な検出方法について説明する。なお、ここでは、R成分の画像データに基づいて舌裏の静脈を検出する例について説明するが、B成分の画像データを用いても同様に静脈を検出することができる。また、ここでは、検出領域D1で得られたデータに基づいて、静脈の膨らみ度合いを検出する例について説明するが、検出領域D2のデータを使う場合でも、同様の処理を適用できる。 Hereinafter, a specific method for detecting veins will be described. Although an example of detecting the vein on the back of the tongue based on the R component image data will be described here, the vein can be detected in the same manner using the B component image data. Here, an example in which the degree of bulge of the vein is detected based on the data obtained in the detection area D1 will be described, but the same processing can be applied even when the data in the detection area D2 is used.
図11は、健常者と非健常者(お血症例)において、舌裏のR成分の撮影画像の検出領域D1の各画素の画像データ(画素値)を、閾値を基準に0(黒)と1(白)とで二値化した画像をそれぞれ示している。なお、上記の閾値としては、0〜255の間でほぼ中間の135を採用している。このような二値化処理では、静脈部分は黒く、それ以外の部分は白く処理される。同図に示すように、健常者では、黒い領域は少なく、非健常者では、黒い領域が多い。 FIG. 11 shows the image data (pixel value) of each pixel in the detection region D1 of the captured image of the R component on the back of the tongue in a healthy person and a non-healthy person (blood symptom example). The images binarized with 1 (white) are shown. In addition, as said threshold value, the middle 135 is employ | adopted between 0-255. In such binarization processing, the vein portion is processed in black and the other portions are processed in white. As shown in the figure, healthy people have few black areas, and non-healthy people have many black areas.
図12は、非健常者の検出領域D1の二値化画像の拡大図と、非健常者の検出領域D1の画像データの二値化処理前の度数分布とを併せて示している。演算部14は、検出領域D1内で、二値化処理した後の黒の画素数(閾値よりも画素値が小さい画素数)を算出し、検出領域D1全体の画素数に対する黒の画素数の比率を、静脈比率として算出する。この静脈比率が大きいほど、舌裏の静脈が膨らみ、浮き出ているものと考えられる。逆に、静脈比率が小さいと、静脈が細く、膨らみが少ないと考えられる。したがって、演算部14が、この静脈比率を算出することにより、静脈の膨らみ度合いを検出することができ、この静脈の膨らみ度合いを数値化(複数のレベルに分類)することにより、生体の健康度を診断することができる。
FIG. 12 shows an enlarged view of the binarized image in the detection area D1 of the unhealthy person and the frequency distribution before the binarization processing of the image data in the detection area D1 of the unhealthy person. The
例えば、演算部14は、算出した静脈比率の値に応じて、静脈の膨らみ度合いを1〜5のレベルに分類する。
レベル“1”:静脈比率0%以上5%未満(静脈の膨らみがほとんどない)
レベル“2”:静脈比率5%以上10%未満(静脈の膨らみが少しある)
レベル“3”:静脈比率10%以上20%未満(静脈の膨らみがある程度ある)
レベル“4”:静脈比率20%以上30%未満(静脈の膨らみが大きい)
レベル“5”:静脈比率30%以上(静脈の膨らみが非常に大きい)
For example, the
Level “1”:
Level “2”:
Level “3”:
Level “4”:
Level “5”: Vein ratio 30% or more (Venous bulge is very large)
このように、演算部14が、静脈の膨らみ度合いを複数のレベルに分類することにより、分類したレベル(数値)を、舌裏の静脈怒張の指標として診断に活用し、健康度を診断することが可能となる。なお、上記数値に基づく健康度の診断は、当該器官画像撮影装置1が行ってもよいし、上記数値を外部の端末に送信して、外部にて行ってもよい。外部で診断された場合は、その診断結果が当該器官画像撮影装置1に送信されるようにしてもよい。いずれにしても、診断結果を当該器官画像撮影装置1の表示部4に表示することにより、ユーザは自分の健康度を把握することができる。
As described above, the
図13は、非健常者のR成分の撮影画像の検出領域D1の二値化画像の拡大図と、その検出領域D1の上下方向の中心を通るC−C’線上に並ぶ画素の画素値の分布とを併せて示している。なお、上記のC−C’線が延びる方向は、舌尖と舌根とを結ぶ方向に垂直な方向(左右方向)に対応する。演算部14は、左右方向に黒の画素を走査することにより、静脈の膨らみ度合い(太さ)を検出することもできる。つまり、演算部14は、C−C’線上で、連続して黒(画素値0)と判定した画素の数(図13の分布における矢印の幅の総和(図13ではe1+e2)を計算し、これを静脈の太さの指標とする。黒の連続画素数が多いほど、静脈が太いと考えられる。したがって、演算部14が、黒の連続画素数を算出することによっても、その値に基づいて静脈の膨らみ度合いを検出することができる。そして、上記と同様に、黒の連続画素数の値に応じて、静脈の膨らみ度合いを分類することにより、生体の健康度を診断することができる。
FIG. 13 is an enlarged view of the binarized image of the detection region D1 of the captured image of the R component of the unhealthy person, and the pixel values of the pixels lined up on the line CC ′ passing through the center in the vertical direction of the detection region D1. The distribution is also shown. The direction in which the C-C ′ line extends corresponds to a direction (left-right direction) perpendicular to the direction connecting the tongue tip and the tongue base. The
以上では、演算部14が、舌裏のR成分またはB成分の画像のデータに基づいて、舌裏の静脈を検出する例について説明したが、R成分の画像データに対するB成分の画像データの比率、すなわち、B/Rの値に基づいて、舌裏の静脈を検出してもよい。例えば、演算部14は、検出領域D1の各画素において、比B/Rを算出し、得られた値(B/R)と所定の閾値とを比較し(閾値で2値化し)、閾値よりも値が大きい画素(静脈と推定)の数を算出し、検出領域D1全体の画素数に対する、閾値よりもB/Rの値が大きい画素数の比率を、静脈比率として算出してもよい。この場合でも、静脈比率が大きいほど、舌裏の静脈が膨らみ、浮き出ているものと考えられる。また、演算部14は、舌尖と舌根とを結ぶ方向に垂直な方向に連続して並ぶ、閾値よりもB/Rの値が大きい画素の数を算出し、その値に基づいて静脈の膨らみ度合いを検出してもよい。
The example in which the
舌は粘膜組織であり、G成分が少ないこと、舌は全体的にR(赤色)が主成分であること、検出対象である静脈は、B(青色)が主成分であること、に注目すると、B/Rの値に基づいて舌裏の静脈を検出することにより、R成分のみの画像データ、またはB成分のみの画像データに基づいて静脈を検出する場合に比べて、静脈の検出精度を向上させることができる。また、図10の通り、波長600〜700nmの赤色領域においては、還元ヘモグロビン(Hb)の吸収係数が酸化ヘモグロビン(HbO2)の吸収係数よりも大きいが、波長400〜500nmの青色領域においては、酸化ヘモグロビン(HbO2)および還元ヘモグロビン(Hb)の吸収係数の大小が反転する。したがって、このことからも、B/Rの値に基づいて舌裏の静脈を検出することにより、R成分のみの画像データ、またはB成分のみの画像データに基づいて静脈を検出する場合に比べて、静脈の検出精度を向上させることができると言える。 Focusing on the fact that the tongue is a mucosal tissue, the G component is small, the tongue is mainly composed of R (red) as a whole, and the vein to be detected is composed mainly of B (blue). By detecting the vein on the back of the tongue based on the value of B / R, the detection accuracy of the vein is improved compared to the case of detecting the vein based on the image data of only the R component or the image data of only the B component. Can be improved. Further, as shown in FIG. 10, in the red region having a wavelength of 600 to 700 nm, the absorption coefficient of reduced hemoglobin (Hb) is larger than that of oxyhemoglobin (HbO 2 ), but in the blue region having a wavelength of 400 to 500 nm, The magnitudes of the absorption coefficients of oxyhemoglobin (HbO 2 ) and reduced hemoglobin (Hb) are reversed. Therefore, also from this, by detecting the vein on the back of the tongue based on the value of B / R, compared to the case of detecting the vein based on the image data of only the R component or the image data of only the B component. It can be said that the detection accuracy of veins can be improved.
〔静脈検出時の望ましい構成〕
(1)舌の表は、口腔外に出しやすいが、舌裏は口腔外に出すことが難しい。口腔内では陰影ができやすいため、舌裏の撮影画像に基づいて静脈を検出する際に、検出誤差が生じやすい。そこで、静脈検出時には、上述した補助光出力部8により、特定波長(青色)の補助光を照射して、舌裏を撮影することが望ましい。このようにすることで、舌裏の撮影画像に陰影が映り込みにくくなり、撮影画像のデータに基づいて静脈を精度よく検出することが可能となる。
[Preferred configuration for vein detection]
(1) The front of the tongue is easy to put out of the oral cavity, but the back of the tongue is difficult to put out of the oral cavity. Since shadows are easily formed in the oral cavity, detection errors are likely to occur when a vein is detected based on a captured image of the back of the tongue. Therefore, at the time of vein detection, it is desirable to shoot the back of the tongue by irradiating auxiliary light of a specific wavelength (blue) by the auxiliary
(2)舌裏は、口腔内で下顎部と接しているため、濡れていることが多く、また、舌裏は粘膜であり、濡れると光沢が出る。そこで、演算部14は、舌裏を撮影して得られるR成分およびB成分の画像の度数分布から光沢成分の画像データを検出し、光沢成分を除く画像データに基づいて上記と同様の方法で静脈を検出することが望ましい。この場合、舌裏の光沢の影響を低減して、静脈の膨らみ度合いを精度よく検出することができる。
(2) Since the back of the tongue is in contact with the lower jaw in the oral cavity, the back of the tongue is often wet, and the back of the tongue is a mucous membrane. Therefore, the
具体的には、演算部14は、撮影画像の検出領域D1・D2の各画素からB成分およびR成分の画像データを抽出して、その度数分布をそれぞれ作成する。図14は、光沢成分を含む度数分布の一例として、Bの画像データの度数分布を示している(Rの度数分布も同様の傾向である)。なお、図14の横軸は、Bの画素値(画像データ)を示し、縦軸は度数(画素数)を示している。ただし、ここでの説明を簡略化するため、画素値は、1から100までの値とし、画素値が大きいほど明るいことを示す。
Specifically, the
次に、演算部14は、上記の度数分布より、最大度数Npに対応する画素値Dpを求め(図14の例ではDp=70)、この画素値Dpを1.2倍した値を閾値Mとし(図14の例ではM=84)、閾値Mから画像データの最大値(最大画素値Dm=100)までの区間における度数の総和を上位画素数として積算する。なお、画素値Dpを求めるにあたって、度数の変化を連続的に示す関数を求めてこれをスムージングし、ノイズを除去してから、最大度数Npに対応する画素値Dpを求めるようにしてもよい。また、スムージング後の関数を所定の区間で積分して上位画素数を求めるようにしてもよい。
Next, the
ここで、Bの画像データの度数分布は、撮影時に舌裏での正反射がない場合、正規分布に近い分布(第1の群G1)のみとなるが、正反射がある場合、第1の群G1に、高画素値側で度数が大きい分布(第2の群G2)が加算されたものとなる。そして、第1の群G1と第2の群G2との境界(度数が減少から増加に転じるような極小となる部分)が、度数が最大となる画像データの値(画素値Dp)と画像データの最大値(画素値Dm)との間で現れる。上記境界は、画素値Dpの1.1〜1.3倍の範囲内で現れることが実験的にわかっている。このため、演算部14は、画素値Dpの1.1〜1.3倍の範囲内の値(図14の例では、1.2Dp=84)を、第1の群G1と第2の群G2との境界となる閾値Mとして求めている。
Here, the frequency distribution of the B image data is only a distribution close to the normal distribution (first group G1) when there is no specular reflection on the back of the tongue at the time of photographing. A distribution having a high frequency on the high pixel value side (second group G2) is added to the group G1. Then, the boundary between the first group G1 and the second group G2 (the portion where the frequency is minimized such that the frequency starts to increase from the decrease) is the image data value (pixel value Dp) and the image data where the frequency is the maximum. Between the maximum value (pixel value Dm). It has been experimentally found that the boundary appears within a range of 1.1 to 1.3 times the pixel value Dp. For this reason, the
演算部14は、画像データが閾値M以上となる画素の総和を上位画素数として求めると、検出領域D1の全画素数から上位画素数を差し引いた値を、下位画素数(光沢成分を含まない画素数)とする。そして、演算部14は、R成分およびB成分の画像データが閾値Mよりも小さい画素(光沢成分を含まない画素)についてのみ、B/Rの比を算出し、得られた値(B/R)と所定の閾値とを比較して、閾値よりも値が大きい画素(静脈と推定)の数を算出し、下位画素数に対する、閾値よりもB/Rの値が大きい画素数の比率を、静脈比率として算出する。静脈比率が大きいほど、舌裏の静脈が膨らみ度合いが大きくなる。
When calculating the sum of pixels whose image data is equal to or greater than the threshold value M as the number of upper pixels, the
このように、第1の群G1の画像データ、つまり、光沢成分(第2の群G2)を除く画像データに基づいて、静脈の膨らみ度合いを検出することにより、舌裏の光沢によるノイズを低減して、静脈を精度よく検出することができる。 In this way, noise due to gloss on the back of the tongue is reduced by detecting the degree of bulge of the vein based on the image data of the first group G1, that is, the image data excluding the gloss component (second group G2). Thus, the vein can be detected with high accuracy.
(3)舌裏の静脈の太さや面積には個人差がある、また、撮影距離や倍率によっても静脈の大きさが変化する。そこで、静脈の太さを、口腔や舌の幅で正規化してもよい。例えば、静脈の太さをV、口腔の幅をS、舌の幅をTとすると、V/S、もしくはV/Tを指標とし、この値に基づいて、静脈の膨らみ度合いを検出してもよい。これにより、口腔の大きさや舌幅の違い(個人差)に関係なく、静脈の太さを検出して、それに基づく診断の精度を向上させることができる。なお、静脈の太さVとしては、例えば、検出領域D1において一方向に連続して並ぶ、閾値よりも比B/Rが大きい画素の数を考えることができる。また、口腔の幅Sおよび舌の幅Tについては、撮影画像において口腔の幅に相当する画素の数、および舌の幅に相当する画素の数を考えることができる。 (3) There are individual differences in the thickness and area of the vein on the back of the tongue, and the size of the vein also changes depending on the photographing distance and magnification. Therefore, the vein thickness may be normalized by the width of the oral cavity or tongue. For example, if V is the thickness of the vein, S is the width of the oral cavity, and T is the width of the tongue, V / S or V / T is used as an index, and the degree of bulge of the vein is detected based on this value. Good. Thereby, the thickness of the vein can be detected regardless of the size of the oral cavity or the tongue width (individual difference), and the accuracy of diagnosis based on the detected thickness can be improved. As the vein thickness V, for example, the number of pixels that are continuously arranged in one direction in the detection region D1 and whose ratio B / R is larger than the threshold value can be considered. Regarding the oral width S and the tongue width T, the number of pixels corresponding to the width of the oral cavity and the number of pixels corresponding to the width of the tongue in the captured image can be considered.
〔制御フロー〕
図15は、本実施形態の器官画像撮影装置1における処理の流れを示すフローチャートである。以上で説明した処理をフローチャートに沿って説明すると、以下のようになる。
[Control flow]
FIG. 15 is a flowchart showing the flow of processing in the organ
まず、ユーザは、表示部4に表示された枠線P(図1参照)を見ながら、口を大きく上下に開けて、舌裏を枠線P内に位置させる。このとき、舌先は、上顎から前歯の裏側付近に伸ばす。この状態で、ユーザは、操作部5によって撮影開始の指示を入力する(S1)。すると、補助光出力部8により、青色の補助光が点灯され(S2)、撮像部3にてピント調整が行われる。
First, while viewing the frame line P (see FIG. 1) displayed on the
すなわち、駆動部34により、撮像光学系31を光軸方向の可動範囲の端から端まで移動させながら、撮像素子32にて舌裏を撮影して画像を取得する(S3)。そして、画像処理部33は、撮像光学系31の各位置ごとに、撮像素子32にて撮影された画像からB成分の画像を抽出して度数分布を作成し、画像データの最大値と最小値との差(コントラスト)を求め、そのコントラストが最大となる撮像光学系31の位置を検出する(S4)。コントラストが最大となる位置が検出されると、駆動部34は、検出した上記位置に撮像光学系31を移動させる(S5)。これにより、ピント調整が終了する。
That is, the
次に、撮像部3は、ピントの合った状態で舌裏を撮影し、RGBの撮影画像を取得する(S6)。続いて、輪郭抽出部13は、例えばR成分の撮影画像の各画素のデータ(画素値)にエッジ抽出フィルタを掛け合わせて、口腔領域の輪郭線を抽出する(S7)。そして、演算部14は、上記の輪郭線Qをもとに、図9で示した寸法関係となる検出領域D1・D2を設定する(S8)。そして、演算部14は、各検出領域D1・D2の画像データに基づいて、舌裏の静脈の膨らみ度合いを検出し、複数のレベルに分類する(S9)。
Next, the
例えば、演算部14は、各検出領域D1・D2の画像データを二値化し、二値化された画像から、領域全体の画素数に対する黒画素(画素値0)の比率(静脈比率)を算出するか、一方向に連続して並ぶ黒画素の数(総和)を算出し、算出した静脈比率または黒画素数の値に応じて、静脈の膨らみ度合いを複数のレベルに分類する。あるいは、演算部14は、各検出領域D1・D2のB成分の画像データとR成分の画像データとの比B/Rを算出し、得られた値(B/R)と所定の閾値とを比較して、閾値よりも値が大きい画素の数を算出し、検出領域D1全体の画素数に対する、閾値よりもB/Rの値が大きい画素数の比率を、静脈比率として算出し、算出した静脈比率に応じて、静脈の膨らみ度合いを複数のレベルに分類する。あるいは、演算部14は、一方向に連続して並ぶ、閾値よりもB/Rの値が大きい画素の総和を算出し、算出した総和に基づいて静脈の膨らみ度合いを複数のレベルに分類する。その結果、演算部14は、分類したレベルに基づいて健康度(例えば静脈怒張かどうか)を診断することができる。
For example, the
レベルや診断結果などの情報は、表示部4に表示されたり、必要に応じて記憶部15に記憶されたり、通信部6を介して外部に転送される(S10)。
Information such as the level and the diagnosis result is displayed on the
〔プログラムについて〕
以上で説明した器官画像撮影装置1は、例えば、所定のプログラム(アプリケーションソフトウェア)をインストールしたスマートフォンのような多機能携帯端末(コンピュータ)で構成することができる。上記プログラムをコンピュータ(例えばCPUとしての全体制御部20)が読み取って実行することにより、器官画像撮影装置1における上述した各処理を実現することができる。このようなプログラムは、例えばネットワークを介してダウンロードすることによって取得され、記憶部15に記憶される。
[About the program]
The
以上のことから、本実施形態の器官画像撮影方法およびプログラムは、以下のように表現することもできる。 From the above, the organ image capturing method and program of the present embodiment can also be expressed as follows.
(1)撮像部にて、生体の、粘膜組織を持つ器官を撮影して画像を取得するステップA(S6)と、
演算部にて、前記撮像部にて取得された前記画像のデータに基づいて、前記器官の静脈の特徴を求めるステップB(S8〜S9)と、
前記撮像部にて、ピント合わせのために前記器官を撮影して青色成分の画像を取得するとともに、取得した青色成分の画像のデータを用いてピントを合わせるステップC(S3〜S5)とを有している、器官画像撮影方法。
(1) Step A (S6) in which an imaging unit captures an image of a living organ having a mucosal tissue and acquires an image;
Step B (S8 to S9) for obtaining the characteristics of the veins of the organ based on the data of the image acquired by the imaging unit in the calculation unit;
The imaging unit captures the organ for focusing to acquire a blue component image, and has a step C (S3 to S5) for focusing using the acquired blue component image data. Organ image taking method.
(2)前記ステップCにおいて、前記撮像部は、前記青色成分の画像のデータに基づいて、青色成分のコントラストを求め、求めた前記コントラストに基づいてピントを合わせる、前記(1)に記載の器官画像撮影方法。 (2) The organ according to (1), wherein in the step C, the imaging unit obtains a contrast of the blue component based on the data of the image of the blue component, and focuses based on the obtained contrast. Image shooting method.
(3)前記ステップCは、
前記撮像部の撮像光学系を介して撮像素子にて撮像された前記器官の画像から、青色成分の画像を抽出するステップと、
抽出された青色成分の画像のデータに基づいて、駆動部によって撮像光学系を光軸方向に移動させることにより、ピント合わせを行うステップとを含む、前記(1)または(2)に記載の器官画像撮影方法。
(3) Step C includes
Extracting a blue component image from an image of the organ imaged by an imaging device via an imaging optical system of the imaging unit;
The organ according to (1) or (2), including a step of focusing by moving the imaging optical system in the optical axis direction by the drive unit based on the extracted blue component image data Image shooting method.
(4)前記駆動部は、前記青色成分の画像のデータから求められるコントラストが最大となる位置に、前記撮像光学系を移動させることにより、ピント合わせを行う、前記(3)に記載の器官画像撮影方法。 (4) The organ image according to (3), wherein the driving unit performs focusing by moving the imaging optical system to a position where the contrast obtained from the blue component image data is maximized. Shooting method.
(5)前記コントラストは、前記青色成分の画像のデータの最大値と最小値との差、前記画像の度数分布の標準偏差、前記画像の各画素のデータにエッジ抽出フィルタを掛け算して得られる値の和、のいずれかである、前記(2)または(4)に記載の器官画像撮影方法。 (5) The contrast is obtained by multiplying the difference between the maximum value and the minimum value of the blue component image data, the standard deviation of the frequency distribution of the image, and the data of each pixel of the image by an edge extraction filter. The organ image capturing method according to (2) or (4), wherein the organ image capturing method is one of a sum of values.
(6)前記撮像部におけるピント合わせのときに、前記器官に青色の補助光を照射するステップ(S2)をさらに含む、前記(1)から(5)のいずれかに記載の器官画像撮影方法。 (6) The organ image capturing method according to any one of (1) to (5), further including a step (S2) of irradiating the organ with blue auxiliary light when the imaging unit focuses.
(7)前記器官は、舌であり、
前記ステップAでは、前記撮像部は、舌裏を撮影して青色成分または赤色成分の画像を取得し、
前記ステップBでは、前記演算部が、前記青色成分の画像のデータ、または前記赤色成分の画像のデータに基づいて、舌裏の静脈の膨らみ度合いを検出し、複数のレベルに分類する、前記(1)から(6)のいずれかに記載の器官画像撮影方法。
(7) the organ is a tongue;
In step A, the imaging unit captures the back of the tongue to obtain a blue component or red component image,
In the step B, the calculation unit detects the degree of swelling of the vein on the back of the tongue based on the data of the blue component image or the data of the red component, and classifies it into a plurality of levels. The organ image capturing method according to any one of 1) to (6).
(8)前記器官は、舌であり、
前記ステップAでは、前記撮像部が、舌裏を撮影して青色成分および赤色成分の画像を取得し、
前記ステップBでは、前記演算部が、前記青色成分の画像のデータBと、前記赤色成分の画像のデータRとの比B/Rに基づいて、舌裏の静脈の膨らみ度合いを検出し、複数のレベルに分類する、前記(1)から(6)のいずれかに記載の器官画像撮影方法。
(8) the organ is a tongue;
In the step A, the imaging unit captures the back of the tongue and acquires images of a blue component and a red component,
In the step B, the calculation unit detects the degree of bulge of the vein on the back of the tongue based on the ratio B / R of the data B of the blue component image and the data R of the red component image, and The organ image capturing method according to any one of (1) to (6), wherein the organ image is classified into two levels.
(9)前記(1)〜(8)のいずれかの器官画像撮影方法をコンピュータに実行させるためのプログラム。 (9) A program for causing a computer to execute the organ image capturing method according to any one of (1) to (8).
〔その他〕
本実施形態では、粘膜組織を持つ器官の例として舌を挙げ、舌裏を撮影して静脈の膨らみ度合いを検出する例について説明したが、その他、瞼の裏、生体の胃や腸などの内壁を撮影して、静脈の膨らみ度合いを検出する場合についても、本実施形態で説明したピント合わせの手法や静脈の膨らみ度合いの検出方法を適用することが可能である。特に、西洋医学においては、瞼の裏の色を観察することにより、循環器系や消化器系の疾患を診断する方法が知られている。瞼の裏の静脈を検出して健康度を判断する手法は、そのような西洋医学の診断手法にも即したものとなる。
[Others]
In this embodiment, the tongue is given as an example of an organ having a mucosal tissue, and an example in which the degree of bulge of the vein is detected by photographing the back of the tongue has been described. The method of focusing and the method of detecting the degree of bulge of the vein described in this embodiment can also be applied to the case where the degree of bulge of the vein is detected. In Western medicine in particular, a method for diagnosing cardiovascular and digestive diseases by observing the color of the back of the eyelids is known. The technique of judging the health level by detecting the veins on the back of the eyelids is in line with such a Western medical diagnostic technique.
また、以上では、生体が人間である場合について説明したが、人間以外の動物であってもよい。例えば、ペットや家畜などの動物の舌(舌裏)を撮影する場合でも、本実施形態のピント合わせや静脈の膨らみ度合いの検出方法を適用して、健康度を判断するようにすることも可能である。この場合、ユーザは、意思の伝達ができない動物の体調不良を速やかに、かつ的確に判断することができる。 Moreover, although the case where the living body was a human was described above, it may be an animal other than a human. For example, even when photographing the tongue (back of the tongue) of animals such as pets and domestic animals, it is also possible to determine the health level by applying the focus adjustment and the method for detecting the degree of bulge of the vein of this embodiment. It is. In this case, the user can quickly and accurately determine the poor physical condition of the animal that cannot communicate the intention.
本発明は、生体の、粘膜組織を持つ器官を撮影して画像を取得する器官画像撮影装置に利用可能である。 INDUSTRIAL APPLICABILITY The present invention can be used in an organ image capturing apparatus that captures an image of a living organ having a mucosal tissue.
1 器官画像撮影装置
3 撮像部
8 補助光出力部
14 演算部
31 撮像光学系
32 撮像素子
33 画像処理部
34 駆動部
DESCRIPTION OF
Claims (8)
前記撮像部にて取得された前記画像のデータに基づいて、前記器官の静脈の特徴を求める演算部とを備え、
前記撮像部は、ピント合わせのために前記器官を撮影して青色成分の画像を取得するとともに、取得した青色成分の画像のデータを用いてピントを合わせることを特徴とする器官画像撮影装置。 An imaging unit that captures an image of an organism having a mucosal tissue and obtains an image;
Based on the data of the image acquired by the imaging unit, a calculation unit for obtaining the characteristics of the veins of the organ,
The imaging unit is an organ imaging apparatus characterized in that the organ is imaged for focusing to acquire a blue component image, and is focused using the acquired blue component image data.
前記器官の画像を取得するための撮像素子と、
前記器官からの入射光を前記撮像素子の受光面上に集光させるための撮像光学系と、
前記撮像光学系を介して前記撮像素子にて撮像された前記器官の画像から、青色成分の画像を抽出する画像処理部と、
前記画像処理部にて抽出された青色成分の画像のデータに基づいて、前記撮像光学系を光軸方向に移動させることにより、ピント合わせを行う駆動部とを含んでいることを特徴とする請求項1または2に記載の器官画像撮影装置。 The imaging unit
An image sensor for acquiring an image of the organ;
An imaging optical system for condensing incident light from the organ on a light receiving surface of the imaging device;
An image processing unit for extracting an image of a blue component from an image of the organ imaged by the imaging element via the imaging optical system;
And a driving unit that performs focusing by moving the imaging optical system in the optical axis direction based on the image data of the blue component extracted by the image processing unit. Item 3. The organ image photographing apparatus according to Item 1 or 2.
前記撮像部は、舌裏を撮影して青色成分または赤色成分の画像を取得し、
前記演算部は、前記青色成分の画像のデータ、または前記赤色成分の画像のデータに基づいて、舌裏の静脈の膨らみ度合いを検出し、複数のレベルに分類することを特徴とする請求項1から6のいずれかに記載の器官画像撮影装置。 The organ is the tongue;
The imaging unit captures the back of the tongue to obtain a blue component or red component image,
2. The arithmetic unit detects a degree of swelling of a vein on the back of the tongue based on data of the blue component image or data of the red component, and classifies the level into a plurality of levels. 7. The organ image photographing apparatus according to any one of items 1 to 6.
前記撮像部は、舌裏を撮影して青色成分および赤色成分の画像を取得し、
前記演算部は、前記青色成分の画像のデータBと、前記赤色成分の画像のデータRとの比B/Rに基づいて、舌裏の静脈の膨らみ度合いを検出し、複数のレベルに分類することを特徴とする請求項1から6のいずれかに記載の器官画像撮影装置。 The organ is the tongue;
The imaging unit captures the back of the tongue and acquires images of a blue component and a red component,
The calculation unit detects the degree of bulge of the vein on the back of the tongue based on the ratio B / R of the data B of the blue component image and the data R of the red component image, and classifies it into a plurality of levels. The organ image capturing apparatus according to claim 1, wherein the organ image capturing apparatus is an organ image capturing apparatus according to claim 1.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015027341A JP2016151584A (en) | 2015-02-16 | 2015-02-16 | Organ image capturing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015027341A JP2016151584A (en) | 2015-02-16 | 2015-02-16 | Organ image capturing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016151584A true JP2016151584A (en) | 2016-08-22 |
Family
ID=56696403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015027341A Pending JP2016151584A (en) | 2015-02-16 | 2015-02-16 | Organ image capturing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016151584A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019168418A (en) * | 2018-03-26 | 2019-10-03 | 株式会社Screenホールディングス | Imaging method and imaging device |
JP7462534B2 (en) | 2020-11-02 | 2024-04-05 | 株式会社Nttドコモ | Image Recording System |
JP7466431B2 (en) | 2020-11-11 | 2024-04-12 | 株式会社Nttドコモ | Oral cavity image acquisition device |
-
2015
- 2015-02-16 JP JP2015027341A patent/JP2016151584A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019168418A (en) * | 2018-03-26 | 2019-10-03 | 株式会社Screenホールディングス | Imaging method and imaging device |
JP7462534B2 (en) | 2020-11-02 | 2024-04-05 | 株式会社Nttドコモ | Image Recording System |
JP7466431B2 (en) | 2020-11-11 | 2024-04-12 | 株式会社Nttドコモ | Oral cavity image acquisition device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015029537A1 (en) | Organ imaging apparatus | |
WO2015114950A1 (en) | Organ image capturing device | |
KR102287364B1 (en) | System and method for detecting lesion in capsule endoscopic image using artificial neural network | |
US11051716B2 (en) | Method and apparatus for jaundice diagnosis based on an image | |
WO2016076059A1 (en) | Organ image capture device and program | |
CN112351723B (en) | Electronic endoscope system and data processing device | |
WO2016067892A1 (en) | Degree-of-health outputting device, degree-of-health outputting system, and program | |
JP7374280B2 (en) | Endoscope device, endoscope processor, and method of operating the endoscope device | |
JP2016151584A (en) | Organ image capturing device | |
JP2016150024A (en) | Organ imaging device | |
US11689689B2 (en) | Infrared imaging system having structural data enhancement | |
WO2015037316A1 (en) | Organ-imaging device and organ-imaging method | |
WO2015049936A1 (en) | Organ imaging apparatus | |
CN110168604A (en) | Image processing apparatus, image processing method and image processing program | |
US20160242678A1 (en) | Organ image photographing apparatus | |
JP2015226599A (en) | Apparatus for measuring chromaticity of living body | |
CN109791694B (en) | Method and device for determining a physiological parameter of a subject and computer program product therefor | |
WO2015068495A1 (en) | Organ image capturing device | |
WO2015156039A1 (en) | Organ imaging apparatus | |
JP2016198140A (en) | Organ image capturing device | |
JP2016168303A (en) | Organ photographing apparatus | |
US12052526B2 (en) | Imaging system having structural data enhancement for non-visible spectra | |
JP2016198141A (en) | Organ image capturing device | |
CN118340496A (en) | Automatic positioning and collecting device and method for clinic instrument, electronic equipment and storage medium |