JP2020010734A - 検査支援装置、方法およびプログラム - Google Patents
検査支援装置、方法およびプログラム Download PDFInfo
- Publication number
- JP2020010734A JP2020010734A JP2018132895A JP2018132895A JP2020010734A JP 2020010734 A JP2020010734 A JP 2020010734A JP 2018132895 A JP2018132895 A JP 2018132895A JP 2018132895 A JP2018132895 A JP 2018132895A JP 2020010734 A JP2020010734 A JP 2020010734A
- Authority
- JP
- Japan
- Prior art keywords
- image
- endoscope
- medical image
- converted
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000007689 inspection Methods 0.000 title claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 abstract description 11
- 210000000621 bronchi Anatomy 0.000 description 31
- 238000003860 storage Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 12
- 238000001514 detection method Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 238000002591 computed tomography Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000003325 tomography Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
- G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Endoscopes (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
Description
第2の医用画像の第2の表現形式を、第1のカラー表現形式に変換することにより、変換済み第2の医用画像を取得する変換部と、
第1の医用画像と変換済み第2の医用画像との類似度を算出する類似度算出部とを備える。
第2の医用画像は、被検体の管状構造物を含む3次元画像から生成された、管状構造物の内壁を擬似的に表す仮想内視鏡画像であってもよい。
第2の医用画像の第2の表現形式を、第1のカラー表現形式に変換することにより、変換済み第2の医用画像を取得し、
第1の医用画像と変換済み第2の医用画像との類似度を算出する。
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
第1のカラー表現形式の第1の医用画像、および第1のカラー表現形式とは異なる第2の表現形式の第2の医用画像を取得し、
第2の医用画像の第2の表現形式を、第1のカラー表現形式に変換することにより、変換済み第2の医用画像を取得し、
第1の医用画像と変換済み第2の医用画像との類似度を算出する処理を実行する。
3A 操作部
3B 内視鏡先端
4 3次元画像撮影装置
5 画像保管サーバ
6 検査支援装置
8 ネットワーク
11 CPU
12 メモリ
13 ストレージ
14 表示部
15 入力部
21 画像取得部
22 気管支画像生成部
23 仮想内視鏡画像生成部
24 変換部
25 類似度算出部
26 位置推定部
27 表示制御部
31 内視鏡スコープ
40 経路
50 表示画像
51 移動軌跡
A0 範囲
B0 気管支画像
K0 仮想内視鏡画像
K1 変換済み仮想内視鏡画像
P1 位置
Pb 基準位置
Pt 位置
T0 実内視鏡画像
Claims (8)
- 第1のカラー表現形式の第1の医用画像、および前記第1のカラー表現形式とは異なる第2の表現形式の第2の医用画像を取得する画像取得部と、
前記第2の医用画像の前記第2の表現形式を、前記第1のカラー表現形式に変換することにより、変換済み第2の医用画像を取得する変換部と、
前記第1の医用画像と前記変換済み第2の医用画像との類似度を算出する類似度算出部とを備えた検査支援装置。 - 前記第1の医用画像は被検体を撮影することにより取得された実画像であり、前記第2の医用画像は前記実画像とは異なる方式により前記被検体を撮影することにより取得された画像から生成された画像である請求項1に記載の検査支援装置。
- 前記第1の医用画像は、前記被検体における管状構造物内に挿入された内視鏡により生成された、前記管状構造物の内壁を表す実内視鏡画像であり、
前記第2の医用画像は、前記被検体の前記管状構造物を含む3次元画像から生成された、前記管状構造物の内壁を擬似的に表す仮想内視鏡画像である請求項2に記載の検査支援装置。 - 前記算出された類似度が予め定められたしきい値以上となる仮想内視鏡画像を用いて、前記管状構造物内における前記内視鏡の位置を推定する位置推定部をさらに備えた請求項3に記載の検査支援装置。
- 前記推定された内視鏡の位置に対応する変換済み仮想内視鏡画像と、前記実内視鏡画像とを表示部に表示する表示制御部をさらに備えた請求項4に記載の検査支援装置。
- 前記3次元画像から前記仮想内視鏡画像を生成する仮想内視鏡画像生成部をさらに備えた請求項3から5のいずれか1項に記載の検査支援装置。
- 第1のカラー表現形式の第1の医用画像、および前記第1のカラー表現形式とは異なる第2の表現形式の第2の医用画像を取得し、
前記第2の医用画像の前記第2の表現形式を、前記第1のカラー表現形式に変換することにより、変換済み第2の医用画像を取得し、
前記第1の医用画像と前記変換済み第2の医用画像との類似度を算出する検査支援方法。 - 第1のカラー表現形式の第1の医用画像、および前記第1のカラー表現形式とは異なる第2の表現形式の第2の医用画像を取得する手順と、
前記第2の医用画像の前記第2の表現形式を、前記第1のカラー表現形式に変換することにより、変換済み第2の医用画像を取得する手順と、
前記第1の医用画像と前記変換済み第2の医用画像との類似度を算出する手順とをコンピュータに実行させる検査支援プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018132895A JP7023195B2 (ja) | 2018-07-13 | 2018-07-13 | 検査支援装置、方法およびプログラム |
US16/453,668 US11003946B2 (en) | 2018-07-13 | 2019-06-26 | Examination support device, examination support method, and examination support program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018132895A JP7023195B2 (ja) | 2018-07-13 | 2018-07-13 | 検査支援装置、方法およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020010734A true JP2020010734A (ja) | 2020-01-23 |
JP2020010734A5 JP2020010734A5 (ja) | 2020-09-24 |
JP7023195B2 JP7023195B2 (ja) | 2022-02-21 |
Family
ID=69138386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018132895A Active JP7023195B2 (ja) | 2018-07-13 | 2018-07-13 | 検査支援装置、方法およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11003946B2 (ja) |
JP (1) | JP7023195B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7071240B2 (ja) * | 2018-07-26 | 2022-05-18 | 富士フイルム株式会社 | 検査支援装置、方法およびプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011000173A (ja) * | 2009-06-16 | 2011-01-06 | Toshiba Corp | 内視鏡検査支援システム |
JP2011193885A (ja) * | 2010-03-17 | 2011-10-06 | Fujifilm Corp | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
JP2011206168A (ja) * | 2010-03-29 | 2011-10-20 | Fujifilm Corp | 観察支援システムおよび方法並びにプログラム |
US20120027260A1 (en) * | 2009-04-03 | 2012-02-02 | Koninklijke Philips Electronics N.V. | Associating a sensor position with an image position |
WO2012108085A1 (ja) * | 2011-02-08 | 2012-08-16 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5718537B2 (ja) | 1973-12-25 | 1982-04-17 | ||
JP4171833B2 (ja) | 2002-03-19 | 2008-10-29 | 国立大学法人東京工業大学 | 内視鏡誘導装置および方法 |
JP5380348B2 (ja) * | 2010-03-31 | 2014-01-08 | 富士フイルム株式会社 | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
EP2904958A4 (en) | 2013-03-12 | 2016-08-24 | Olympus Corp | ENDOSCOPE SYSTEM |
-
2018
- 2018-07-13 JP JP2018132895A patent/JP7023195B2/ja active Active
-
2019
- 2019-06-26 US US16/453,668 patent/US11003946B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120027260A1 (en) * | 2009-04-03 | 2012-02-02 | Koninklijke Philips Electronics N.V. | Associating a sensor position with an image position |
JP2011000173A (ja) * | 2009-06-16 | 2011-01-06 | Toshiba Corp | 内視鏡検査支援システム |
JP2011193885A (ja) * | 2010-03-17 | 2011-10-06 | Fujifilm Corp | 内視鏡観察を支援するシステムおよび方法、並びに、装置およびプログラム |
JP2011206168A (ja) * | 2010-03-29 | 2011-10-20 | Fujifilm Corp | 観察支援システムおよび方法並びにプログラム |
WO2012108085A1 (ja) * | 2011-02-08 | 2012-08-16 | オリンパスメディカルシステムズ株式会社 | 医療機器 |
Also Published As
Publication number | Publication date |
---|---|
JP7023195B2 (ja) | 2022-02-21 |
US11003946B2 (en) | 2021-05-11 |
US20200019813A1 (en) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6348078B2 (ja) | 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム | |
JP6371729B2 (ja) | 内視鏡検査支援装置、内視鏡検査支援装置の作動方法および内視鏡支援プログラム | |
JP6594133B2 (ja) | 内視鏡位置特定装置、内視鏡位置特定装置の作動方法および内視鏡位置特定プログラム | |
US10970875B2 (en) | Examination support device, examination support method, and examination support program | |
JP5685133B2 (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
US10939800B2 (en) | Examination support device, examination support method, and examination support program | |
US9396576B2 (en) | Method and apparatus for estimating the three-dimensional shape of an object | |
JP2016039874A (ja) | 内視鏡画像診断支援装置、システム、方法およびプログラム | |
JP6824078B2 (ja) | 内視鏡位置特定装置、方法およびプログラム | |
JP2013188440A (ja) | 医用画像診断支援装置および方法並びにプログラム | |
KR20170069587A (ko) | 영상처리장치 및 그의 영상처리방법 | |
JP6145870B2 (ja) | 画像表示装置および方法、並びにプログラム | |
JP7441934B2 (ja) | 処理装置、内視鏡システム及び処理装置の作動方法 | |
JP5554028B2 (ja) | 医用画像処理装置、医用画像処理プログラム、及びx線ct装置 | |
JP7023195B2 (ja) | 検査支援装置、方法およびプログラム | |
JP7148534B2 (ja) | 画像処理装置、プログラム、及び内視鏡システム | |
JP6820805B2 (ja) | 画像位置合わせ装置、その作動方法およびプログラム | |
JP6199267B2 (ja) | 内視鏡画像表示装置、その作動方法およびプログラム | |
JP6745748B2 (ja) | 内視鏡位置特定装置、その作動方法およびプログラム | |
JP2015136480A (ja) | 3次元医用画像表示制御装置およびその作動方法並びに3次元医用画像表示制御プログラム | |
US20190251691A1 (en) | Information processing apparatus and information processing method | |
WO2021117349A1 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム | |
JP6847011B2 (ja) | 3次元画像処理装置および方法並びにプログラム | |
Siang et al. | A framework of position tracked freehand 3d ultrasound reconstruction using game controller and pixel nearest neighbour method for marching cubes volume visualization | |
Regef et al. | Laryngeal surface reconstructions from monocular endoscopic videos: a structure from motion pipeline for periodic deformations |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200812 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200812 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220118 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220208 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7023195 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |