KR102360615B1 - 내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 - Google Patents

Abstract

자동화된 시스템에 의하여 의료 영상 판독을 지원하는 장치 및 방법이 개시된다. 컴퓨팅 시스템은 의료 영상에 대한 판독 기능을 가지는 복수의 의료 영상 판독 알고리듬들을 저장하는 메모리 또는 데이터베이스를 포함하고, 컴퓨팅 시스템 내의 프로세서는 의료 영상을 분석하여 의료 영상에 대한 판독 요건을 추출하고, 상기 판독 요건에 기반하여, 복수의 의료 영상 판독 알고리듬들 중 의료 영상에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택하고, 비디오 프레임에 복수의 판독 적용 알고리듬들을 적용하여 비디오 프레임에 대한 판독 결과를 포함하는 디스플레이 정보를 생성한다.

Description

내시경 영상에 대한 복수의 의료 영상 판독 알고리듬들을 이용하는 의료 영상 판독 지원 장치 및 방법 {MEDICAL IMAGE DIAGNOSIS ASSISTANCE APPARATUS AND METHOD USING A PLURALITY OF MEDICAL IMAGE DIAGNOSIS ALGORITHM FOR ENDOSCOPE IMAGES}

본 발명은 자동화된 시스템에 의하여 의료 영상 판독을 지원하는 장치 및 방법에 관한 것이다. 구체적으로는 인공지능 기반의 의료 영상 판독 알고리듬들에 대한 평가 스코어를 생성하고, 평가 스코어에 기반하여 의료 영상 판독을 지원하는 방법 및 그 방법이 적용되는 장치에 관한 것이다.

본 발명은 과학기술정보통신부 및 정보통신기술진흥센터의 SW컴퓨팅산업원천기술개발 사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2018-0-00861, 과제명: 의료데이터분석 지능형 SW 기술개발].

정기적인 건강 진단의 목적으로 내시경 진단은 매우 빈번하게 발생하는 의료 행위이다. 이러한 내시경 진단 시 실시간 영상을 처리하여 의료 현장에서 전문가가 병변을 식별하기 용이하도록 전처리하는 기술에 대한 수요가 존재한다. 최근에는 미국공개특허 US 2018/0253839 "A system and method for detection of suspicious tissue regions in an endoscopic procedure" 등에서 비디오 프레임에 대해서 노이즈를 제거하는 전처리 과정을 수행하고, 노이즈 제거 전처리 과정과 컴퓨터 보조 진단(CAD, Computer-Aided Diagnosis) 과정을 병렬적으로 진행하여 실시간 진단 보조 디스플레이 정보를 제공하는 기술이 소개된 바 있다.

이러한 기술에서는 CAD 모듈의 정확도와 신뢰도가 매우 중요한 요인으로 인식되고 있다.

영상 내 객체를 분할(segmentation) 또는 검출(detection)하고, 영상 내 객체를 분류(classify)하는 기술은 영상 처리에서 다양한 용도로 활용된다. 의료 영상에서는 영상의 밝기 값 또는 강도 값(intensity)에 기반하여 영상 내 객체를 분할, 검출, 분류하고 이때 객체는 인체의 장기(organ), 병변(lesion)일 수 있다.

영상 처리 과정을 자동화하는 데 있어서 최근 인공 신경망으로서 딥러닝, 컨볼루션 신경망(CNN, Convolutional Neural Network)의 도입은 영상 처리 자동화 프로세스의 성능을 비약적으로 향상시켰다.

그러나 한편으로 딥러닝, CNN 등의 최근의 인공 신경망은 내부가 블랙박스에 가까워, 도출되는 결과가 우수하더라도 사용자가 이를 전적으로 수용하고 채택하는 데에 거부감이 있다. 특히 인공 신경망에 대한 거부감은 인간의 생명을 다루는 분야인 의료 영상 분야에서는 더욱 중요하게 부각된다.

이러한 배경에서 설명 가능한 인공지능(explainable artificial intelligence, X-AI)에 대한 연구가 미국국방고등연구기획국(DARPA) 등에서 시도되고 있다 (https://www.darpa.mil/program/explainable-artificial-intelligence). 다만 아직까지 가시적인 성과는 드러나지 않고 있는 상황이다.

의료 분야에서 복잡한 형태의 병변을 분할/검출하고, 분류/진단하기 위한 기술로서 복수의 분할 알고리듬들을 선택적으로 적용하는 기술이 국제공개특허 WO 2018/015414 "METHOD AND SYSTEM FOR ARTIFICIAL INTELLIGENCE BASED MEDICAL IMAGE SEGMENTATION" 등이 소개된 바 있다.

상기 선행문헌에서는 영상 분할의 최종 결과물을 얻기 위하여 pre-trained 분할 알고리듬들을 비교하고 적어도 어느 하나를 선택하는 기법이 적용된다.

그러나 상기 선행문헌에서도 분할 알고리듬들을 선택적으로 적용하는 기준이 무엇인지에 대한 설명적 정보(descriptive information, explanation)를 도출할 수 없어 임상의(clinician)가 이러한 분할 기법이 임상적으로 어느 정도 유용한 지에 대한 신뢰를 높이기 어렵다는 문제가 있다.

또한 한국등록특허 KR 10-1938992 "진단 이유 설명이 생성되는 CAD 시스템 및 그 방법" 에서는 병변 진단에 대한 근거 정보를 도출하기 위하여 DNN 기반으로 추출된 특징 정보를 연쇄적으로 융합하여 특징 벡터를 생성하는 기술이 소개되었다. 그러나 KR 10-1938992는 인공 신경망이 스스로 특징 정보를 도출할 뿐, 추출된 특징 정보가 임상적으로 유용한 정보인 지에 대한 검증이 전혀 이루어지지 않기 때문에, 인공 신경망의 진단 결과에 대한 설명으로 인간이 인식할 수 있으리라는 근거가 희박하다.

이처럼 의료 영상의 판독 과정에서도 블랙박스처럼 실행되는 인공지능 판독 시스템이 결과를 도출하는 과정을 임상적으로 신뢰할 수 없다는 유사한 문제점이 여전히 존재한다.

미국공개특허 US 2018/0253839 "A system and method for detection of suspicious tissue regions in an endoscopic procedure" (2018년 9월 6일) 국제공개특허 WO 2018/015414 "METHOD AND SYSTEM FOR ARTIFICIAL INTELLIGENCE BASED MEDICAL IMAGE SEGMENTATION" (2018년 1월 25일) 한국등록특허 KR 10-1938992 "진단 이유 설명이 생성되는 CAD 시스템 및 그 방법" (2019년 1월 9일)

최근 딥러닝 기반의 인공지능 기법을 적용하여 영상 분할, 영상 내 객체의 검출, 및 분류 기법의 성능을 향상하고자 하는 노력이 계속되고 있다. 그러나 딥러닝 기반 인공지능의 경우, 그 동작으로부터 제공되는 결과물이 우연히 높은 성능을 보이는 것인지, 그 임무(task)에 적절한 판단 과정을 거친 것인 지를 사용자가 알 수 없는 블랙박스(black-box)라는 점이 활용 가능성을 제한하고 있다.

반면 설명이 용이한 룰-베이스드(rule-based) 방식의 훈련 또는 학습으로는 딥러닝 만큼의 성과가 얻어지지 못하는 점에서 사용이 제한되고 있다. 따라서 향상된 성능을 가지면서도 설명적 정보(descriptive information, explanation)를 제공할 수 있는 딥러닝 기반 인공지능에 대한 연구가 활발하다. 인공 신경망을 이용한 영상 처리를 실제로 응용하는 데 있어서, 특히 의료 영상 분야에서는 진단 및 분류의 근거에 대한 설명적 정보가 필요한데 종래 기술로는 아직까지 설명적 정보를 도출하지 못하는 상황이다.

상기 언급된 선행문헌 WO 2018/015414에서도 어떤 요소가 최종적인 분할 segmentation 성능을 향상하는 데에 영향을 미치는 지에 대한 설명적 정보(descriptive information, explanation)를 도출할 수 없고, 분할 과정에서 임상의(clinician)가 임상적으로 유의미한 피드백을 제공하더라도, 이 피드백이 실제로 딥러닝 시스템에 적절히 적용되었는지 확인할 수 있는 방법이 없다.

본 발명의 목적은 사용자가 의료 영상을 판독하는 과정에서 복수의 의료 영상 판독 알고리듬들에 대한 신뢰도 및 정확도를 포함하는 평가 스코어를 제공함으로써, 사용자에 의한 의료 영상 판독 결과의 정확도를 높이는 것이다.

본 발명의 목적은 사용자가 인공지능 의료 영상 판독 알고리듬들을 사용하여 최종적인 판독 결과를 도출하는 과정에 추천 정보를 설명적 정보(descriptive information)로서 제공하고, 사용자가 의료 영상 판독 알고리듬들에 대한 임상적 유용성을 정량화된 정보로서 제공하는 것이다.

본 발명의 목적은 내시경 영상의 실시간 비디오 프레임 각각에 대하여 인공지능 의료 영상 판독/진단 결과들 중 최적화된 내용을 제공하는 것이다.

본 발명의 목적은 복수의 인공지능 의료 영상 판독/진단 결과들 중 실시간 비디오 프레임 각각에 대하여 최적화된 내용을 제공하는 것이다.

본 발명의 목적은 복수의 인공지능 의료 영상 판독/진단 결과들의 최적화된 조합을 실시간 비디오 프레임 각각에 대한 디스플레이 정보로서 생성하고 제공하는 것이다.

본 발명의 목적은 현재 비디오 프레임에서 진단될 가능성이 높거나, 누락될 가능성이 높거나, 위험도가 높은 진단 결과를 효율적으로 표시할 수 있는 복수의 인공지능 의료 영상 판독/진단 결과들의 최적화된 조합을 제공하는 것이다.

본 발명의 목적은 현재 비디오 프레임에서 진단될 가능성이 높거나, 누락될 가능성이 높거나, 위험도가 높은 진단 결과를 자동으로 검출하여 제시함으로써 내시경 검사 도중 의료진이 실시간으로 확인하고 검토할 수 있도록 하는 사용자 인터페이스 및 진단 컴퓨팅 시스템을 제공하는 것이다.

본 발명은 상기의 종래기술의 문제점을 해결하기 위한 수단으로 도출된 것으로서, 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치는 컴퓨팅 시스템을 포함하고, 컴퓨팅 시스템은 수신 모듈; 메모리 또는 데이터베이스; 및 프로세서;를 포함한다. 상기 수신 모듈은 상기 의료 영상을 수신하거나 입력받고, 메모리 또는 데이터베이스는 의료 영상에 대한 판독 기능을 가지는 복수의 의료 영상 판독 알고리듬들을 저장한다.

프로세서는 상기 의료 영상의 비디오 프레임을 분석하여 상기 의료 영상에 대한 판독 요건을 추출하고, 프로세서는 상기 판독 요건에 기반하여 상기 복수의 의료 영상 판독 알고리듬들 중 상기 비디오 프레임에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택하고, 프로세서는 상기 비디오 프레임에 상기 복수의 판독 적용 알고리듬들을 적용하여 상기 비디오 프레임에 대한 판독 결과를 포함하는 디스플레이 정보를 생성한다.

프로세서는 상기 의료 영상의 상기 비디오 프레임을 분석하여 상기 의료 영상 중 상기 비디오 프레임의 특성에 대응하는 문맥 기반 판독 요건을 추출할 수 있다. 프로세서는 상기 문맥 기반 판독 요건에 기반하여 상기 비디오 프레임에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택할 수 있다.

프로세서는 상기 문맥 기반 판독 요건에 기반하여 상기 복수의 판독 적용 알고리듬들의 조합을 선택할 수 있다. 프로세서는 상기 비디오 프레임에 상기 복수의 판독 적용 알고리듬들의 조합을 적용하여 상기 비디오 프레임에 대한 판독 결과를 포함하는 디스플레이 정보를 생성할 수 있다.

복수의 판독 적용 알고리듬들의 조합은, 상기 문맥 기반 판독 요건에 기반하여 상기 비디오 프레임에 대하여 우선적으로 추천되는 제1 판독 적용 알고리듬, 및 상기 제1 판독 적용 알고리듬의 특성에 기반하여 상기 문맥 기판 판독 요건 중 도출되는 보완 판독 요건에 기반하여 추천되는 제2 판독 적용 알고리듬을 포함할 수 있다.

문맥 기반 판독 요건은 상기 의료 영상이 포함하는 인체의 바디 파트, 인체의 장기(organ), 상기 비디오 프레임이 상기 인체의 장기 내에서 나타내는 상대적인 위치, 상기 비디오 프레임과 관련되는 병변의 발생 확률, 상기 비디오 프레임과 관련되는 병변의 위험도, 상기 비디오 프레임과 관련되는 병변의 식별 난이도, 및 타겟 병변의 종류 중 적어도 하나 이상을 포함할 수 있다.

디스플레이 정보는 상기 비디오 프레임, 상기 비디오 프레임 상에 선택적으로 오버레이되는 상기 판독 결과, 상기 판독 결과를 생성한 판독 적용 알고리듬의 정보, 및 상기 판독 적용 알고리듬에 대한 평가 스코어를 포함할 수 있다.

프로세서는 상기 디스플레이 정보를 상기 비디오 프레임에 연계하여 상기 데이터베이스에 저장할 수 있다.

프로세서는 상기 디스플레이 정보 및 상기 비디오 프레임이 연계된 외부 저장 데이터를 생성하고, 상기 외부 저장 데이터를 전송 모듈을 경유하여 외부의 데이터베이스에 저장되도록 상기 외부의 데이터베이스로 전송할 수 있다.

이 때 상기 복수의 의료 영상 판독 알고리듬들은 인공 신경망을 이용하는 인공 지능 알고리듬들이고, 프로세서는 상기 판독 요건 각각에 따른 상기 평가 스코어를 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 설명적 정보(descriptive information)로서 생성할 수 있다.

본 발명의 다른 일 실시예에 의한 의료 영상 판독 지원 방법은, 의료 영상에 대한 판독을 지원하는 컴퓨팅 시스템 내의 프로세서에 의하여 실행되며, 상기 프로세서에 로드되는 프로그램 인스트럭션에 기반하여 실행된다.

의료 영상 판독 지원 방법은 수신 모듈이 의료 영상을 수신하거나 입력받는 단계; 상기 프로세서가 상기 의료 영상의 비디오 프레임을 분석하여 상기 의료 영상에 대한 판독 요건을 추출하는 단계; 상기 프로세서가 상기 판독 요건에 기반하여, 상기 컴퓨팅 시스템 내의 메모리 또는 데이터베이스에 저장되며 상기 의료 영상에 대한 판독 기능을 가지는 복수의 의료 영상 판독 알고리듬들 중 상기 비디오 프레임에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택하는 단계; 및 상기 프로세서가 상기 비디오 프레임에 상기 복수의 판독 적용 알고리듬들을 적용하여 상기 비디오 프레임에 대한 판독 결과를 포함하는 디스플레이 정보를 생성하는 단계;를 포함한다.

본 발명에 따르면 사용자가 의료 영상을 판독하는 과정에서 해당 영상에 적용 가능한 다수의 인공지능 의료 영상 판독 알고리듬들이 분석한 다수의 추천 판독 결과들과 자신의 판독 결과를 비교함으로써 사용자의 영상에 대한 판독결과에 대한 정확도를 높일 수 있다.

본 발명에 따르면 다수의 인공지능 의료 영상 판독 알고리듬들을 통해 사용자가 확인하지 못했던 부분들에 대한 다수의 추천 판독을 서로 비교해 조회할 수도 있다. 사용자는 해당 시스템을 통해 본인의 판독과 다수의 판독을 비교 검증함으로써, 정확한 판독이 이루어지게 되고 판독의 신뢰도를 높일 수 있다.

또한 추천판독시스템에서 다수의 추천판독에 대한 근거 영상들을 조회함으로써 다수의 추천 인공지능 의료 영상 판독 알고리듬 중에서 사용자의 판독결과와 유사한 추천판독에 대한 정확도/신뢰도를 평가할 수 있으며 사용자의 판독 능력향상에도 도움을 줄 수 있다.

사용자의 추천 인공지능 알고리즘에 대한 평가는 추천판독 시스템 내부평가시스템의 과금 체계와도 연계될 수 있다.

본 발명에 따르면 추천 판독 시스템 내부의 인공지능 의료 영상 판독 알고리듬들에 대한 평가 스코어를 설명적 정보로서 제공할 수 있으며, 최종적인 판독 결과를 생성하는 과정에서 사용자는 각 의료 영상 판독 알고리듬들의 임상적 유용성에 대한 정보를 얻을 수 있고, 임상적 유용성에 대한 정보를 본 발명의 추천 판독 시스템으로 피드백할 수도 있다.

본 발명에 의하여 제공되는 설명적 정보는 다시 인공 신경망에 기반한 의료 영상 판독 알고리듬들의 판독 성능을 향상하는 데에 유용하게 사용될 수도 있을 것이다.

본 발명에 따르면 내시경 영상의 실시간 비디오 프레임 각각에 대하여 인공지능 의료 영상 판독/진단 결과들 중 최적화된 내용을 제공할 수 있다.

본 발명에 따르면 복수의 인공지능 의료 영상 판독/진단 결과들 중 실시간 비디오 프레임 각각에 대하여 최적화된 내용을 제공할 수 있다.

본 발명에 따르면 복수의 인공지능 의료 영상 판독/진단 결과들의 최적화된 조합을 실시간 비디오 프레임 각각에 대한 디스플레이 정보로서 생성하고 제공할 수 있다.

본 발명에 따르면 현재 비디오 프레임에서 진단될 가능성이 높거나, 누락될 가능성이 높거나, 위험도가 높은 진단 결과를 효율적으로 표시할 수 있는 복수의 인공지능 의료 영상 판독/진단 결과들의 최적화된 조합을 제공할 수 있다.

본 발명에 따르면 현재 비디오 프레임에서 진단될 가능성이 높거나, 누락될 가능성이 높거나, 위험도가 높은 진단 결과를 자동으로 검출하여 제시함으로써 내시경 검사 도중 의료진이 실시간으로 확인하고 검토할 수 있도록 하는 사용자 인터페이스 및 진단 컴퓨팅 시스템을 구현할 수 있다.

도 1은 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)을 포함하는 워크플로우 전체를 도시하는 개념도이다.
도 2는 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)에 의하여 실행되는 의료 영상 판독 지원 방법을 도시하는 동작 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)을 포함하는 워크플로우 전체를 도시하는 개념도이다.
도 4는 도 3의 의료 영상 판독 지원 장치(시스템)을 상세히 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)을 포함하는 워크플로우를 도시하는 개념도이다.
도 6은 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)을 포함하는 워크플로우를 도시하는 개념도이다.

상기 목적 외에 본 발명의 다른 목적 및 특징들은 첨부 도면을 참조한 실시예에 대한 설명을 통하여 명백히 드러나게 될 것이다.

본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.

최근 급속히 발전한 딥러닝/CNN 기반 인공 신경망 기술은 영상 분야에 적용할 경우, 인간의 육안으로 구분하기 어려운 시각적 요소를 구분하는 용도로 고려되고 있다. 이러한 기술의 적용 분야는 보안, 의료 영상, 비파괴 검사 등 다양한 분야로 확대될 가능성이 기대되고 있다.

예를 들어 의료 영상 분야에서, 암 조직 중 생검(biopsy) 상태에서 즉시 암으로 판정되지 않고, 병리학적(pathology) 관점에서 추적 모니터링된 이후에 비로소 암인지 여부가 판정되는 경우가 있다. 인간의 육안으로는 의료 영상에서 해당 세포가 암인지 여부를 확진하기 어려우나, 인공 신경망 기술을 적용할 경우 인간의 육안으로 관찰하는 것보다 더 정확한 예측 결과를 얻을 수 있을 것이라는 기대가 있다.

그러나 인공 신경망 기술이 일부 연구에서 인간의 육안보다 우수한 예측/분류/판독(진단) 결과를 얻을 수 있다 해도, 인공 신경망 기술의 적용으로 인하여 얻어진 예측/분류/판독(진단) 결과에 대한 설명적 정보가 부족하여 의료 현장에서 이를 수용하고 채택하기는 어려운 점이 문제로 대두된다.

본 발명은 인공 신경망 기술을 적용하여 인간의 육안으로 분류하기 어려운 영상 내 객체를 분류/예측하는 성능을 향상시키고자 하는 의도에서 도출되었다. 또한 인공 신경망 기술의 분류/예측 성능을 향상시키기 위해서라도 인공 신경망 기술의 분류/예측 과정에 기반한 최종 판독 결과의 생성까지 도달하는 내부 동작에 대한 설명적 정보를 얻는 것은 대단히 중요하다.

본 발명은 인공 신경망에 기반한 복수의 의료 영상 판독 알고리듬들의 각각의 성능 지표 및 임상적 유용성을 정량화된 지표로서 제시할 수 있다. 이로 인하여 인공 신경망의 분류/예측 과정에 기반한 최종 판독 결과가 도출되는 과정에 대한 설명적 정보를 제공할 수 있으며, 인공 신경망의 분류/예측/판독(지원) 결과를 인간 사용자가 채택할 것인지에 대한 레퍼런스를 제공할 수 있다.

종래 기술의 인공 신경망을 의료 영상의 판독/진단에 적용하였을 때, 주어진 임무(task)에만 과적합(overfit)되어 통계적 정확도는 높으나, 몇몇 임상적으로 중요한 진단 포인트에서는 정확도가 낮은 경우가 있다. 적지 않은 종래 기술의 인공 신경망이 이러한 상황에 놓여 있으며, 이로 인하여 임상의들이 인공 신경망이 적용된 의료 영상의 판독/진단 결과에 대하여 신뢰하기 어려운 상황이 빈번하게 발생한다. 이러한 위험성은 널리 알려진 인공 신경망인 IBM의 Watson 솔루션이, 학습된 데이터에 포함된 환자의 인종 정보 등에 과적합되어 새로운 인종의 환자들의 데이터셋에서는 정확도가 현저하게 저하되는 등의 문제점을 노출하고 있다는 데에서 더욱 명백하다.

따라서 인공 신경망의 우수한 판독/진단 잠재능력을 최대한 활용하되, 임상의들이 이러한 판독/진단 결과를 수용할 지 여부에 대한 정량화된 지표를 제공하고, 임상의들이 이러한 정량화된 지표를 생성하는 데에 직접적인 피드백을 제공할 수 있는 경로를 확보하는 것은 대단히 중요하다.

이하에서는, 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치 및 방법을 도 1 내지 도 2를 참조하여 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)을 포함하는 워크플로우 전체를 도시하는 개념도이다. 도 1의 일부 시퀀스(S110, S120, S130)는 종래 기술에 속할 수 있으나 본 발명의 구성의 일부로서 본 발명에 통합된다.

도 2는 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)에 의하여 실행되는 의료 영상 판독 지원 방법을 도시하는 동작 흐름도이다.

도 1을 참조하면, 영상 진단 장치(모달리티)에서 획득된(S110) 의료 영상이 의료진의 판독용 컴퓨팅 단말로 전달되고, 본 발명의 컴퓨팅 시스템(100)으로 전달된다(S140). 영상 진단 장치는 예를 들어 CT, MRI, 초음파 진단 장치와 같이 인체의 해부학적 구조 또는 인체의 장기(organ) 내의 병변의 흔적을 탐색할 수 있는 모달리티를 의미하며, 특정한 종류의 장치로 한정되지 않는다.

본 발명의 의료 영상 판독 지원 장치는 컴퓨팅 시스템(100)을 포함하여 구성되며, 본 발명의 의료 영상 판독 지원 방법은 컴퓨팅 시스템(100)에 의하여 실행된다. 컴퓨팅 시스템(100)은 메모리 또는 데이터베이스를 포함하고, 프로세서를 포함한다. 본 발명의 의료 영상 판독 지원 방법은 메모리 또는 데이터베이스에 저장된 프로그램 인스트럭션이 프로세서에 의하여 호출되고 프로세서에 로드된 후, 프로세서에 의하여 실행되는 형태로 구현될 수 있다.

도 1과 도 2를 참조하면, 컴퓨팅 시스템(100)에서는 입력된 의료 영상을 분석하여(S210) 의료 영상의 판독에 적용할 복수의 판독 적용 알고리듬을 선택한다(S220).

컴퓨팅 시스템(100)은 복수의 판독 적용 알고리듬 각각에 대해서 평가 스코어로서 I-Score(170)를 생성한다(S160, S240). 컴퓨팅 시스템(100)은 하나의 검사(exam) 또는 하나 이상의 영상에 대한 다수의 추천 판독 결과를 한꺼번에 생성할 수 있다.

컴퓨팅 시스템(100)은 메모리 또는 데이터베이스에 의료 영상에 대한 판독 기능을 가지는 복수의 의료 영상 판독 알고리듬들을 저장할 수 있다. 컴퓨팅 시스템(100)의 프로세서는 의료 영상을 분석하여(S210) 의료 영상에 대한 판독 요건을 추출한다. 프로세서는 판독 요건에 기반하여 복수의 의료 영상 판독 알고리듬들 중 의료 영상에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택한다(S220).

복수의 판독 적용 알고리듬들 각각이 의료 영상에 적용되어 의료 영상에 대한 복수의 판독 결과들이 생성되면, 컴퓨팅 시스템(100)의 프로세서는 의료 영상에 대한 복수의 판독 결과들을 복수의 판독 적용 알고리듬들 각각과 연계하여 컴퓨팅 시스템(100) 내의 메모리 또는 데이터베이스에 저장한다. 이때 설명의 편의상 예를 들어 복수의 판독 적용 알고리듬들이 제1 판독 알고리듬과 제2 판독 알고리듬을 포함하는 경우, 제1 판독 알고리듬에 기반한 제1 판독 결과 및 제2 판독 알고리듬에 기반한 제2 판독 결과가 도출된다고 가정한다.

컴퓨팅 시스템(100)의 프로세서는 복수의 판독 적용 알고리듬 각각에 대해서 평가 스코어로서 I-Score(170)를 생성한다(S160, S240).

종래 기술의 의료진의 판독용 컴퓨팅 단말에서는 인공지능 알고리듬이 적용된(S120) 결과를 이용하여 판독 결과가 생성된다(S130). 이때 판독 결과를 생성하는 과정(S130)에서는 의료진의 코멘트가 추가될 수 있다.

본 발명이 적용된 의료 영상 판독 지원 장치/시스템에서는 평가 스코어인 I-Score(170)가 컴퓨팅 시스템(100)으로부터 의료진의 판독용 컴퓨팅 단말로 전달된다(S180). 판독 결과(S130)의 생성에 평가 스코어인 I-Score(170)가 반영되어 최종 판독문이 생성될 수 있다. 본 발명의 일 실시예에 따라서는, 컴퓨팅 시스템(100)은 평가 스코어인 I-Score(170)와 함께 판독문을 생성하여 의료진의 컴퓨팅 시스템으로 전달할(S180) 수 있는데, 이때 컴퓨팅 시스템(100)에서 생성되는 판독문은 평가 스코어인 I-Score(170)가 높은 판독 적용 알고리듬들에 기반한 판독 결과들을 이용하여 작성될 수 있다.

컴퓨팅 시스템(100)은 다수의 추천 판독 결과들을 한꺼번에 표시하고, 사용자의 추가적인 동작 없이 다수의 추천 판독 결과들을 생성하고 이를 확인/표시할 수 있는 사용자 인터페이스를 제공할 수 있다. 컴퓨팅 시스템(100)의 프로세서는 복수의 판독 적용 알고리듬들 각각에 대한 평가 스코어 및 복수의 판독 결과들을 포함하는 디스플레이 정보를 생성하고, 복수의 판독 적용 알고리듬들 중 적어도 하나 이상에 대한 사용자의 선택이 가능한 사용자 메뉴를 제공할 수 있다.

컴퓨팅 시스템(100)은 다수의 추천판독결과 조회 시 하나의 검사(exam) 또는 하나 이상의 영상에 대한 의심 부위 등을 서로 비교하여 표시하거나 판독문을 제시해 줄 수 있는 시스템 또는 인터페이스를 제공한다. 컴퓨팅 시스템(100)의 프로세서는 의료 영상 내의 병변 의심 위치에 대한 제1 판독 결과 및 제2 판독 결과 각각을 비교 가능하도록 표시하고, 의료 영상 내의 상기 병변 의심 위치에 대한 제1 판독 결과에 기반한 제1 판독문, 및 제2 판독 결과에 기반한 제2 판독문을 생성할 수 있다. 즉, 동일한 의료 영상에 대해서도 서로 다른 판독 적용 알고리듬이 적용되어 서로 다른 판독 결과가 도출되었을 때, 이들 복수의 판독 결과들을 서로 비교할 수 있도록 디스플레이하며, 사용자는 제1 판독 결과 또는 제2 판독 결과 중 어느 하나를 선택하여 최종 판독 결과로 생성할 수 있다. 이때 제1 판독 결과 또는 제2 판독 결과가 제시한 병변 의심 위치 각각에 대하여 사용자가 판독 결과를 수용할 지 여부를 결정할 수 있는 사용자 인터페이스가 제공되고, 병변 진단 결과마다 제1 판독 결과와 제2 판독 결과 간의 정확도가 비교될 수 있다. 복수의 자동 판독 결과들의 각 병변 진단 결과에 대한 사용자의 최종 수용 여부는 피드백 정보로서 컴퓨팅 시스템(100)에 다시 전달되어 평가 스코어를 구성하는 하위 정보로서 활용될 수 있다.

컴퓨팅 시스템(100)은 다수의 추천판독결과에 해당하는 근거 영상이나 판독문 등을 서로 비교하여 표시해주는 사용자 인터페이스를 제공할 수 있다. 컴퓨팅 시스템(100)의 프로세서는 제1 판독 결과와 연관되는 의료 영상 내의 병변 의심 위치들에 관한 정보를 포함하는 제1 판독 근거 영상 정보 및 제2 판독 결과와 연관되는 의료 영상 내의 병변 의심 위치들에 관한 정보를 포함하는 제2 판독 근거 영상 정보를 생성하고, 상기 제1 판독 근거 영상 정보 및 상기 제1 판독 결과에 기반한 제1 판독문, 및 상기 제2 판독 근거 영상 정보 및 상기 제2 판독 결과에 기반한 제2 판독문을 생성할 수 있다. 동일한 의료 영상 내의 병변 의심 위치에 대하여 제1 판독 결과와 제2 판독 결과가 서로 다를 때, 사용자는 제1 판독 결과의 제1 판독 근거 영상 정보와 제2 판독 결과의 제2 판독 근거 영상 정보를 호출하여 상호 비교할 수 있다. 근거가 되는 의료 영상의 원본은 동일하겠지만 각 판독 적용 알고리듬이 병변으로 진단한 영역은 서로 다른 경우이므로 이 경우 판독 적용 알고리듬이 의료 영상의 원본에서 병변 진단의 근거로 참고한 영역은 서로 다를 수 있다. 예를 들어 판독 적용 알고리듬들이 객체 검출(object detection)과 같은 기능을 수행한다면 판독 근거 영상 정보는 특정 객체를 포함하는 박스 또는 특정 객체에 대한 외곽선 정보로서 나타내어질 수 있다. 또한 판독 적용 알고리듬들이 어느 정도의 확률로서 해당 객체를 검출하였는지에 대한 정보가 판독 근거 영상 정보에 포함되어 판독 근거 영상 정보로서 생성될 수 있다.

컴퓨팅 시스템(100)은 내부적으로 계산한 평가 스코어인 I-Score(170)를 이용하여 추천 판독 결과를 선택할 수 있고, 평가 스코어가 함께 표시되므로 판독의(radiologist)는 해당 추천판독(예를 들어 판독의의 판독 결과와 일치하는 추천 판독 알고리듬)에 대한 판독신뢰도 등을 평가/확인할 수 있는 사용자 인터페이스를 제공할 수 있다. 컴퓨팅 시스템(100)의 프로세서는 평가 스코어에 기반하여 복수의 판독 결과들 중 제1 판독 결과와 제2 판독 결과를 추천 판독 결과로서 선택할 수 있다. 프로세서는 제1 판독 알고리듬에 대한 평가 스코어, 제1 판독 결과, 제2 판독 알고리듬에 대한 평가 스코어, 및 제2 판독 결과를 포함하는 디스플레이 정보를 생성할 수 있다.

컴퓨팅 시스템(100)은 판독 알고리듬의 신뢰도 점수, 판독 알고리듬의 정확도 점수, 및 피드백을 제공한 판독의의 평가 신뢰도 점수에 기반하여 평가 스코어를 생성할 수 있다. 프로세서는 복수의 판독 결과들 및 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 복수의 의료 영상 판독 알고리듬들 각각에 대한 신뢰도 점수, 복수의 의료 영상 판독 알고리듬들 각각에 대한 정확도 점수, 및 상기 복수의 의료 영상 판독 알고리듬들 각각에 대한 상기 사용자의 평가 신뢰도 점수를 하위 평가 항목으로 생성하고, 상기 하위 평가 항목에 기반하여 상기 평가 스코어를 생성할 수 있다.

예를 들어 평가 스코어의 생성 기준은 다음과 같이 구현될 수 있다.

[수학식 1]

I-Score = a x (AI 알고리듬의 신뢰도 점수) + b x (AI 알고리듬의 정확도 점수) + c x (AI 알고리듬에 대한 판독의의 평가 신뢰도 점수)

알고리듬의 신뢰도 점수는 판독의가 각 알고리듬에 대하여 부여할 수 있다. 즉, 제1 판독 결과와 제2 판독 결과 중 제1 판독 결과가 더 정확하다고 판단되면 제1 판독 결과에 대하여 높은 신뢰도 점수가 부여될 수 있다.

알고리듬의 정확도 점수는 별도의 부여 과정 없이, 판독의가 각 알고리듬의 판독 결과를 수용하는 정도에 의하여 결정될 수 있다. 예를 들어 제1 판독 결과가 10개의 병변 의심 위치를 제시하였는데 판독의가 9개의 병변 의심 위치를 승인하였다면 정확도 점수는 90/100 으로 주어질 수 있다.

알고리듬의 정확도 점수가 부여되는 또 다른 실시예로는, 생검(biopsy) 등에 의하여 정확한 결과가 드러나는 경우를 가정할 수 있다. 이 때에는 생검에 의한 정확한 결과와 비교하여 각 판독 알고리듬의 판독 결과의 정확도가 드러날 수 있다. 사용자가 생검에 의하여 정확한 결과를 컴퓨팅 시스템(100)에 입력하면, 컴퓨팅 시스템(100)은 각 판독 결과를 생검에 의한 정확한 결과(레퍼런스)와 비교하여 각 판독 알고리듬의 정확도 점수를 산출할 수 있다.

판독의의 평가 신뢰도 점수는, 판독의의 평가에 대한 신뢰도 점수로서 제공될 수 있다. 즉, 판독의가 해당 임상 분야에서 오랜 경력을 쌓은 전문가이면 그만큼 높은 평가 신뢰도 점수가 부여된다. 판독의의 경력연차, 판독의의 전공, 판독의의 전공의 여부, 해당 임상 분야에서의 경험 등이 고려되어 평가 신뢰도 점수가 산출될 수 있다.

컴퓨팅 시스템(100)은 내부의 인공지능 알고리듬에 의해 평가 스코어 산출 기준을 지속적으로 학습하며 내부 정해진 일정에 따라 업데이트할 수 있다. 프로세서는 하위 평가 항목인 복수의 의료 영상 판독 알고리듬들 각각에 대한 신뢰도 점수, 복수의 의료 영상 판독 알고리듬들 각각에 대한 정확도 점수, 및 복수의 의료 영상 판독 알고리듬들 각각에 대한 상기 사용자의 평가 신뢰도 점수 각각에 대하여 가중치를 부여하고, 복수의 판독 결과들 및 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 목표 요건에 따라 하위 평가 항목 각각의 가중치가 조정되도록 상기 하위 평가 항목 각각의 가중치를 업데이트할 수 있다.

목표 요건의 예시로는 각 알고리듬들에 대한 사용자의 신뢰도와 정확도의 상관관계가 일치하는 방향으로 조정하는 경우를 들 수 있다. 예를 들어, 동일한 정확도 점수를 가지는 제1 판독 알고리듬과 제2 판독 알고리듬에 대한 판독의의 신뢰도 점수가 상이할 수가 있다. 이때 판독의의 평가의 일반적인 오차를 제거한 후에도 일정한 경향으로 신뢰도 점수가 상이한 경우 제1 판독 알고리듬과 제2 판독 알고리듬에 대한 판독의들의 신뢰도는 상이한 것으로 인정할 수 있다. 예를 들어 제1 판독 알고리듬과 제2 판독 알고리듬이 전체 10개의 병변 의심 위치 중 9개의 위치에서 정확한 판독 결과를 생성하여 정확도 점수는 90/100 이 되었지만 중증도의 병변을 제1 판독 알고리듬만 정확하게 판독하고 제2 판독 알고리듬은 정확히 판독하지 못하였다면 판독의의 신뢰도가 상이한 이유가 설명될 것이다. 정확도와 신뢰도의 상관관계가 일치하도록 조정하는 수단으로는 각 하위 항목 별 가중치를 조정하거나, 정확도를 판정하는 대상 병변의 선별 기준을 세분화하는 수단이 있을 수 있다. 이 경우 진단된 병변의 경도/중증도, 병변의 의료 영상의 중심으로부터의 위치, 병변의 식별 난이도(뼈, 장기, 혈관이 복잡하게 혼재되어 있는 영역에서는 난이도가 높음) 등의 기준으로 병변을 구분하고, 각 영역에서 병변의 진단 정확도에 다른 가중치를 부여하는 방법이 있을 수 있다.

컴퓨팅 시스템(100)은 영상에 따라 적용 가능한 다수의 인공지능 알고리듬을 내부적으로 자동으로 할당할 수 있는 기능을 포함할 수 있다. 컴퓨팅 시스템(100)은 영상에 적용 가능한 인공지능 알고리듬을 판단하기 위해 추천 판독시스템 내부에 별도 영상 분류 인공지능 알고리듬에 의해 하나의 검사 또는 하나 이상의 영상을 분류한 후 다수의 인공지능 알고리듬을 적용할 수 있다.

프로세서는 의료 영상에 대한 영상 분할 결과, 의료 영상에 대한 임상적 요구사항, 및 의료 영상의 피검자의 정보에 기반하여 의료 영상에 대한 상기 판독 요건을 추출할 수 있다. 프로세서는 판독 요건에 대한 적합도, 또는 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어 중 적어도 하나 이상에 기반하여 의료 영상에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택할 수 있다. 즉, 임상의(clinician)로부터 판독의(radiologist)에 전달되는 의료 영상 획득의 요청, 요청에 수반되는 의심 질환의 내용, 임상의가 속한 부서, 의료 영상으로 촬영되는 부위(body part), 장기(organ) 등의 정보가 임상적 요구사항으로서 고려될 수 있다. 또한 각 인공지능 알고리듬이 규정하고 있는 진단의 목적, 진단의 대상에 대한 정보도 판독 적용 알고리듬을 선택할 때 고려되며, 의료 영상의 피검자의 성별, 연령, 질환의 중증도 등도 함께 고려될 수 있다.

컴퓨팅 시스템(100)은 영상 분석 기능과 평가 스코어 생성 기능을 연계, 같은 부위에 대한 같은 진단 목적(판독 요건)이라 하더라도 이를 세부적으로 세분화하여 추천 항목을 세분화할 수 있다. 예를 들어 특정 장기의 중심부의 진단에 강한 알고리듬, 특정 장기의 주변부의 진단에 강한 알고리듬, 뼈, 장기, 및 혈관이 복잡하게 혼재된 영역에 강한 알고리듬 등을 세분화하여 추천 가능한 시스템을 제공할 수 있다. 이러한 기능은 별도의 AI 알고리듬을 통하여 구현될 수도 있다.

프로세서는 의료 영상에 대한 영상 분할 결과, 및 의료 영상에 대한 영상 처리 결과에 기반하여 판독 요건 별로 장기(organ)의 종류, 병변의 위치, 장기와 병변 간의 상대적 위치 정보를 포함하는 판독 요건 별 세부 평가 항목을 생성하고, 판독 요건 별 세부 평가 항목 각각에 대하여 복수의 의료 영상 판독 알고리듬들 각각에 대한 평가 스코어를 생성할 수 있다.

컴퓨팅 시스템(100)은 영상 분석 결과를 기반으로 평가 스코어를 생성하는 기준 항목을 세분화할 수 있다. 예를 들어 전반적인 정확도가 높으면서도 신뢰도가 낮은 알고리듬은 전반적인 정확도는 높지만 특정 항목에 대한 정확도가 낮을 수 있다. 이 때에는 컴퓨팅 시스템(100)은 신뢰도에 주요한 영향을 미치는 판독 항목을 구체적으로 선별할 수도 있는데, 영상 분석 결과를 이용하여 평가 스코어를 생성하는 기준 항목을 고도화하고 세분화할 수 있다.

프로세서는 복수의 판독 결과들 및 복수의 판독 결과들에 대한 사용자의 피드백에 기반하여 복수의 의료 영상 판독 알고리듬들 각각에 대한 신뢰도 점수, 복수의 의료 영상 판독 알고리듬들 각각에 대한 정확도 점수, 및 복수의 의료 영상 판독 알고리듬들 각각에 대한 사용자의 평가 신뢰도 점수를 하위 평가 항목으로 생성할 수 있다. 프로세서는 판독 요건 별 세부 평가 항목과 하위 평가 항목 각각 간의 연관성에 기반하여 복수의 판독 적용 알고리듬들을 선택할 수 있다.

본 발명의 일 실시예에 따라서는 복수의 의료 영상 판독 알고리듬들이 인공 신경망을 이용한 것일 수 있다. 이때 평가 스코어 및 하위 평가 항목들을 각 판독 알고리듬에 대한 설명적 정보(descriptive information)로서 생성하고, 컴퓨팅 시스템(100)이 평가 스코어 및 하위 평가 항목들을 판독 알고리듬들의 생성 주체에게 피드백하여 판독 알고리듬의 개선에 이용되도록 정보를 제공할 수도 있다. 이 때 인공 신경망이 최근 연구되고 있는 관련성 스코어(relevance score) 및 신뢰도 레벨(confidence level) 등을 이용하는 인공 신경망인 경우, 평가 스코어 및 하위 평가 항목들을 인공 신경망의 relevance score 또는 confidence level 등과 연계하여 통계 분석이 이루어져 판독 알고리듬의 개선에 평가 스코어 및 하위 평가 항목들이 영향을 미칠 수 있다.

본 발명의 일 실시예에서는 적용 가능한 알고리듬이 컴퓨팅 시스템(100)에 의하여 선택된 후, 선택된 판독 적용 알고리듬들에 대한 정보가 의료진의 판독용 컴퓨팅 단말로 전달되고(S145), 의료진의 판독용 컴퓨팅 단말에서 의료 영상에 대한 인공지능 알고리듬(판독 적용 알고리듬들)이 실제로 적용될 수 있다(S120).

이때 복수의 판독 적용 알고리듬들이 실제로 적용되어 도출된 복수의 판독 결과들은 컴퓨팅 시스템(100)으로 전달되고(S150), 컴퓨팅 시스템(100)은 복수의 판독 결과들 각각을 복수의 판독 적용 알고리듬들 각각과 연계되어 컴퓨팅 시스템(100) 내의 메모리 또는 데이터베이스에 저장할 수 있다. 이때 의료진의 판독용 컴퓨팅 단말에서 의료진이 복수의 판독 결과들 또는 복수의 판독 적용 알고리듬들에 대하여 입력한 피드백 지표를 컴퓨팅 시스템으로 함께 피드백할 수 있다(S150). 피드백 지표는 평가 대상 각각, 즉, 복수의 판독 결과들 또는 복수의 판독 적용 알고리듬들 각각과 연계되어 컴퓨팅 시스템(100) 내의 메모리 또는 데이터베이스에 저장할 수 있다.

이러한 본 발명의 일 실시예는 종래 기술의 의료 영상 판독 시퀀스(S110, S120, S130)를 최대한 변형하지 않으면서 본 발명에 의하여 얻을 수 있는 이점을 제공하고자 설계된 실시예이다.

본 발명의 또 다른 일 실시예에서는 컴퓨팅 시스템(100)이 복수의 판독 적용 알고리듬들을 선택하고, 복수의 판독 적용 알고리듬들 각각을 의료 영상에 적용하여 복수의 판독 결과들을 생성하는 과정을 스스로 실행할 수 있다. 이 경우 컴퓨팅 시스템(100)은 선택된 판독 적용 알고리듬들에 대한 정보뿐만 아니라 판독 적용 알고리듬들에 기반한 복수의 판독 결과들을 의료진의 판독용 컴퓨팅 단말로 전달하고(S145), 의료진의 판독용 컴퓨팅 단말에서는 의료 영상에 대한 인공지능 알고리듬(판독 적용 알고리듬들)이 적용된 결과가 디스플레이될 수 있다(S120).

이때의 본 발명의 일 실시예는 의료진의 판독용 컴퓨팅 단말의 컴퓨팅 파워가 크지 않은 경우, 예를 들어 모바일 디바이스이거나 구형의 컴퓨팅 시스템일 때에도 본 발명에 의하여 얻을 수 있는 이점을 제공할 수 있다. 이때의 본 발명의 일 실시예는 의료 영상에 대한 인공지능 알고리듬을 적용하는 주체가 컴퓨팅 시스템(100)이고, 컴퓨팅 시스템(100)은 일종의 서버(server)로서 기능하며, 의료진의 판독용 컴퓨팅 단말은 씬 클라이언트(thin-client) 기반 시스템으로 동작할 수도 있다. 이 때의 본 발명의 일 실시예에서는 의료진의 판독용 컴퓨팅 단말에서 의료진이 복수의 판독 결과들 또는 복수의 판독 적용 알고리듬들에 대하여 입력한 피드백 지표를 컴퓨팅 시스템으로 피드백할 수 있다(S150). 피드백 지표는 평가 대상 각각, 즉, 복수의 판독 결과들 또는 복수의 판독 적용 알고리듬들 각각과 연계되어 컴퓨팅 시스템(100) 내의 메모리 또는 데이터베이스에 저장할 수 있다.

이상에서 설명한 바와 같이, 본 발명의 일 실시예에서 선택된 알고리듬이 적용되는 단계(S230)는 임상의의 판독 시스템에서 실행되어(S120) 복수의 판독 결과들이 컴퓨팅 시스템(100)으로 전달될 수도 있고(S150), 본 발명의 다른 일 실시예에서는 선택된 알고리듬이 적용되는 단계(S230)가 컴퓨팅 시스템(100) 내에서 전적으로 실행된 후, 임상의의 판독 시스템에서 그 결과가 디스플레이될 수도 있다(S145, S120).

도 3은 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)을 포함하는 워크플로우 전체를 도시하는 개념도이다.

내시경 장비(320)로부터 실시간 영상 획득 모듈(330)이 실시간 내시경 영상(350)을 획득한다. 실시간 영상 획득 모듈(330)은 실시간 내시경 영상(350)을 사용자 시스템(340) 및 진단 시스템(310)으로 전송한다. 진단 시스템(310)은 적어도 둘 이상의 인공 지능 알고리듬들(312, 314)을 포함하며, 실시간 내시경 영상(350)에 적어도 둘 이상의 인공 지능 알고리듬들(312, 314)을 적용하여 판독/진단 정보를 포함하는 디스플레이 정보(360)를 생성한다. 진단 시스템(310)은 디스플레이 정보(360)를 사용자 시스템(340)에 전달하고, 사용자 시스템(340)은 실시간 내시경 영상(350)에 디스플레이 정보(360)를 오버레이하거나, 실시간 내시경 영상(350)과 디스플레이 정보(360)를 함께 디스플레이할 수 있다.

도 3에서는 설명의 편의 상 진단 시스템(310)과 사용자 시스템(340)이 분리된 실시예가 도시되었으나, 본 발명의 다른 실시예에 따르면 진단 시스템(310)과 사용자 시스템(340)이 하나의 시스템 내에서 구현될 수도 있음은 당업자에게 자명하게 이해될 것이다.

도 4는 도 3의 의료 영상 판독 지원 장치(시스템)을 상세히 도시하는 도면이다.

실시간 내시경 영상(350)은 개별적인 영상 프레임으로 구분될 수 있다. 이때 내시경 영상 프레임(450)은 수신 모듈(430)에 의하여 수신되거나 입력될 수 있다.

진단 컴퓨팅 시스템(410)은 수신 모듈(430), 프로세서(420), 전송 모듈(440)을 포함한다. 프로세서(420)는 내부적으로 하드웨어 또는 소프트웨어에 의하여 기능이 구현되는 서브 모듈들을 포함한다. 프로세서(420)는 문맥 기반 판독 요건을 추출하는 제1 서브 모듈(422), 인공지능 판독 알고리듬들이 내시경 영상 프레임(450)에 적용되어 생성되는 판독/진단 결과들 중에서 표시될 인공지능 분석 결과들을 선정하는 제2 서브 모듈(424), 사용자 시스템(340)의 화면에 표시될 디스플레이 정보(360)를 생성하는 제3 서브 모듈(426)을 포함할 수 있다.

복수 개의 인공지능 판독 알고리듬들은 진단 컴퓨팅 시스템(410) 내부의 메모리 또는 데이터베이스(도시되지 않음)에 저장되어 프로세서(420)의 제어에 의하여 내시경 영상 프레임(450)에 적용되고, 내시경 영상 프레임(450)에 대한 판독/진단 결과를 생성할 수 있다.

도 4의 실시예에서는 복수 개의 인공지능 판독 알고리듬들이 진단 컴퓨팅 시스템(410) 내부의 메모리 또는 데이터베이스(도시되지 않음)에 저장되어 프로세서(420)의 제어에 의하여 구동되는 경우가 도시되었으나, 본 발명의 다른 실시예에 따라서는 복수 개의 인공지능 판독 알고리듬들이 진단 컴퓨팅 시스템(410) 외부의 메모리 또는 데이터베이스(도시되지 않음)에 저장될 수도 있다. 복수 개의 인공지능 판독 알고리듬들이 진단 컴퓨팅 시스템(410) 외부의 메모리 또는 데이터베이스(도시되지 않음)에 저장되는 경우에는, 복수 개의 인공지능 판독 알고리듬들이 내시경 영상 프레임(450)에 적용되고, 내시경 영상 프레임(450)에 대한 판독/진단 결과가 생성되도록 프로세서(420)가 전송 모듈(440)을 경유하여 진단 컴퓨팅 시스템(410) 외부의 메모리 또는 데이터베이스(도시되지 않음)을 제어할 수 있다. 이때 생성된 판독/진단 결과는 수신 모듈(430)을 통하여 진단 컴퓨팅 시스템(410)으로 전달되고, 프로세서(420)는 판독/진단 결과에 기반하여 디스플레이 정보(360)를 생성할 수 있다.

프로세서(420)는 의료 영상의 비디오 프레임인 내시경 영상 프레임(450)을 분석하여 내시경 영상 프레임(450)에 대한 판독 요건을 추출한다. 프로세서(420)는 판독 요건에 기반하여 복수의 의료 영상 판독 알고리듬들 중 내시경 영상 프레임(450)에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택하고, 프로세서(420)는 내시경 영상 프레임(450)에 상기 복수의 판독 적용 알고리듬들을 적용하여 내시경 영상 프레임(450)에 대한 판독 결과를 포함하는 디스플레이 정보(360)를 생성한다. 이러한 과정은 내시경 영상 프레임(450) 각각에 대하여 프로세서(420)에 의하여 실행된다.

프로세서(420)는 내시경 영상 프레임(450)을 분석하여 내시경 영상 프레임(450)의 특성에 대응하는 문맥 기반 판독 요건을 추출할 수 있다. 프로세서(420)는 문맥 기반 판독 요건에 기반하여 내시경 영상 프레임(450)에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택할 수 있다.

프로세서(420)는 문맥 기반 판독 요건에 기반하여 복수의 판독 적용 알고리듬들의 조합을 선택할 수 있다. 프로세서(420)는 내시경 영상 프레임(450)에 복수의 판독 적용 알고리듬들의 조합을 적용하여 내시경 영상 프레임(450)에 대한 판독 결과를 포함하는 디스플레이 정보(360)를 생성할 수 있다.

복수의 판독 적용 알고리듬들의 조합은, 문맥 기반 판독 요건에 기반하여 내시경 영상 프레임(450)에 대하여 우선적으로 추천되는 제1 판독 적용 알고리듬, 및 제1 판독 적용 알고리듬의 특성에 기반하여 문맥 기판 판독 요건 중 도출되는 보완 판독 요건에 기반하여 추천되는 제2 판독 적용 알고리듬을 포함할 수 있다.

문맥 기반 판독 요건은 내시경 영상 프레임(450)이 포함하는 인체의 바디 파트, 인체의 장기(organ), 내시경 영상 프레임(450)이 상기 인체의 장기 내에서 나타내는 상대적인 위치, 내시경 영상 프레임(450)과 관련되는 병변의 발생 확률, 내시경 영상 프레임(450)과 관련되는 병변의 위험도, 내시경 영상 프레임(450)과 관련되는 병변의 식별 난이도, 및 타겟 병변의 종류 중 적어도 하나 이상을 포함할 수 있다. 내시경 영상 프레임(450)이 어떤 장기에 대한 것인지 특정되면, 예를 들어, 내시경 영상 프레임(450)이 대장 내시경(colonoscopy) 영상에 관련되는 경우에는, 현재 영상 프레임에 표시되는 영상이 대장 내시경 영상의 시작 부분인지, 중간 부분인지, 끝 부분인지에 대한 정보가 대장 내에서의 상대적인 위치(장기의 입구, 중간, 끝 부분)와 함께 식별될 수 있다. 이에 따라서 식별된 위치 및 부위에서 발생할 가능성이 높은 병변/질환의 종류, 육안으로 식별이 쉽지 않아 의료진이 간과할 가능성이 높은 병변/질환의 종류, 현재 영상 프레임 내에서 시각적으로 식별하기 쉽지 않은 병변/질환에 대한 판독/진단 정보, 현재 영상 프레임이 가리키는 인체 장기 내에서의 위치에서 발생할 가능성이 있는 병변/질환 중 위험도/치사율이 높아 주의가 필요한 병변/질환의 종류 등에 기반하여 문맥 기반 판독 요건을 추출할 수 있다. 이때 문맥 기반 판독 요건은 위에서 기술한 정보에 기반하여 현재 영상 프레임에 관련하여 우선적으로 고려해야 하는 타겟 병변/질환의 종류에 대한 정보도 포함할 수 있다.

디스플레이 정보(360)는 내시경 영상 프레임(450), 내시경 영상 프레임(450) 상에 선택적으로 오버레이되는 판독 결과, 판독 결과를 생성한 판독 적용 알고리듬의 정보, 및 판독 적용 알고리듬에 대한 평가 스코어를 포함할 수 있다. 판독 적용 알고리듬에 대한 평가 스코어를 산출하는 과정은 앞서 설명한 도 1 내지 도 2의 실시예에서 평가 스코어를 산출하는 과정을 이용할 수 있다.

인공지능 판독 알고리듬은 평가 스코어가 높은 순서대로 판독 적용 시 우선 순위가 적용될 수 있지만, 몇 가지 추가적으로 고려할 변수가 존재한다.

1순위의 AI 알고리듬이 해당 내시경 영상에서 발생 가능한 병변의 일부만을 검출하고, 후순위의 AI 알고리듬이 1순위 알고리듬이 검출하지 못한 내용을 검출하고 있는 경우, 1순위 AI 알고리듬 진단 결과와 후순위의 AI 알고리듬 진단 결과를 함께 표시할 수 있다. 또한 사용자가 이러한 기준에 의하여 최종적인 판독 적용 AI 알고리듬을 선택할 수 있는 메뉴를 제공하되, 사용자의 선택을 도울 수 있도록 복수의 AI 알고리듬의 진단 결과 및 그 진단 결과를 함께 표시하는 이유에 대한 설명을 함께 디스플레이할 수 있다.

예를 들어, 현재 영상 프레임 내에서 발생할 가능성이 가장 높은 병변의 종류로서 병변 A1, A2가 알려져 있고, 발생할 가능성이 A1, A2보다는 낮지만 시각적으로 식별하기 어려워 간과될 가능성이 있는 병변 B가 알려져 있다고 가정한다. 병변 A1, A2에 대해서 가장 높은 평가 스코어를 획득한 인공지능 판독 알고리듬 X가 전체적으로 가장 높은 평가 스코어를 획득하고, 우선적으로 추천되는 제1 판독 적용 알고리듬으로 선택될 수 있다. 이때 제1 판독 적용 알고리듬이 병변 A1, A2에 대해서는 가장 높은 평가 스코어를 획득했지만, 병변 B에 대해서는 기준치 미만의 평가 스코어를 획득하는 경우가 있을 수 있다. 이때, 제1 판독 적용 알고리듬이 기준치 미만의 성능을 보이는 병변 B는 보완 판독 요건으로 지정될 수 있다. 제2 판독 적용 알고리듬은 보완 판독 요건인 병변 B에 대해서 가장 높은 평가 스코어를 획득한 인공지능 판독 알고리듬 Y로 선택될 수 있다. 제1 판독 적용 알고리듬과 제2 판독 적용 알고리듬의 조합은 전체적인 판독/진단 정보에 대한 신뢰성, 정확성 등의 평가 스코어가 높은 조합이면서도 특정 병변/질환에 대한 판독/진단 정보가 간과되거나, 특정 병변/질환에 대한 판독/진단 성능이 취약하지 않도록 선택될 수 있다. 따라서 제2 판독 적용 알고리듬은 전체적인 평가 스코어가 두루 높은 인공지능 판독 알고리듬보다는 제1 판독 적용 알고리듬이 취약한 보완 판독 요건에서 가장 우수한 성능을 보이는 인공지능 판독 알고리듬이 선택되도록 판독 적용 알고리듬을 선택하는 논리 조건이 설계될 수 있다.

위의 실시예에서 2개의 판독 적용 알고리듬들이 선택되는 경우를 예로 들었으나, 평가 스코어에 의하여 3개 이상의 판독 적용 알고리듬들의 조합이 더욱 우수한 성능을 나타내는 경우 3개 이상의 판독 적용 알고리듬들을 선택하여 적용하는 실시예도 본 출원명세서에 기재된 사항에 의하여 구현될 수 있을 것이다.

도 1 내지 도 2의 실시예는 내부적인 평가 스코어가 높은 AI 판독 알고리듬들이 적용된 판독 결과를 제시하고, 사용자가 평가 스코어 상위의 AI 판독 알고리듬들이 적용된 판독 결과를 선택할 수 있는 실시예이다. 한편, 도 3 내지 도 4의 실시예에서는 실시간 내시경 영상에 대하여 빠르게 판독 결과를 표시하고자 하는 목적에서 도출된 구성이 개시된다. 따라서 도 3 내지 도 4의 실시예에서는 문맥 기반 판독 요건에 기반하여 현재 비디오 프레임에 대하여 표시될 AI 판독 알고리듬들의 조합을 우선적으로 선택한 후, 이들 조합에 의한 판독 결과들을 디스플레이 정보로 생성하여 사용자에게 비디오 프레임과 함께 제공한다.

이때 현재 비디오 프레임에서 발생할 가능성이 높은 병변/질환의 종류, 현재 비디오 프레임에서 발생할 가능성이 높으나 시각적으로 식별하기 어려워서 의료진이 간과할 가능성이 높은 병변/질환의 종류, 및 현재 비디오 프레임에서 발생할 수 있는 병변/진단 중 위험도/치사율이 높아서 주의가 필요한 병변/질환의 종류 등이 문맥 기반 판독 요건에 포함될 수 있다. 또한 병변/질환의 종류 및 특성에 기반하여 현재 비디오 프레임에서 간과해서는 안 될 타겟 병변/질환의 종류, 및 타겟 병변/질환의 종류의 우선 순위가 문맥 기반 판독 요건에 포함될 수 있다.

본 발명의 판독/진단 결과 도출 및 디스플레이 정보(360)는 병원 내에서 사용될 경우 내시경 데이터를 전달받아 분석한 후, 인공지능 진단 보조 결과를 표시할 수 있는 사용자 인터페이스를 가지는 사용자 시스템(340)에 의하여 디스플레이되고, 사용자 입력에 기반하여 판독/진단 결과를 확정하거나, 판독/진단 결과를 교체하거나, 판독/진단 결과에 대한 수용 또는 거부를 결정할 수 있다.

프로세서(420)는 상기 디스플레이 정보(360)를 내시경 영상 프레임(450)에 연계하여 상기 데이터베이스에 저장할 수 있다. 이때 데이터베이스는 진단 컴퓨팅 시스템(410) 내부의 데이터베이스일 수 있으며, 향후 환자에 대한 의무 기록으로서 저장될 수 있다.

프로세서(420)는 상기 디스플레이 정보(360) 및 내시경 영상 프레임(450)이 연계된 외부 저장 데이터를 생성하고, 상기 외부 저장 데이터를 전송 모듈(440)을 경유하여 외부의 데이터베이스에 저장되도록 상기 외부의 데이터베이스로 전송할 수 있다. 이때 외부의 데이터베이스는 PACS 데이터베이스, 또는 클라우드 기반으로 구현된 데이터베이스일 수 있다.

이 때 복수의 의료 영상 판독 알고리듬들은 인공 신경망을 이용하는 인공 지능 알고리듬들이고, 프로세서(420)는 판독 요건/문맥 기반 판독 요건 각각에 따른 평가 스코어를 복수의 의료 영상 판독 알고리듬들 각각에 대한 설명적 정보(descriptive information)로서 생성할 수 있다.

본 발명의 다른 일 실시예에 의한 의료 영상 판독 지원 방법은, 의료 영상에 대한 판독을 지원하는 진단 컴퓨팅 시스템(410) 내의 프로세서(420)에 의하여 실행되며, 프로세서(420)에 로드되는 프로그램 인스트럭션에 기반하여 실행된다.

의료 영상 판독 지원 방법은 수신 모듈(430))이 의료 영상을 수신하거나 입력받는 단계; 프로세서(420)가 의료 영상의 내시경 영상 프레임(450)을 분석하여 의료 영상에 대한 판독 요건을 추출하는 단계(422); 프로세서(420)가 판독 요건에 기반하여, 진단 컴퓨팅 시스템(410) 내의 메모리 또는 데이터베이스에 저장되며 의료 영상에 대한 판독 기능을 가지는 복수의 의료 영상 판독 알고리듬들 중 내시경 영상 프레임(450)에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택하는 단계(424); 및 프로세서(420)가 내시경 영상 프레임(450)에 복수의 판독 적용 알고리듬들을 적용하여 내시경 영상 프레임(450)에 대한 판독 결과를 포함하는 디스플레이 정보(360)를 생성하는 단계(426);를 포함한다.

도 5는 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)을 포함하는 워크플로우를 도시하는 개념도이다.

진단 시스템(510)은 내부적으로 적어도 둘 이상의 인공 지능 진단 알고리듬들(512, 514)을 포함할 수 있다. 3개 이상의 내시경 장비에서 내시경 영상 데이터가 진단 시스템(510)으로 전달된다. 진단 시스템(510)은 내시경 영상 데이터 각각의 프레임마다 적어도 둘 이상의 인공 지능 진단 알고리듬들(512, 514)을 적용하여 판독/진단 결과를 생성한다. 진단 시스템(510)은 내시경 영상 데이터 각각의 프레임마다 판독/진단 결과를 연계하여 디스플레이 정보를 생성한다. 이때 디스플레이 정보는 내시경 영상 데이터가 생성된 병원의 식별 정보(병원 A)를 포함하여 생성될 수 있다. 또한 디스플레이 정보는 각 병원의 내시경 장비마다 주어지는 식별 정보(내시경 1, 내시경 2, 내시경 3)를 포함하여 생성될 수 있다.

도 6은 본 발명의 일 실시예에 따른 의료 영상 판독 지원 장치(시스템)을 포함하는 워크플로우를 도시하는 개념도이다.

도 5의 진단 시스템(510)은 생성된 디스플레이 정보를 클라우드 기반 데이터베이스에 전송하고, 클라우드 기반 데이터베이스에는 내시경 영상 데이터가 생성된 내시경 장비, 및 생성된 병원이 식별되어 내시경 영상 데이터 및 디스플레이 정보가 저장된다. 디스플레이 정보는 내시경 영상 데이터 각각의 프레임마다 판독/진단 정보가 연계되어 생성되고 저장된다. 내시경 영상 데이터 각각의 프레임마다 생성되는 판독/진단 정보는 도 1 내지 도 4의 실시예에서 설명된 것처럼 평가 스코어 및 문맥 기반 판독 요건에 기반하여 자동으로 생성될 수 있다.

클라우드 환경에서 본 발명이 적용될 경우, 무선 통신망으로 연결된 장비를 이용하여 내시경 영상 데이터 및 판독/진단 결과를 병원 측의 사용자 시스템에서 수신하고, 인공지능 진단 보조 결과를 사용자 시스템 상에서 디스플레이할 수 있다.

클라우드 데이터베이스에 저장된 디스플레이 정보는, 환자가 지정한 병원에 제공될 수 있으며, 환자는 자신이 접근하기 편리한 병원에서 자신의 내시경 영상 데이터 및 판독/진단 정보를 수신하고, 해당 병원에서 의사의 판독/진단 결과에 대한 해석 및 후속 진단을 받을 수 있다.

본 발명의 일 실시예에 따른 의료 영상의 판독을 지원하는 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다. 본 발명의 실시예와 도면에 소개된 길이, 높이, 크기, 폭 등은 이해를 돕기 위해 과장된 것일 수 있다.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

100: 추천 판독을 지원하는 컴퓨팅 시스템
170: 평가 스코어(I-Score)
310, 410, 510: 진단 컴퓨팅 시스템
320: 내시경 장비
420: 프로세서
430: 수신 모듈
440: 전송 모듈

Claims (13)

1. 의료 영상에 대한 판독을 지원하는 판독 지원 장치로서, 상기 판독 지원 장치는 컴퓨팅 시스템을 포함하고,
   상기 컴퓨팅 시스템은
   상기 의료 영상을 수신하거나 입력받는 수신 모듈;
   의료 영상에 대한 판독 기능을 가지는 복수의 의료 영상 판독 알고리듬들을 저장하는 메모리 또는 데이터베이스; 및
   프로세서;
   를 포함하고,
   상기 의료 영상은 내시경에 의하여 얻어지는 영상이고,
   상기 프로세서는 상기 의료 영상의 개별적인 비디오 프레임을 분석하여 상기 의료 영상 내에 나타나는 장기(organ) 및 병변 중 적어도 하나 이상과 관련된 상기 의료 영상 상의 특징에 기반하여 상기 의료 영상에 대한 판독 요건을 추출하되 상기 개별적인 비디오 프레임의 특성에 대응하는 문맥 기반 판독 요건을 추출하고,
   상기 문맥 기반 판독 요건은 상기 내시경에 의하여 얻어지는 상기 비디오 프레임이 상기 인체의 장기 내에서 나타내는 상대적인 위치, 상기 비디오 프레임과 관련되는 병변의 발생 확률, 상기 비디오 프레임과 관련되는 병변의 위험도, 상기 비디오 프레임과 관련되는 병변의 식별 난이도, 및 타겟 병변의 종류 중 적어도 하나 이상을 포함하고,
   상기 프로세서는 상기 판독 요건에 기반하여 상기 복수의 의료 영상 판독 알고리듬들 중 상기 비디오 프레임에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택하고,
   상기 프로세서는 상기 비디오 프레임에 상기 복수의 판독 적용 알고리듬들을 적용하여 상기 비디오 프레임에 대한 판독 결과를 포함하는 디스플레이 정보를 생성하는 의료 영상 판독 지원 장치.
2. 제1항에 있어서,
   상기 프로세서는 상기 문맥 기반 판독 요건에 기반하여 상기 비디오 프레임에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택하는 의료 영상 판독 지원 장치.
3. 제2항에 있어서,
   상기 프로세서는 상기 문맥 기반 판독 요건에 기반하여 상기 복수의 판독 적용 알고리듬들의 조합을 선택하고,
   상기 프로세서는 상기 비디오 프레임에 상기 복수의 판독 적용 알고리듬들의 조합을 적용하여 상기 비디오 프레임에 대한 판독 결과를 포함하는 디스플레이 정보를 생성하는 의료 영상 판독 지원 장치.
4. 제3항에 있어서,
   상기 복수의 판독 적용 알고리듬들의 조합은, 상기 문맥 기반 판독 요건에 기반하여 상기 비디오 프레임에 대하여 우선적으로 추천되는 제1 판독 적용 알고리듬, 및 상기 제1 판독 적용 알고리듬의 특성에 기반하여 상기 문맥 기반 판독 요건 중 도출되는 보완 판독 요건에 기반하여 추천되는 제2 판독 적용 알고리듬을 포함하는 의료 영상 판독 지원 장치.
5. 삭제
6. 제1항에 있어서,
   상기 디스플레이 정보는
   상기 비디오 프레임, 상기 비디오 프레임 상에 선택적으로 오버레이되는 상기 판독 결과, 상기 판독 결과를 생성한 판독 적용 알고리듬의 정보, 및 상기 판독 적용 알고리듬에 대한 평가 스코어를 포함하는 의료 영상 판독 지원 장치.
7. 제1항에 있어서,
   상기 프로세서는 상기 디스플레이 정보를 상기 비디오 프레임에 연계하여 상기 데이터베이스에 저장하는 의료 영상 판독 지원 장치.
8. 제1항에 있어서,
   상기 프로세서는 상기 디스플레이 정보 및 상기 비디오 프레임이 연계된 외부 저장 데이터를 생성하고, 상기 외부 저장 데이터를 전송 모듈을 경유하여 외부의 데이터베이스에 저장되도록 상기 외부의 데이터베이스로 전송하는 의료 영상 판독 지원 장치.
9. 의료 영상에 대한 판독을 지원하는 컴퓨팅 시스템 내의 프로세서에 의하여 실행되며, 상기 프로세서에 로드되는 프로그램 인스트럭션에 기반하여 실행되는 의료 영상 판독 지원 방법으로서,
   수신 모듈이 의료 영상을 수신하거나 입력받는 단계;
   상기 의료 영상은 내시경에 의하여 얻어지는 영상이고, 상기 프로세서가 상기 의료 영상의 개별적인 비디오 프레임을 분석하여 상기 의료 영상 내에 나타나는 장기(organ) 및 병변 중 적어도 하나 이상과 관련된 상기 의료 영상 상의 특징에 기반하여 상기 의료 영상에 대한 판독 요건을 추출하되 상기 개별적인 비디오 프레임의 특성에 대응하는 문맥 기반 판독 요건을 추출하는 단계;
   상기 프로세서가 상기 판독 요건에 기반하여, 상기 컴퓨팅 시스템 내의 메모리 또는 데이터베이스에 저장되며 상기 의료 영상에 대한 판독 기능을 가지는 복수의 의료 영상 판독 알고리듬들 중 상기 비디오 프레임에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택하는 단계; 및
   상기 프로세서가 상기 비디오 프레임에 상기 복수의 판독 적용 알고리듬들을 적용하여 상기 비디오 프레임에 대한 판독 결과를 포함하는 디스플레이 정보를 생성하는 단계;
   를 포함하고,
   상기 문맥 기반 판독 요건은 상기 내시경에 의하여 얻어지는 상기 비디오 프레임이 상기 인체의 장기 내에서 나타내는 상대적인 위치, 상기 비디오 프레임과 관련되는 병변의 발생 확률, 상기 비디오 프레임과 관련되는 병변의 위험도, 상기 비디오 프레임과 관련되는 병변의 식별 난이도, 및 타겟 병변의 종류 중 적어도 하나 이상을 포함하는 의료 영상 판독 지원 방법.
10. 제9항에 있어서,
    상기 프로세서가 상기 복수의 판독 적용 알고리듬들을 선택하는 단계는
    상기 프로세서는 상기 문맥 기반 판독 요건에 기반하여 상기 비디오 프레임에 대한 판독을 실행할 복수의 판독 적용 알고리듬들을 선택하는 의료 영상 판독 지원 방법.
11. 제10항에 있어서,
    상기 프로세서가 상기 복수의 판독 적용 알고리듬들을 선택하는 단계는
    상기 프로세서가 상기 문맥 기반 판독 요건에 기반하여 상기 비디오 프레임에 대하여 우선적으로 추천되는 제1 판독 적용 알고리듬, 및 상기 제1 판독 적용 알고리듬의 특성에 기반하여 상기 문맥 기반 판독 요건 중 도출되는 보완 판독 요건에 기반하여 추천되는 제2 판독 적용 알고리듬을 포함하는 상기 복수의 판독 적용 알고리듬들의 조합을 선택하고,
    상기 프로세서가 상기 디스플레이 정보를 생성하는 단계는
    상기 프로세서가 상기 비디오 프레임에 상기 복수의 판독 적용 알고리듬들의 조합을 적용하여 상기 비디오 프레임에 대한 판독 결과를 포함하는 디스플레이 정보를 생성하는 의료 영상 판독 지원 방법.
12. 제9항에 있어서,
    상기 프로세서가 상기 디스플레이 정보를 생성하는 단계 이후에, 상기 프로세서가 상기 디스플레이 정보를 상기 비디오 프레임에 연계하여 상기 데이터베이스에 저장하는 단계;
    를 더 포함하는 의료 영상 판독 지원 방법.
13. 제9항에 있어서,
    상기 프로세서가 상기 디스플레이 정보를 생성하는 단계 이후에, 상기 프로세서는 상기 디스플레이 정보 및 상기 비디오 프레임이 연계된 외부 저장 데이터를 생성하는 단계; 및
    상기 프로세서가 상기 외부 저장 데이터를 전송 모듈을 경유하여 외부의 데이터베이스에 저장되도록 상기 외부의 데이터베이스로 전송하는 단계;
    를 더 포함하는 의료 영상 판독 지원 방법.

Images