JP2021522923A - スタイル転送画像強調を備える超音波イメージングシステム - Google Patents

スタイル転送画像強調を備える超音波イメージングシステム Download PDF

Info

Publication number
JP2021522923A
JP2021522923A JP2020562765A JP2020562765A JP2021522923A JP 2021522923 A JP2021522923 A JP 2021522923A JP 2020562765 A JP2020562765 A JP 2020562765A JP 2020562765 A JP2020562765 A JP 2020562765A JP 2021522923 A JP2021522923 A JP 2021522923A
Authority
JP
Japan
Prior art keywords
style
processor
image
imaging system
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020562765A
Other languages
English (en)
Other versions
JP7474707B2 (ja
Inventor
ダヴィン ダット
ダヴィン ダット
Original Assignee
フジフイルム ソノサイト インコーポレイテッド
フジフイルム ソノサイト インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フジフイルム ソノサイト インコーポレイテッド, フジフイルム ソノサイト インコーポレイテッド filed Critical フジフイルム ソノサイト インコーポレイテッド
Publication of JP2021522923A publication Critical patent/JP2021522923A/ja
Application granted granted Critical
Publication of JP7474707B2 publication Critical patent/JP7474707B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/52073—Production of cursor lines, markers or indicia by electronic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8911—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a single transducer for transmission and reception
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52046—Techniques for image enhancement involving transmitter or receiver
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52079—Constructional features
    • G01S7/52084—Constructional features related to particular user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5269—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving detection or reduction of artifacts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Acoustics & Sound (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Data Mining & Analysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Epidemiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

超音波イメージングシステムは選択されたスタイルを超音波画像のコンテンツに適用することにより超音波画像の表示を強調する。スタイルは組織タイプ等の特定の解剖学的特徴の解剖図であってもよく、または組織を良好に示す以前に取得された超音波画像のスタイルであってもよい。他のイメージングモードのスタイルもまた適用することができる。いくつかの実施形態では、超音波イメージングシステムのトレーニングモードはキャプチャされた超音波画像データの出現を強調するためにスタイル転送技術を実施する。
【選択図】図１

Description

本開示技術は超音波イメージングシステムに関し、特には、超音波画像特徴の出現を強調するためのシステムに関する。
超音波イメージングはその比較的低いコストおよび非電離放射線に起因して、イメージングモダリティにおいてますます使用されるようになっている。超音波イメージングを用いて、トランスデューサは超音波を関心領域に向け、対応するエコー信号を受信する。イメージングシステム内の信号処理回路はトランジスタ素子により生成される電子エコー信号を組み合わせ、その振幅、移相、パワー、高調波成分等の組み合わせられた信号の特性またはユーザに表示するための画像画素データに定量化される他の特性の表示を生成する。
超音波画像はしばしば画像内に出現するが組織構造を表さないスペックルまたは多重反射アーチファクトを含む可能性がある。加えて、超音波が光学イメージングモダリティでないため、超音波画像内に組織構造がどのように出現するかを学ぶための所定のレベルのトレーニングが必要になる。本明細書で開示される技術は超音波画像内の組織構造の出現を改善するシステムに関する。
上述の課題および他に対処するため、本開示技術は関心領域内の組織の画像を生成する超音波イメージングシステムに関する。イメージングシステム内のプロセッサは画像内の組織または他の解剖学的特徴がより容易に認識されるスタイルで超音波画像を表示するように構成される。一実施形態では、超音波画像データは選択されたスタイルで画像用のデータを生成するようにトレーニングされたニューラルネットワークにより処理される。いくつかの実施形態では、超音波システムは二以上の訓練されたニューラルネットワークを格納し、各ニューラルネットワークは入力超音波画像に特定のスタイルを適用するように訓練される。プロセッサは超音波画像に適用されるスタイルに対応するニューラルネットワークを選択する。
超音波画像に適用されるスタイルは、例えば、解剖図のスタイル、特定のタイプの生体構造または解剖学的特徴の写真のスタイル、別のタイプのイメージングモダリティ（例えば、ＭＲＩ、ＣＴスキャン）のスタイルまたは以前に取得した超音波画像のスタイルに対応することができる。超音波画像に適用される特定のスタイルは例えばユーザにより、実行される検査のタイプにより、超音波システムのイメージングモードにより、または使用されるトランスデューサのタイプにより、いくつかの方法で選択されることができる。
本開示技術を実施するための代表的な超音波イメージングシステムを示す。 人間の腎臓の代表的な超音波画像を示す。 Ｇｒａｙ’ｓ ａｎａｔｏｍｙより、腎臓の画像を示す。 本開示技術の一実施形態による、選択されたスタイルを超音波画像に適用するためにニューラルネットワークを訓練するためのシステムのブロックダイアグラムである。 本開示技術のある実施形態による、選択されたスタイルを超音波画像に適用するためのシステムのブロックダイアグラムである。
超音波画像における組織、臓器、血液または同様のもの等の特徴の出現を改善するために、本開示技術の超音波イメージングシステムは選択されたスタイルを異なるスタイルで超音波画像に適用するため、およびユーザにスタイルが転送された画像を表示するために一または二以上のプロセッサを使用する。図１は手持ち式、ポータブルまたはカートベースのイメージングシステムであり得る代表的な超音波イメージングシステム１０を示している。システム１０は超音波エネルギーを生成し、エネルギーを関心領域に向け、対応する反射されたエコー信号を受信するトランスデューサ１２を含む。トランスデューサ１２は、エコー信号の受信した音響エネルギーを、アナログ−デジタルコンバータ、増幅用回路、フィルタリング、ビーム形成およびデジタル信号処理を含むが、これらに限定されない、トランスデューサまたはイメージングシステム１０内の回路により処理される対応する電気信号に変換する。画像処理回路は処理された超音波信号を一または二以上のビデオモニタ１４に表示することのできる画素データに変換する。超音波システム１０はユーザがボタン、ノブ、キーボード、キーパッド、トラックボール、トラックパッド、タッチウィール、タッチスクリーン等の、イメージングシステムと相互作用し、使用することのできるいくつかの制御部も含む。
超音波画像内の組織、液体（例えば、血液）または臓器等の解剖学的特徴を認識する経験の浅い超音波ユーザの能力を改善するために、本開示技術は超音波データが表示されるスタイルを変更することによりこのような特徴の出現を強調する。以下の説明は超音波画像内の臓器の出現を改善することを主に目的としているが、本開示技術は全てのこれらの解剖学的特徴のタイプに使用することができることを理解されたい。一実施形態では、ユーザは表示させるために彼らが超音波画像に適用したいいくつかの異なるスタイルのうち一つを選択することができる。超音波イメージングシステム内の一または二以上のプロセッサ（例えば、ＣＰＵ、ＧＰＵ、ＤＳＰもしくはそれらの組合せ）または予め構成された論理回路（例えば、ＦＰＧＡ、ＡＳＩＣ等）は入力超音波画像データに選択されたスタイルを適用する訓練されたニューラルネットワークに関心領域の超音波画像データを提供する。入力超音波画像のコンテンツを選択されたスタイルとブレンドする画像がユーザに表示され、そのため超音波画像内の特徴はより認識できるようになる。ユーザはスタイルがブレンドされた画像、当初の超音波画像、またはその両方をビデオモニタ上で見ることができる。スタイルがブレンドされた画像は修正されていない超音波画像と共に格納されるか、または有線または無線通信リンクを介してリモートコンピュータシステムに送信されることができる。
図２Ａは、人間の腎臓の代表的な超音波画像を示している。経験の浅い超音波技術者には、この画像が腎臓組織であると直ちに認識できないことがある。図２Ｂは、１９１８年版のＧｒａｙ’ｓ Ａｎａｔｏｍｙより、腎臓の古典的な画像を示している。超音波画像内の組織または他の特徴（例えば、血液、骨、靭帯等）の出現を改善するために、本開示技術の超音波イメージングシステムは、より従来的な解剖図のスタイルまたは別のスタイルで超音波画像データを表示するようにプログラムまたは構成された一または二以上のプロセッサを含む。例えば、超音波イメージングシステムのプロセッサはスタイルブレンドのために訓練されたニューラルネットワークを使用して古典的なＧｒａｙ’ｓ Ａｎａｔｏｍｙスタイルで図２Ａに示される超音波画像を表示するようにプログラムされる。一実施形態では、スタイルブレンド操作は超音波画像内の組織の出現を改善するためにトレーニングモードにおいて使用することができる。スタイルブレンド特徴はオンおよびオフすることができ、そのため超音波イメージングシステムのオペレータはスタイルブレンド強調の有無によらず超音波画像データを見ることができる。
図３は異なるスタイルを画像に適用することにより超音波画像の出現を強調するようにニューラルネットワークを訓練するためのシステム１００の一実施形態のブロックダイアグラムを示している。示されている実施形態では、システム１００は超音波画像を受信する。典型的に、超音波画像はＢモード画像であるが、ドップラー画像、Ｍモード画像、カラーフロー画像等の他のモダリティにおける画像である可能性がある。本明細書において説明されるように、超音波画像は超音波コンテンツ画像１０４と呼ばれる。スタイル画像１０６はそのスタイルがコンテンツ画像１０４とブレンドされるかまたはコンテンツ画像１０４を表示するためのガイドを使用する必要のある画像である。従来のニューラルネットワーク（例えば、ＶＧＧまたは類似の利用可能なニューラルネットワーク）のようなニューラルネットワーク１１０は、スタイル画像１０６のスタイルでターゲット画像１１２を生成するがコンテンツ画像１０４のコンテンツを保持するように訓練される。いくつかの実施形態では、ニューラルネットワーク１１０を訓練する一または二以上のプロセッサはニューラルネットワーク１１０により使用されるいくつかの係数、重量およびバイアス値の関数として、ターゲット画像１１２とコンテンツ画像１０４との間のコンテンツの差およびターゲット画像１１２とスタイル画像１０６との間のスタイルの差を定量化する損失関数１２０を計算する。プロセッサはニューラルネットワーク１１０にフィードバックされる係数、重量およびバイアス値への変化を計算する最急降下法等の最適化アルゴリズムを実行し、そのためコンテンツおよびスタイルの差の両方が教えられる。このプロセスはエラーが最小化されるまで、または所定の反復回数になるまで継続する。
一実施形態では、ユーザはニューラルネットワーク１１０を訓練するために使用される彼ら独自のスタイル画像を提供することが可能である。いくつかの実施形態では、スタイル画像は図２Ｂに示されるＧｒａｙ’ｓ Ａｎａｔｏｍｙ画像のような特定のスタイルの解剖学的画像である。しかしながら、例えば医学書から組織の他の周知の描写を使用することができる。腎臓の写真等の生体構造の写真は腎臓写真のスタイルで超音波画像を表示するためのニューラルネットワークを訓練するために使用することができる。あるいは、他のイメージングモダリティを用いて取得された画像はＭＲＩまたはＣＴスキャン画像等に使用することができる。このような画像は超音波コンテンツ画像１０４においてキャプチャされる同一タイプの組織または解剖学的特徴であってもなくてもよい。一実施形態では、スタイル画像１０６は検査されている組織または解剖学的特徴のタイプの良好な表現であると判断された別の超音波画像で有り得る。このような指定は熟練した超音波検査者によりなされてもよく、またはユーザが好むスタイルを有するユーザにより以前にキャプチャされた超音波画像でもよい。
典型的に、ニューラルネットワーク１１０は超音波イメージングシステム上で利用可能であるよりも多くの処理能力を有するコンピュータシステム上で遠隔で訓練される。しかしながら、超音波イメージングシステム上の処理能力がニューラルネットワークを訓練するために十分にパワフルである場合、次にニューラルネットワークはローカルで訓練される。プロセッサは超音波画像処理回路からコンテンツ画像を受信し、リモートコンピュータシステムからダウンロードされ得るか、またはメモリに予め格納され得る選択されたスタイル画像のスタイルを適用するためにニューラルネットワークを訓練する。多くの実施形態では、システムはコンテンツ画像として多数の超音波画像上でシステムを訓練することおよび一つの特定のスタイルの画像を使用することにより、供給されたコンテンツ画像に特定のスタイルを適用するために予め訓練される。このトレーニングはニューラルネットワークがリアルタイムスタイル転送を達成するためにニューラルネットワークの単一のフォワードパスで訓練されたスタイルを（訓練されていない）新しい超音波画像に転送することを可能にする。他の実施形態では、本システムは単一のコンテンツ画像およびスタイル画像から直ちに訓練される。
ニューラルネットワーク１１０が選択されたスタイルでターゲット画像を作成するために入力画像にスタイルを適用するように訓練されると、トレーニングプロセスの間に決定された係数、重量およびバイアス値は超音波システムのメモリにローカルに格納され、ネットワークが超音波画像を入力するように訓練されるスタイルを適用するように訓練されたニューラルネットワークを実施するために超音波イメージングシステムのプロセッサにより使用される。
いくつかの実施形態では、超音波イメージングシステムはいくつかの異なるニューラルネットワークの係数、重量およびバイアス値を格納し、その各々は超音波画像に異なるスタイルを適用するように訓練される。図４に示されるように、画像処理回路１３０は関心領域の超音波画像用のデータを生成する。超音波画像用のデータはコンテンツ画像１３４としていくつかの予め訓練されたニューラルネットワークのうち一つに対する入力として供給される。示されている実施形態では、イメージングシステムは供給されたコンテンツ画像１３４に異なるスタイルを適用するように訓練された四つの訓練されたニューラルネットワーク１４０、１４２、１４４、１４６を実施するように構成される。例えば、一つのニューラルネットワーク１３０はＧｒａｙ’ｓ Ａｎａｔｏｍｙ（ペンおよびインクの図）のスタイルで訓練され得る一方、別のニューラルネットワークは周知の医学書からの解剖学的画像のスタイルまたは実際の臓器組織の写真のスタイルで訓練され得る。一または二以上のニューラルネットワークはＭＲＩまたはＣＴスキャン等の別のイメージングモダリティを用いて取得された画像のスタイルを適用するように訓練することができる。同様に、ニューラルネットワークは超音波検査者または他の熟練者により臓器組織等の解剖学的特徴の良好な表現であると判断された超音波画像のスタイルで訓練され得る。このような超音波画像は最小限のスペックルまたは他のアーチファクトが欠如している可能性があり、または良好な組織のコントラスト等を有している可能性がある。
一実施形態では、各ニューラルネットワークは彼らが超音波画像に適用したいスタイルに対応するスタイル画像を適用および選択するように訓練されるスタイルを代表する画像を見る。プロセッサは次に選択されたスタイル画像に関連付けられた対応する訓練されたニューラルネットワークを選択する。別の実施形態では、選択されたスタイル（および対応するニューラルネットワーク）は超音波イメージングシステムの動作モードに基づき得る。例えば、トレーニングモードで使用される場合、スタイルおよび対応する訓練されたニューラルネットワークは生体構造のカラーイラストを模倣するように選択される。別の実施形態では、選択されたスタイルは実行されている検査のタイプまたは使用されているイメージングプローブのタイプに基づく。例えば、超音波イメージングシステム上のＯＢ／ＧＹＭ検査用の設定はプロセッサにより読み取られ、胎児組織の見え方を強調するスタイルを選択するために使用される。あるいは、ＯＢ／ＧＹＭイメージングプローブが患者の検査のために使用されている場合、次にプロセッサはこのようなイメージングプローブを用いて実行される検査のタイプに適切なスタイルを選択し得る。
他の実施形態では、患者の過去の検査履歴は適用されるスタイルのタイプを選択するために使用される。例えば、超音波イメージングシステム内のプロセッサは患者が受信した先の検査のタイプを決定するために電子患者記録システムに有線または無線通信リンクを介してメッセージを送信するようにプログラムされる。患者がＭＲＩを有した場合、次にＭＲＩスタイルが超音波コンテンツ画像に適用されるように選択される。患者が先のＣＴスキャンを有した場合、次にＣＴスキャンスタイルを適用することができる、等である。
超音波コンテンツ画像に適用されるスタイルが決定されると、プロセッサはターゲット画像１５０を生成する対応する訓練されたニューラルネットワークへの入力として超音波コンテンツ画像１３４を提供し、コンテンツ画像１４０のコンテンツを選択されたスタイルに組み合わせる。ターゲット画像１５０はディスプレイ１６０（例えば、一または二以上のビデオモニタ）に画像を表示するディスプレイ回路１５６に提供される。ターゲット画像１５０はメモリに保存され、印刷され、または有線または無線通信リンクを介してリモートコンピュータシステムに送信されることもできる。コンテンツ画像１３４およびターゲット画像１５０は同時に（例えば、並べて）または交互に表示することができる。
スタイル転送特徴は常に使用されるわけではなく、プロセッサは修正を用いることなくディスプレイ用のディスプレイ回路１５６に超音波コンテンツ画像１３４を提供することができる。ユーザはスタイル転送特徴を望み通りにオンおよびオフすることができる。いくつかの実施形態では、プロセッサにより実行されるオンボードトレーニングソフトウェアはスタイル転送特徴を用い、ユーザがトレーニングソフトウェアを使用しない時はオフにする。
理解されるように、超音波コンテンツ画像１３４はビデオモニタに表示するために準備している画像データ（例えば、画素データ）であり得る。あるいは、超音波コンテンツ画像は予めスキャンされ変換されたデータでもよく、または生のＲＦ超音波データでもよい。したがって、本明細書で使用されるように、ニューラルネットワークに適用される「超音波画像」という用語は、表示されるために準備されている形態の画素データだけでなく患者（人間または動物）から受信した任意の超音波データを指すことを意図している。
いくつかの実施形態では、スタイル転送プロセスは超音波コンテンツ画像の一部にのみ
適用される。いくつかの実施形態では、コンテンツ画像は画像内の生体構造または特定の臓器または他の解剖学的特徴のタイプを識別するように訓練されたニューラルネットワーク（図示されていない）に提供される。画像の部分はニューラルネットワークにより分割され、選択されたスタイルは分割された部分に適用される。例えば、超音波画像内で肝臓組織が識別された場合、肝臓組織を含む画像のセクションは分割され、肝臓組織の出現を強調するために選択されたスタイルは分割された部分に適用される。画像内で血管（例えば、動脈、静脈）が識別された場合、次に画像のその部分は分割されてもよく、同一または異なるスタイルは血管等における血液の出現を強調するために画像のそのセグメントに適用されてもよい。この実施形態では、二以上の異なるスタイルは画像の異なるセグメントに適用され得る。
いくつかの実施形態では、プロセッサは超音波コンテンツ画像に適用されるスタイルの量を調整し得る。例えば、ユーザまたはソフトウェアはコンテンツ画像を備えるスタイル画像のスタイルの全てよりも少なくブレンドするように選択し得る。このような低減は訓練されたニューラルネットワークにおいて使用される重量、係数およびバイアス値を調整することにより実行され得る。他の実施形態では、別々のニューラルネットワークは任意の所与のスタイル画像のための異なる強度のスタイル転送で訓練され得る。
上記で開示された実施形態は超音波イメージングシステム上で訓練されたニューラルネットワークを実行するが、ニューラルネットワークはリモートコンピュータシステム（例えば、クラウドコンピュータ）上で実施されることができることを理解されたい。この実施形態では、超音波イメージングシステム内のプロセッサは有線または無線通信リンクを介して超音波イメージングシステムからリモートコンピュータシステムにコンテンツ画像（および複数のスタイルが利用可能な場合にどのスタイルを適用するかについての表示）を送信し、表示するためにリモートコンピュータから選択されたスタイルのターゲット画像を受信するようにプログラムされる。
ニューラルネットワーク（１１０、１４０−１４６）の機能に関するさらなる詳細は、（１）Ｇａｔｙｓ, Ｌ.Ａ., Ｅｃｋｅｒ, Ａ.Ｓ., Ｂｅｔｈｇｅ, Ｍ.らによるＡ ｎｅｕｒａｌ ａｌｇｏｒｉｔｈｍ ｏｆ ａｒｔｉｓｔｉｃ ｓｔｙｌｅ（２０１５）および（２）Ｊｏｈｎｓｏｎ, Ｊ., Ａｌａｈｉ, Ａ., Ｌｉ, Ｆ.らによるＰｅｒｃｅｐｔｕａｌ Ｌｏｓｓｅｓ ｆｏｒ Ｒｅａｌ−Ｔｉｍｅ Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒ ａｎｄ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ（２０１６）で見つけることができ、これらはその全体が参照により本明細書に組み入れられる。
本明細書に記載の主題の実施形態および動作は、本明細書で開示される構造およびそれらの構造等価物を含むデジタル電子回路、もしくはコンピュータソフトウェア、ファームウェア、もしくはハードウェアにおいて、またはそれらのうち一または二以上の組合せにおいて、実施することができる。本明細書に記載の主題の実施形態は、一または二以上のコンピュータプログラム、すなわち、データ処理装置により実行するためにコンピュータストレージ媒体上でエンコードされた、またはその動作を制御するためのコンピュータプログラム命令の一または二以上のモジュールとして実施することができる。
コンピュータストレージ媒体は、コンピュータ可読ストレージデバイス、コンピュータ可読ストレージ基板、ランダムもしくはシリアルアクセスメモリアレイもしくはデバイス、またはそれらのうち一または二以上の組合せとすることができるか、またはそれに含まれることができる。さらに、コンピュータストレージ媒体は伝搬信号でないものの、コンピュータストレージ媒体は人工的に生成される伝搬信号においてエンコードされるコンピュータプログラム命令の送信元または送信先とすることができる。コンピュータストレージ媒体は一または二以上の別々の物理コンポーネントまたは媒体（例えば、複数のＣＤ、ディスク、または他のストレージデバイス）とすることができるか、またはそれに含まれることもできる。本明細書において説明された動作は一または二以上のコンピュータ可読ストレージデバイスに格納されるかまたは他の送信元から受信されるデータに対してデータ処理装置により実行される動作として実施されることができる。
「プロセッサ」という用語は、例としてプログラム可能なプロセッサ、コンピュータ、システムオンチップ、または前述のものの複数のそれら、もしくは組合せを含む、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含する。装置は専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特殊用途集積回路）を含むことができる。装置は、ハードウェアに加えて、問題のコンピュータプログラム用の実行環境を作成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、クロスプラットフォームランタイム環境、仮想マシン、またはそれらのうち一または二以上の組合せを構成するコードを含むこともできる。装置および実行環境はウェブサービス、分散コンピューティングおよびグリッドコンピューティングインフラストラクチャ等の、様々な異なるコンピューティングモデルインフラストラクチャを実現することができる。
（プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとしても知られる）コンピュータプログラムはコンパイラ型またはインタプリタ型言語、宣言型または手順型言語を含む、任意の形態のプログラミング言語で記述することができ、スタンドアロンプログラム、またはモジュール、コンポーネント、サブルーチン、オブジェクト、もしくはコンピューティング環境における使用に好適な他のユニット、を含む、任意の形態で展開することができる。コンピュータプログラムはファイルシステム内のファイルに対応してもよいが、必須ではない。プログラムは、問題のプログラム専用の単一のファイル内、または複数の調整されたファイル（例えば、一または二以上のモジュール、サブプログラム、もしくはコードの一部を格納するファイル）内の、他のプログラムまたはデータ（例えば、マークアップ言語文書に格納された一または二以上のスクリプト）を保持するファイルの一部に格納することができる。コンピュータプログラムは一つの地点に位置するかまたは複数の地点にわたって分散し、通信ネットワークにより相互接続される一つのコンピュータ上または複数のコンピュータ上で実行されるように展開することができる。
本明細書において説明されたプロセスおよび論理フローは入力データを操作することおよび出力を生成することにより動作を実行するために一または二以上のコンピュータプログラムを実行する一または二以上のプログラム可能なプロセッサにより実行することができる。プロセスおよび論理フローは専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特殊用途集積回路）により実行することもでき、装置は専用論理回路として実施することもできる。
一般的に、プロセッサは読取り専用メモリもしくはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は命令に従って動作を実行するためのプロセッサおよび命令およびデータを格納するための一または二以上のメモリデバイスである。一般的に、コンピュータはまた、そこからデータを受信するか、もしくはそこにデータを送信するか、またはその両方を行うための、データを格納するための一または二以上のマスストレージデバイス、例えば、磁気、磁気光学ディスク、または光学ディスクを含むか、または動作可能に結合される。しかしながら、コンピュータはこのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを格納するのに好適なデバイスは、例として、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス等の半導体メモリデバイス、例えば内蔵ハードディスクまたはリムーバブルディスク等の磁気ディスク、磁気光学ディスク、ならびにＣＤ−ＲＯＭおよびＤＶＤ−ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体およびメモリデバイスを含む。プロセッサおよびメモリは専用論理回路により補うか、またはそれに組み入れることができる。
ユーザとの相互作用を提供するために、本明細書において説明される主題の実施形態は、ユーザに情報を表示するためのディスプレイデバイス、例えば、ＬＣＤ（液晶ディスプレイ）、ＬＥＤ（発光ダイオード）、またはＯＥＬＤ（有機発光ダイオード）モニタならびにユーザがコンピュータに入力を提供することのできるキーボードおよびポインティングデバイス、例えば、マウスまたはトラックボールを有するコンピュータ上で実施することができる。いくつかの実施形態では、タッチスクリーンは情報を表示するため、およびユーザからの入力を受信するために使用することができる。ユーザに相互作用を提供するために他の種類のデバイスを使用することもできる。例えば、ユーザに提供されるフィードバックは任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバックとすることができ、ユーザからの入力は音響、音声、または触覚入力を含む、任意の形態で受信することができる。加えて、コンピュータはユーザにより使用されるデバイスに文書を送信することおよびそこから文書を受信することにより、例えば、ウェブブラウザから受信したリクエストに応答してユーザのクライエントデバイス上のウェブブラウザにウェブページを送信することにより、ユーザと相互作用することができる。
本明細書において説明される主題の実施形態はバックエンドコンポーネント、例えば、データサーバを含むか、もしくはミドルウェアコンポーネント、例えば、アプリケーションサーバを含むか、もしくはフロントエンドコンポーネント、例えば、ユーザがそれを通じて本明細書において説明される主題の実施と相互作用することのできるグラフィックユーザインターフェースもしくはウェブブラウザを有するクライエントコンピュータを含む、コンピューティングシステムで、または一または二以上のこのようなバックエンド、ミドルウェア、もしくはフロントエンドコンポーネントの任意の組合せで、実施することができる。本システムのコンポーネントは任意の形態または媒体のデジタルデータ通信、例えば、通信ネットワークにより相互接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）および広域ネットワーク（「ＷＡＮ」）、相互ネットワーク（例えば、インターネット）およびピアツーピアネットワーク（例えば、アドホックピアツーピアネットワーク）を含む。
上記より、例示の目的のために本明細書において本発明の固有の実施形態が説明されてきたが、本発明の精神および範囲から逸脱することなく様々な修正がなされ得ることを理解されたい。したがって、本発明は添付の特許請求の範囲を除いて制限されない。

Claims (19)

  1. 超音波イメージングシステムであって、
    超音波エネルギーを関心領域に届けるため、および戻りエコー信号を検出するために前記イメージングシステムに結合されたトランスデューサと、
    前記戻りエコー信号を処理するため、および関心領域の画像データを生成するための回路と、
    前記画像データ内のコンテンツの出現を強調するために選択されたスタイルで前記画像データからのコンテンツを表示するための命令を実行するように構成されたプロセッサと、
    を備える、超音波イメージングシステム。
  2. 前記プロセッサは前記画像データからの前記コンテンツに前記選択されたスタイルを適用するターゲット画像を生成するために前記画像データを訓練されたニューラルネットワークに供給するための命令を実行するように構成される、請求項１に記載の超音波イメージングシステム。
  3. 前記プロセッサは、前記ターゲット画像を生成するために、いくつかのスタイル画像をユーザインタフェースに表示するための命令を実行し、前記いくつかのスタイル画像からスタイル画像の選択を検出し、前記画像データを前記選択されたスタイル画像に対応するニューラルネットワークに供給するように構成される、請求項２に記載の超音波イメージングシステム。
  4. 前記スタイル画像は解剖図、以前に取得された超音波画像、および別のイメージングモダリティのスタイルのうち一または二以上である、請求項３に記載の超音波イメージングシステム。
  5. 前記プロセッサは前記超音波イメージングシステムのイメージングモードに従って前記スタイルを選択するための命令を実行するように構成される、請求項２に記載の超音波イメージングシステム。
  6. 前記プロセッサは前記超音波イメージングシステムに結合されたイメージングプローブのタイプに従って前記スタイルを選択するための命令を実行するように構成される、請求項２に記載の超音波イメージングシステム。
  7. 前記プロセッサは前記超音波イメージングシステムがトレーニングモードで動作する場合にターゲット画像を生成するための命令を実行するように構成される、請求項２に記載の超音波イメージングシステム。
  8. 前記プロセッサは前記ターゲット画像と同時に超音波画像データを表示するための命令を実行するように構成される、請求項２に記載の超音波イメージングシステム。
  9. 前記プロセッサは前記ターゲット画像と交互に超音波画像データを表示するための命令を実行するように構成される、請求項２に記載の超音波イメージングシステム。
  10. プロセッサは前記選択されたスタイルで前記画像データの一部を表示するための命令を実行するように構成される、請求項２に記載の超音波イメージングシステム。
  11. 前記画像データの二以上の部分は異なるスタイルで表示される、請求項１０に記載の超音波イメージングシステム。
  12. 前記プロセッサは、前記画像データ内の解剖学的特徴を識別するように訓練されたニューラルネットワークに前記画像データを供給するための命令を実行するように構成され、前記選択されたスタイルを前記識別された解剖学的特徴を備える前記画像データの前記一部に適用する訓練されたニューラルネットワークに前記画像データを供給するための命令を実行するように構成される、請求項１０に記載の超音波イメージングシステム。
  13. 超音波イメージングシステム内のプロセッサであって、
    対象の超音波画像データを受信し、
    前記選択されたスタイルでターゲット画像を生成するために、前記超音波画像データに選択されたスタイルを適用するように訓練されたニューラルネットワークに前記超音波画像データを供給し、
    前記選択されたスタイルで超音波データの前記ターゲット画像を表示する、
    ための命令を実行するように構成された、超音波イメージングシステム内のプロセッサ。
  14. 前記プロセッサは、前記ターゲット画像を生成するために、ユーザインタフェースにいくつかのスタイル画像を表示し、前記いくつかのスタイル画像からスタイル画像の前記選択を検出し、前記選択されたスタイル画像に対応するニューラルネットワークに画像データを供給する、ための命令を実行するように構成される、請求項１３に記載のプロセッサ。
  15. 前記プロセッサは、前記超音波イメージングシステムのイメージングモードを決定し、前記決定されたイメージングモードに従って前記スタイルを選択する、ための命令を実行するように構成される、請求項１３に記載のプロセッサ。
  16. 前記プロセッサは、前記超音波データを取得するために使用されるイメージングプローブのタイプを決定し、前記決定されたイメージングプローブのタイプに従ってスタイルを選択する、ための命令を実行するように構成される、請求項１３に記載のプロセッサ。
  17. 前記プロセッサは、対象に対して実行された以前の検査のタイプを決定し、前記決定された以前の検査のタイプに基づいて前記スタイルを選択する、ための命令を実行するように構成される、請求項１３に記載のプロセッサ。
  18. 前記プロセッサは二以上のスタイルで前記超音波データを表示するための命令を実行するように構成される、請求項１３に記載のプロセッサ。
  19. 前記プロセッサは、前記選択されたスタイルで、前記超音波データの画像および前記超音波データの前記ターゲット画像を表示するための命令を実行するように構成される、請求項１３に記載のプロセッサ。
JP2020562765A 2018-05-07 2019-05-02 スタイル転送画像強調を備える超音波イメージングシステム Active JP7474707B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/973,010 US11435460B2 (en) 2018-05-07 2018-05-07 Ultrasound imaging system with style transfer image enhancement
US15/973,010 2018-05-07
PCT/US2019/030479 WO2019217206A1 (en) 2018-05-07 2019-05-02 Ultrasound imaging system with style transfer image enhancement

Publications (2)

Publication Number Publication Date
JP2021522923A true JP2021522923A (ja) 2021-09-02
JP7474707B2 JP7474707B2 (ja) 2024-04-25

Family

ID=68384166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020562765A Active JP7474707B2 (ja) 2018-05-07 2019-05-02 スタイル転送画像強調を備える超音波イメージングシステム

Country Status (4)

Country Link
US (1) US11435460B2 (ja)
EP (1) EP3790470A4 (ja)
JP (1) JP7474707B2 (ja)
WO (1) WO2019217206A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11393144B2 (en) * 2019-04-11 2022-07-19 City University Of Hong Kong System and method for rendering an image
US11145042B2 (en) * 2019-11-12 2021-10-12 Palo Alto Research Center Incorporated Using convolutional neural network style transfer to automate graphic design creation
CN111914787B (zh) * 2020-08-11 2023-05-26 重庆文理学院 一种用于指静脉识别soc系统的寄存器配置方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016221264A (ja) * 2015-05-27 2016-12-28 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッドＳｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ ＵＳＡ，Ｉｎｃ． 知識ベース超音波画像強調
WO2018048507A1 (en) * 2016-09-06 2018-03-15 Han Xiao Neural network for generating synthetic medical images

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714667B1 (en) * 2000-07-14 2004-03-30 Koninklijke Philips Electronics N.V. User interface for imaging system
US6676605B2 (en) * 2002-06-07 2004-01-13 Diagnostic Ultrasound Bladder wall thickness measurement system and methods
US7056290B2 (en) * 2002-09-30 2006-06-06 Koninklijke Philips Electronics, N.V. Continuous depth harmonic imaging using transmitted and nonlinearly generated second harmonics
JP4130114B2 (ja) * 2002-10-09 2008-08-06 株式会社日立メディコ 超音波イメージング装置及び超音波信号処理方法
US6957583B2 (en) * 2002-10-31 2005-10-25 Hitachi, Ltd. Ultrasonic array sensor, ultrasonic inspection instrument and ultrasonic inspection method
US7545965B2 (en) 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
KR101883258B1 (ko) 2010-08-13 2018-07-31 스미스 앤드 네퓨, 인크. 해부학적 계측점의 검출 방법
US10321892B2 (en) 2010-09-27 2019-06-18 Siemens Medical Solutions Usa, Inc. Computerized characterization of cardiac motion in medical diagnostic ultrasound
EP3893022A1 (en) 2012-09-06 2021-10-13 Maui Imaging, Inc. Ultrasound imaging system memory architecture
WO2015009869A1 (en) * 2013-07-17 2015-01-22 Hepatiq, Llc Systems and methods for determining hepatic function from liver scans
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9668699B2 (en) * 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US9373059B1 (en) * 2014-05-05 2016-06-21 Atomwise Inc. Systems and methods for applying a convolutional network to spatial data
KR102328266B1 (ko) * 2014-10-29 2021-11-19 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 영상 처리부가 마련된 초음파 영상 장치
KR102347038B1 (ko) * 2014-11-06 2022-01-04 삼성메디슨 주식회사 초음파 진단 장치 및 초음파 진단 방법
US10905400B2 (en) 2015-02-23 2021-02-02 Canon Medical Systems Corporation Apparatus and method for optimization of ultrasound images
US10387765B2 (en) 2016-06-23 2019-08-20 Siemens Healthcare Gmbh Image correction using a deep generative machine-learning model
US10675004B2 (en) * 2016-07-20 2020-06-09 Fujifilm Sonosite, Inc. Ultrasound imaging apparatus with image selector
US9589374B1 (en) * 2016-08-01 2017-03-07 12 Sigma Technologies Computer-aided diagnosis system for medical images using deep convolutional neural networks
CN109843377B (zh) 2016-09-07 2022-06-17 医科达有限公司 用于预测放射疗法剂量分布的放射疗法治疗计划的学习模型的系统和方法
WO2018127498A1 (en) 2017-01-05 2018-07-12 Koninklijke Philips N.V. Ultrasound imaging system with a neural network for image formation and tissue characterization

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016221264A (ja) * 2015-05-27 2016-12-28 シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッドＳｉｅｍｅｎｓ Ｍｅｄｉｃａｌ Ｓｏｌｕｔｉｏｎｓ ＵＳＡ，Ｉｎｃ． 知識ベース超音波画像強調
WO2018048507A1 (en) * 2016-09-06 2018-03-15 Han Xiao Neural network for generating synthetic medical images

Also Published As

Publication number Publication date
WO2019217206A1 (en) 2019-11-14
JP7474707B2 (ja) 2024-04-25
US20190339371A1 (en) 2019-11-07
US11435460B2 (en) 2022-09-06
EP3790470A1 (en) 2021-03-17
EP3790470A4 (en) 2022-01-19

Similar Documents

Publication Publication Date Title
CN102309338B (zh) 用于超声数据处理的方法和系统
US10813595B2 (en) Fully automated image optimization based on automated organ recognition
JP6081907B2 (ja) 医療処置のコンピュータ化シミュレーションを行うシステム及び方法
JP2021522923A (ja) スタイル転送画像強調を備える超音波イメージングシステム
RU2683720C2 (ru) Наведение на целевой вид по обратной связи при получении ультразвуковых данных
US11559284B2 (en) Ultrasound imaging apparatus with image selector
JP2021087822A (ja) 血管網と潅流組織の機能的関連性を特定し可視化するシステム及び方法
JP7199972B2 (ja) 情報処理装置、情報処理方法、プログラム
JP6382050B2 (ja) 医用画像診断装置、画像処理装置、画像処理方法及び画像処理プログラム
WO2013002408A1 (ja) 超音波診断装置、画像処理装置及び画像処理方法
JP2020146455A (ja) 医用画像処理装置
CN108125692A (zh) 超声设备的参数的配置方法以及超声设备
Arbic et al. The use of 3D echocardiography in surgical planning of the mitral valve in pediatric cardiology
CN113951922A (zh) 一种超声成像设备及其扫查提示方法
Zudilova et al. Bringing combined interaction to a problem solving environment for vascular reconstruction
JP2020528804A5 (ja)
Eilertsen Virtual Reality for medical images
US20220211340A1 (en) Ultrasonic imaging apparatus and display method therefor
US20240260942A1 (en) Ultrasound diagnosis apparatus and ultrasound signal generating method
EP4125046A1 (en) A visual data delivery system, a display system and methods of operating the same
US20230380812A1 (en) Medical imaging method, apparatus, and system
Thittai A fast method for simulating ultrasound image from patient-specific CT data
EP4377900A1 (en) A visual data delivery system, a display system and methods of operating the same
JP2023506536A (ja) 超音波画像取得及び処理のプリセット共有並びに関連するシステム、装置及び方法
WO2023239913A1 (en) Point of care ultrasound interface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221228

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230327

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230601

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7474707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150