JP2021516834A - 新生児のシミュレーション画像の生成 - Google Patents
新生児のシミュレーション画像の生成 Download PDFInfo
- Publication number
- JP2021516834A JP2021516834A JP2020560930A JP2020560930A JP2021516834A JP 2021516834 A JP2021516834 A JP 2021516834A JP 2020560930 A JP2020560930 A JP 2020560930A JP 2020560930 A JP2020560930 A JP 2020560930A JP 2021516834 A JP2021516834 A JP 2021516834A
- Authority
- JP
- Japan
- Prior art keywords
- image
- newborn
- machine learning
- fetal
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 45
- 230000001605 fetal effect Effects 0.000 claims abstract description 85
- 238000010801 machine learning Methods 0.000 claims abstract description 83
- 238000000034 method Methods 0.000 claims abstract description 69
- 238000002604 ultrasonography Methods 0.000 claims description 129
- 238000012549 training Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 14
- 230000001537 neural effect Effects 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 12
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000000844 transformation Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000037308 hair color Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000003754 fetus Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/006—Inverse problem, transformation from projection-space into object-space, e.g. transform methods, back-projection, algebraic methods
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Pregnancy & Childbirth (AREA)
- Artificial Intelligence (AREA)
- Gynecology & Obstetrics (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
の形式の損失関数を使用して訓練されてもよい。ここで、
は新生児の超音波画像を表し、
は胎児の親の画像を表し、
は胎児がどのように新生児のように見えるかの予測を表す出力シミュレーション画像を表す。α及びβは、それぞれ、(超音波画像からの)コンテンツ及び(新生児としての親の画像からの)スタイルに対する重み付け係数を表す。
機械学習モデルは、バイナリ交差エントロピー損失関数のような損失関数を用いて訓練することができる。
サブルーチンは、1つの実行可能ファイルに一緒に記憶されて、自己完結型プログラムを形成することができる。このような実行可能ファイルはコンピュータ実行可能命令、例えば、プロセッサ命令及び/又はインタプリタ命令(例えば、Javaインタプリタ命令)を含むことができる。あるいは、1つ以上又はすべてのサブルーチンが少なくとも1つの外部ライブラリファイルに記憶され、実行時などに静的又は動的にメインプログラムとリンクされてもよい。メインプログラムには、少なくとも1 つのサブ・ルーチンへの呼び出しが少なくとも1 つ含まれている。サブルーチンは、互いに関数呼び出しを含むこともできる。コンピュータプログラム製品に関連する実施形態は、本明細書に記載の方法のうちの少なくとも1つの各処理ステージに対応するコンピュータ実行可能命令を備える。これらの命令は、サブルーチンに分割され、及び/又は静的又は動的にリンクされ得る一つ又はそれより多くのファイルに記憶されてもよい。コンピュータプログラムプロダクトに関連する別の実施形態は、本明細書に記載されるシステム及び/又はプロダクトのうちの少なくとも1つのそれぞれの手段に対応するコンピュータ実行可能命令を備える。これらの命令は、サブルーチンに分割され、及び/又は静的又は動的にリンクされ得る一つ又はそれより多くのファイルに記憶されてもよい。コンピュータプログラムのキャリアは、プログラムを搬送することができる任意のエンティティ又はデバイスとすることができる。
さらに、搬送波は、電気又は光ケーブルを介して、又は無線もしくは他の手段によって搬送され得る、電気又は光信号などの伝送可能な搬送波であってもよい。プログラムがそのような信号で具現化される場合、搬送波は、そのようなケーブル又は他の装置又は手段によって構成されてもよい。あるいはキャリアがプログラムが埋め込まれた集積回路であってもよく、集積回路は関連する方法を実行するように適合されているか、又は関連する方法の実行に使用される。
Claims (15)
- 胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するコンピュータ実装方法であって、前記方法は、
前記胎児の超音波画像を取得するステップと、
前記胎児の前記超音波画像に基づいて、前記新生児の前記シミュレーション画像を生成するために機械学習モデルを使用するステップであって、前記新生児の前記シミュレーション画像は、前記胎児がどのように新生児として見えるかの予測を有する、ステップと
を有する、方法。 - 前記シミュレーション画像は、シミュレートされる写真画像を有する、請求項1に記載の方法。
- 前記シミュレートされる写真画像は、デジタルカメラ、フィルムカメラ、又は同様の媒体によってキャプチャされる外観を有する、請求項2に記載の方法。
- 前記胎児の親に関する補助データを取得するステップ
を更に有し、
前記新生児の前記シミュレーション画像を生成するために機械学習モデルを使用するステップは、さらに前記補助データに基づいている、
請求項1乃至3の何れか一項に記載の方法。 - 前記補助データは、
前記親の特徴と、
新生児としての前記親の写真画像と
のうちの一つ又はそれより多くを有する、請求項4に記載の方法。 - 前記機械学習モデルは、前記胎児の前記超音波画像の一つ又はそれより多くの特徴を、前記補助データから導出される一つ又はそれより多くの特徴と組み合わせることによって、前記新生児の前記シミュレーション画像を生成する、請求項4又は5に記載の方法。
- 前記新生児の前記シミュレーション画像を生成するために機械学習モデルを使用するステップは、前記機械学習モデルを有し、
前記超音波画像を圧縮して前記超音波画像の前記一つ又はそれより多くの特徴を決定するステップと、
前記補助データを使用して前記超音波画像の前記一つ又はそれより多くの特徴を再構成することによって前記新生児の前記シミュレーション画像を生成するステップと
を有する、請求項4、5、又は6に記載の方法。 - 前記機械学習モデルは、変分オートエンコーダを有する、請求項7に記載の方法。
- 前記補助データは、新生児としての前記親の写真画像を有し、
前記新生児の前記シミュレーション画像を生成するために機械学習モデルを使用するステップは、前記機械学習モデルを有し、
前記親の前記写真画像に関連するスタイルを新生児として決定するステップと、
前記超音波画像の内容を決定するステップと、
新生児としての前記親の前記画像に関連する前記スタイルを前記超音波画像の前記内容と組み合わせることによって、前記新生児の前記シミュレーション画像を生成するステップと
を有する、請求項4乃至6の何れか一項に記載の方法。 - 前記機械学習モデルは、前記新生児の前記シミュレーション画像を生成するために、ニューラルアーチスティックスタイル変換を使用する、請求項9に記載の方法。
- 前記シミュレーション画像は、
カラー画像と、
白黒画像と
のうちの1つを有する、請求項1乃至10の何れか一項に記載の方法。 - 前記超音波画像は、3次元又は4次元データから生成される、請求項1乃至11の何れか一項に記載の方法。
- 胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するために機械学習モデルを訓練するコンピュータ実装方法であって、前記方法は、
胎児の例示的な超音波画像及び新生児と同じ胎児の対応する例示的な画像を提供するステップと、
前記例示的な画像を使用して胎児の超音波画像のための新生児のシミュレーション画像を生成するために前記機械学習モデルを訓練するステップであって、前記新生児の前記シミュレーション画像は、前記胎児がどのように新生児として見えるかの予測を有する、ステップと
を有する、方法。 - 非一時的なコンピュータ可読媒体を有するコンピュータプログラムであって、前記コンピュータ可読媒体は、その中に具現化されるコンピュータ可読コードを有し、適切なコンピュータ又はプロセッサによって実行されるとき、前記コンピュータ可読コードは、前記コンピュータ又はプロセッサに、請求項1乃至13の何れか一項に記載の方法を実行させるように構成される、コンピュータプログラム。
- 胎児の超音波画像に基づいて新生児のシミュレーション画像を生成するためのシステムであって、前記システムは、
命令のセットを表す命令データを有するメモリと、
前記メモリと通信し、前記命令のセットを実行するように構成されるプロセッサであって、前記命令のセットは、前記プロセッサによって実行されるとき、前記プロセッサに、
前記胎児の前記超音波画像を取得させ、
前記胎児の前記超音波画像に基づいて前記新生児の前記シミュレーション画像を生成するために機械学習モデルを使用させ、前記新生児の前記シミュレーション画像は、前記胎児がどのように新生児として見えるかの予測を有する、プロセッサと
を有する、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862665612P | 2018-05-02 | 2018-05-02 | |
US62/665,612 | 2018-05-02 | ||
PCT/EP2019/060735 WO2019211186A1 (en) | 2018-05-02 | 2019-04-26 | Generating a simulated image of a baby |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021516834A true JP2021516834A (ja) | 2021-07-08 |
JP7008845B2 JP7008845B2 (ja) | 2022-01-25 |
Family
ID=66429334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020560930A Active JP7008845B2 (ja) | 2018-05-02 | 2019-04-26 | 新生児のシミュレーション画像の生成 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11918412B2 (ja) |
EP (1) | EP3788599A1 (ja) |
JP (1) | JP7008845B2 (ja) |
CN (1) | CN112074869B (ja) |
WO (1) | WO2019211186A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111432733B (zh) * | 2017-09-07 | 2021-10-26 | 皮乌尔影像股份有限公司 | 用于确定超声探头的运动的设备和方法 |
US11145042B2 (en) * | 2019-11-12 | 2021-10-12 | Palo Alto Research Center Incorporated | Using convolutional neural network style transfer to automate graphic design creation |
CN112991371B (zh) * | 2021-04-20 | 2024-01-05 | 云南大学 | 一种基于着色溢出约束的图像自动着色方法及系统 |
KR102334666B1 (ko) * | 2021-05-20 | 2021-12-07 | 알레시오 주식회사 | 얼굴 이미지 생성 방법 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070038093A1 (en) * | 2005-07-11 | 2007-02-15 | Felice Petraglia | Method and system for fetal weight evaluation |
JP2007325786A (ja) * | 2006-06-08 | 2007-12-20 | Toshiba Corp | 超音波診断装置、超音波画像表示方法及び超音波画像表示プログラム |
JP2014161736A (ja) * | 2013-02-22 | 2014-09-08 | Toshiba Corp | 超音波診断装置及び超音波画像処理装置 |
US20170230675A1 (en) * | 2016-02-05 | 2017-08-10 | Google Inc. | Compressing images using neural networks |
JP2017221269A (ja) * | 2016-06-13 | 2017-12-21 | 東芝メディカルシステムズ株式会社 | 情報処理装置、超音波診断装置及び画像処理プログラム |
US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20080106596A (ko) * | 2007-03-22 | 2008-12-09 | 연세대학교 산학협력단 | 가상 얼굴 생성 방법 |
TW200919210A (en) * | 2007-07-18 | 2009-05-01 | Steven Kays | Adaptive electronic design |
CA2928262C (en) * | 2010-12-30 | 2018-06-26 | Irobot Corporation | Mobile robot system |
US20130004036A1 (en) * | 2011-06-28 | 2013-01-03 | Suzana Apelbaum | Systems And Methods For Customizing Pregnancy Imagery |
US10368833B2 (en) * | 2014-09-12 | 2019-08-06 | General Electric Company | Method and system for fetal visualization by computing and displaying an ultrasound measurement and graphical model |
US10043088B2 (en) * | 2016-06-23 | 2018-08-07 | Siemens Healthcare Gmbh | Image quality score using a deep generative machine-learning model |
EP3526770B1 (en) * | 2016-10-21 | 2020-04-15 | Google LLC | Stylizing input images |
WO2019074339A1 (ko) * | 2017-10-15 | 2019-04-18 | 알레시오 주식회사 | 신호 변환 시스템 및 신호 변환 방법 |
-
2019
- 2019-04-26 JP JP2020560930A patent/JP7008845B2/ja active Active
- 2019-04-26 WO PCT/EP2019/060735 patent/WO2019211186A1/en unknown
- 2019-04-26 EP EP19722024.7A patent/EP3788599A1/en active Pending
- 2019-04-26 CN CN201980029870.2A patent/CN112074869B/zh active Active
- 2019-04-26 US US17/052,262 patent/US11918412B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070038093A1 (en) * | 2005-07-11 | 2007-02-15 | Felice Petraglia | Method and system for fetal weight evaluation |
JP2007325786A (ja) * | 2006-06-08 | 2007-12-20 | Toshiba Corp | 超音波診断装置、超音波画像表示方法及び超音波画像表示プログラム |
JP2014161736A (ja) * | 2013-02-22 | 2014-09-08 | Toshiba Corp | 超音波診断装置及び超音波画像処理装置 |
US20170230675A1 (en) * | 2016-02-05 | 2017-08-10 | Google Inc. | Compressing images using neural networks |
JP2017221269A (ja) * | 2016-06-13 | 2017-12-21 | 東芝メディカルシステムズ株式会社 | 情報処理装置、超音波診断装置及び画像処理プログラム |
US20180068463A1 (en) * | 2016-09-02 | 2018-03-08 | Artomatix Ltd. | Systems and Methods for Providing Convolutional Neural Network Based Image Synthesis Using Stable and Controllable Parametric Models, a Multiscale Synthesis Framework and Novel Network Architectures |
Also Published As
Publication number | Publication date |
---|---|
US11918412B2 (en) | 2024-03-05 |
WO2019211186A1 (en) | 2019-11-07 |
EP3788599A1 (en) | 2021-03-10 |
CN112074869A (zh) | 2020-12-11 |
US20210077063A1 (en) | 2021-03-18 |
JP7008845B2 (ja) | 2022-01-25 |
CN112074869B (zh) | 2024-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7008845B2 (ja) | 新生児のシミュレーション画像の生成 | |
KR20220100920A (ko) | 3d 신체 모델 생성 | |
US11670015B2 (en) | Method and apparatus for generating video | |
JP2018532216A (ja) | 画像正則化及びリターゲティングシステム | |
KR20220101659A (ko) | 표면 기반 신경 합성을 사용한 이미지 생성 | |
CN108885800B (zh) | 基于智能增强现实(iar)平台的通信系统 | |
US11736717B2 (en) | Video compression system | |
US11450072B2 (en) | Physical target movement-mirroring avatar superimposition and visualization system and method in a mixed-reality environment | |
CN110852940A (zh) | 一种图像处理方法及相关设备 | |
US20230410376A1 (en) | Compressing image-to-image models with average smoothing | |
CN117036583A (zh) | 视频生成方法、装置、存储介质及计算机设备 | |
CN113095206A (zh) | 虚拟主播生成方法、装置和终端设备 | |
US11741650B2 (en) | Advanced electronic messaging utilizing animatable 3D models | |
US11138785B2 (en) | Method and system for generating 3D image of character | |
KR102247481B1 (ko) | 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법 | |
CN113538254A (zh) | 图像恢复方法、装置、电子设备及计算机可读存储介质 | |
US20220207786A1 (en) | Flow-guided motion retargeting | |
CN113542759A (zh) | 生成对抗神经网络辅助的视频重建 | |
US20240069626A1 (en) | Timelapse re-experiencing system | |
Van Audenhaege et al. | Workshop on 3D mapping of habitats and biological communities with underwater photogrammetry | |
Hrusa | Botanical Tree Perceived Realism Metric | |
CN116132653A (zh) | 三维模型的处理方法、装置、存储介质及计算机设备 | |
WO2022238908A2 (en) | Method and system for virtual 3d communications | |
CN117207211A (zh) | 具有三维显示的陪伴机器人的系统及其应用方法 | |
CN114298931A (zh) | 图像处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201030 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210601 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7008845 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |