JP2021120814A - 学習プログラム、学習方法、及び情報処理装置 - Google Patents
学習プログラム、学習方法、及び情報処理装置 Download PDFInfo
- Publication number
- JP2021120814A JP2021120814A JP2020014105A JP2020014105A JP2021120814A JP 2021120814 A JP2021120814 A JP 2021120814A JP 2020014105 A JP2020014105 A JP 2020014105A JP 2020014105 A JP2020014105 A JP 2020014105A JP 2021120814 A JP2021120814 A JP 2021120814A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- images
- encoder
- self
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 230000011218 segmentation Effects 0.000 claims abstract description 82
- 238000013528 artificial neural network Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 55
- 239000002131 composite material Substances 0.000 claims abstract description 52
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 230000002093 peripheral effect Effects 0.000 claims description 83
- 230000010365 information processing Effects 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 38
- 230000002194 synthesizing effect Effects 0.000 claims description 18
- 230000015654 memory Effects 0.000 description 31
- 230000006870 function Effects 0.000 description 17
- 230000015572 biosynthetic process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 8
- 210000000038 chest Anatomy 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
Description
〔1−1〕情報処理装置による学習処理の説明
図1は、一実施形態に係る情報処理装置1による学習処理の一例を説明するための図である。なお、図1の説明では、「動画データ」は、例えば、フレーム画像のサイズに対して比較的小さい対象物を撮影した、エコー映像等のノイズが含まれる映像データであるものとし、「対象物」は、エコー映像の撮影対象の所定の部位であるものとする。
以下の説明では、情報処理装置1による学習処理及び推定処理が、超音波画像診断における心臓の心室中隔と呼ばれる部位の欠損の有無の判定に利用される場合を例に挙げる。
次に、上述の如く構成されたサーバ10の動作例を説明する。
図9は、学習フェーズの動作例を説明するためのフローチャートであり、図10は、学習フェーズの動作例を説明するための図である。
図13は、推定フェーズの動作例を説明するためのフローチャートであり、図14及び図15は、それぞれ、推定フェーズの動作例を説明するための図である。
以上のように、一実施形態に係るサーバ10によれば、以下の3種類の画像113、12a〜12cを、それぞれ互いに異なるNNW13〜15に入力し、NNW13〜15からの出力(結果)を統合することで、対象物のセグメンテーションを行なう。
図17は、情報処理装置1及びサーバ10の機能を実現するコンピュータ20のハードウェア(HW)構成例を示すブロック図である。情報処理装置1及びサーバ10の機能を実現するHWリソースとして、複数のコンピュータが用いられる場合は、各コンピュータが図17に例示するHW構成を備えてよい。
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。
以上の実施形態に関し、さらに以下の付記を開示する。
対象物を撮影した動画データと、前記動画データに含まれる複数のフレーム画像それぞれにおける対象物の領域を示す複数のアノテーション画像とを含む訓練データを取得し、
前記訓練データを用いた学習処理を実行する、
処理をコンピュータに実行させ、
前記学習処理において、
前記複数のフレーム画像に含まれる対象物を検出し、
前記複数のフレーム画像のうちの第1フレーム画像の前記動画データの時系列における前後所定枚数の第2フレーム画像においてそれぞれ検出された前記対象物及び前記対象物の周辺領域を含む複数の部分画像、を合成した合成画像を自己符号化器に入力し、
前記第1フレーム画像における検出された前記対象物及び前記対象物の周辺領域を含む部分画像を画像に対するセグメンテーション処理を行なうニューラルネットワークに入力し、
前記自己符号化器からの出力画像と前記ニューラルネットワークからの出力画像とを合成した合成出力画像と、前記第1フレーム画像における前記対象物の領域を示すアノテーション画像の部分画像との差分に基づいて、前記自己符号化器及び前記ニューラルネットワークそれぞれのパラメータ更新を行なう、
処理を前記コンピュータに実行させる、学習プログラム。
前記学習処理において、前記対象物を撮影した画像とは異なる画像のデータセットを用いて生成された学習済みモデルであって、入力画像に対するラベルを推定する前記学習済みモデルに前記第1フレーム画像を入力して得られた前記第1フレーム画像全体に関する特徴量を、前記自己符号化器の中間層に入力する、
処理を前記コンピュータに実行させる、付記1に記載の学習プログラム。
前記複数のフレーム画像に含まれる前記対象物は、前記対象物を撮影した複数の画像を含むデータセットを用いて生成された、入力画像に含まれる前記対象物の領域を特定する学習済み物体検知モデルを用いて検出される、
付記1又は付記2に記載の学習プログラム。
推定対象物を撮影した対象動画データを含む対象データを取得し、
前記対象動画データに含まれる複数の対象フレーム画像のそれぞれに含まれる推定対象物を検出し、
前記対象動画データの時系列における第3フレーム画像の前後所定枚数の第4フレーム画像におけるそれぞれ検出された前記推定対象物及び前記推定対象物の周辺領域を含む複数の部分画像、を合成した合成画像を、前記パラメータ更新により訓練済みの前記自己符号化器に入力し、
前記第3フレーム画像における検出された前記推定対象物及び前記推定対象物の周辺領域を含む部分画像を、前記パラメータ更新により訓練済みの前記ニューラルネットワークに入力し、
前記自己符号化器からの出力画像と前記ニューラルネットワークからの出力画像とを合成した合成出力画像と、前記第3フレーム画像における前記部分画像が切り出された位置を示す位置情報とに基づいて、前記第3フレーム画像における前記推定対象物であると推定した領域を含む画像を出力する、
処理を前記コンピュータに実行させる、付記1〜付記3のいずれか1項に記載の学習プログラム。
前記複数のフレーム画像のそれぞれは、超音波画像である、
付記1〜付記3のいずれか1項に記載の学習プログラム。
前記複数のフレーム画像及び前記複数の対象フレーム画像のそれぞれは、超音波画像である、
付記4に記載の学習プログラム。
対象物を撮影した動画データと、前記動画データに含まれる複数のフレーム画像それぞれにおける対象物の領域を示す複数のアノテーション画像とを含む訓練データを取得し、
前記訓練データを用いた学習処理を実行する、
処理をコンピュータが実行し、
前記学習処理において、
前記複数のフレーム画像に含まれる対象物を検出し、
前記複数のフレーム画像のうちの第1フレーム画像の前記動画データの時系列における前後所定枚数の第2フレーム画像においてそれぞれ検出された前記対象物及び前記対象物の周辺領域を含む複数の部分画像、を合成した合成画像を自己符号化器に入力し、
前記第1フレーム画像における検出された前記対象物及び前記対象物の周辺領域を含む部分画像を画像に対するセグメンテーション処理を行なうニューラルネットワークに入力し、
前記自己符号化器からの出力画像と前記ニューラルネットワークからの出力画像とを合成した合成出力画像と、前記第1フレーム画像における前記対象物の領域を示すアノテーション画像の部分画像との差分に基づいて、前記自己符号化器及び前記ニューラルネットワークそれぞれのパラメータ更新を行なう、
処理を前記コンピュータが実行する、学習方法。
前記学習処理において、前記対象物を撮影した画像とは異なる画像のデータセットを用いて生成された学習済みモデルであって、入力画像に対するラベルを推定する前記学習済みモデルに前記第1フレーム画像を入力して得られた前記第1フレーム画像全体に関する特徴量を、前記自己符号化器の中間層に入力する、
処理を前記コンピュータが実行する、付記7に記載の学習方法。
前記複数のフレーム画像に含まれる前記対象物は、前記対象物を撮影した複数の画像を含むデータセットを用いて生成された、入力画像に含まれる前記対象物の領域を特定する学習済み物体検知モデルを用いて検出される、
付記7又は付記8に記載の学習方法。
推定対象物を撮影した対象動画データを含む対象データを取得し、
前記対象動画データに含まれる複数の対象フレーム画像のそれぞれに含まれる推定対象物を検出し、
前記対象動画データの時系列における第3フレーム画像の前後所定枚数の第4フレーム画像におけるそれぞれ検出された前記推定対象物及び前記推定対象物の周辺領域を含む複数の部分画像、を合成した合成画像を、前記パラメータ更新により訓練済みの前記自己符号化器に入力し、
前記第3フレーム画像における検出された前記推定対象物及び前記推定対象物の周辺領域を含む部分画像を、前記パラメータ更新により訓練済みの前記ニューラルネットワークに入力し、
前記自己符号化器からの出力画像と前記ニューラルネットワークからの出力画像とを合成した合成出力画像と、前記第3フレーム画像における前記部分画像が切り出された位置を示す位置情報とに基づいて、前記第3フレーム画像における前記推定対象物であると推定した領域を含む画像を出力する、
処理を前記コンピュータが実行する、付記7〜付記9のいずれか1項に記載の学習方法。
前記複数のフレーム画像のそれぞれは、超音波画像である、
付記7〜付記9のいずれか1項に記載の学習方法。
前記複数のフレーム画像及び前記複数の対象フレーム画像のそれぞれは、超音波画像である、
付記10に記載の学習方法。
対象物を撮影した動画データと、前記動画データに含まれる複数のフレーム画像それぞれにおける対象物の領域を示す複数のアノテーション画像とを含む訓練データを取得する取得部と、
自己符号化器と、
画像に対するセグメンテーション処理を行なうニューラルネットワークと、
前記訓練データを用いた、前記自己符号化器及び前記ニューラルネットワークそれぞれの学習処理を実行する学習実行部と、を備え、
前記学習実行部は、前記学習処理において、
前記複数のフレーム画像に含まれる対象物を検出し、
前記複数のフレーム画像のうちの第1フレーム画像の前記動画データの時系列における前後所定枚数の第2フレーム画像においてそれぞれ検出された前記対象物及び前記対象物の周辺領域を含む複数の部分画像、を合成した合成画像を前記自己符号化器に入力し、
前記第1フレーム画像における検出された前記対象物及び前記対象物の周辺領域を含む部分画像を前記ニューラルネットワークに入力し、
前記自己符号化器からの出力画像と前記ニューラルネットワークからの出力画像とを合成した合成出力画像と、前記第1フレーム画像における前記対象物の領域を示すアノテーション画像の部分画像との差分に基づいて、前記自己符号化器及び前記ニューラルネットワークそれぞれのパラメータ更新を行なう、
情報処理装置。
前記対象物を撮影した画像とは異なる画像のデータセットを用いて生成された学習済みモデルであって、入力画像に対するラベルを推定する前記学習済みモデル、を備え、
前記学習実行部は、前記学習処理において、前記学習済みモデルに前記第1フレーム画像を入力して得られた前記第1フレーム画像全体に関する特徴量を、前記自己符号化器の中間層に入力する、
付記13に記載の情報処理装置。
前記対象物を撮影した複数の画像を含むデータセットを用いて生成された、入力画像に含まれる前記対象物の領域を特定する学習済み物体検知モデル、を備え、
前記複数のフレーム画像に含まれる前記対象物は、前記学習済み物体検知モデルを用いて検出される、
付記13又は付記14に記載の情報処理装置。
前記対象データに対する前記推定対象物の領域の推定処理を実行する推定処理部、を備え、
前記取得部は、推定対象物を撮影した対象動画データを含む対象データを取得し、
前記推定処理部は、
前記対象動画データに含まれる複数の対象フレーム画像のそれぞれに含まれる推定対象物を検出し、
前記対象動画データの時系列における第3フレーム画像の前後所定枚数の第4フレーム画像におけるそれぞれ検出された前記推定対象物及び前記推定対象物の周辺領域を含む複数の部分画像、を合成した合成画像を、前記パラメータ更新により訓練済みの前記自己符号化器に入力し、
前記第3フレーム画像における検出された前記推定対象物及び前記推定対象物の周辺領域を含む部分画像を、前記パラメータ更新により訓練済みの前記ニューラルネットワークに入力し、
前記自己符号化器からの出力画像と前記ニューラルネットワークからの出力画像とを合成した合成出力画像と、前記第3フレーム画像における前記部分画像が切り出された位置を示す位置情報とに基づいて、前記第3フレーム画像における前記推定対象物であると推定した領域を含む画像を出力する画像出力部、を備える、
付記13〜付記15のいずれか1項に記載の情報処理装置。
前記複数のフレーム画像のそれぞれは、超音波画像である、
付記13〜付記15のいずれか1項に記載の情報処理装置。
前記複数のフレーム画像及び前記複数の対象フレーム画像のそれぞれは、超音波画像である、
付記16に記載の情報処理装置。
1a、111、113、113’、113” 画像(全体画像)
1b、112 アノテーション画像
2、12 物体検知部
2a〜2c、12a〜12c 対象周辺画像
2d、12d 対象周辺アノテーション画像
3、13 特徴量出力部
4、14 自己符号化器
5、15 セグメンテーション部
6、17b、18b 加算部
7 サポートモジュール
8 セグメンテーションモジュール
10 サーバ
11 メモリ部
11a モデル情報
11b 訓練データ
11c 入力データ
11d 出力データ
12e 合成画像
12f、114 合成出力画像
12g 差分
12h 切り出し位置情報
14a 出力画像
15a セグメンテーション画像
16 取得部
17 学習部
17a、18a 合成部
18 実行部
19 出力部
20 コンピュータ
110 画像セット
115 セグメンテーション済み画像
130 VGGバックボーン
131、141〜146 層
140 オートエンコーダ
171、181 加算処理部
172 差分算出部
173 学習処理部
182 サイズ復元部
Claims (8)
- 対象物を撮影した動画データと、前記動画データに含まれる複数のフレーム画像それぞれにおける対象物の領域を示す複数のアノテーション画像とを含む訓練データを取得し、
前記訓練データを用いた学習処理を実行する、
処理をコンピュータに実行させ、
前記学習処理において、
前記複数のフレーム画像に含まれる対象物を検出し、
前記複数のフレーム画像のうちの第1フレーム画像の前記動画データの時系列における前後所定枚数の第2フレーム画像においてそれぞれ検出された前記対象物及び前記対象物の周辺領域を含む複数の部分画像、を合成した合成画像を自己符号化器に入力し、
前記第1フレーム画像における検出された前記対象物及び前記対象物の周辺領域を含む部分画像を画像に対するセグメンテーション処理を行なうニューラルネットワークに入力し、
前記自己符号化器からの出力画像と前記ニューラルネットワークからの出力画像とを合成した合成出力画像と、前記第1フレーム画像における前記対象物の領域を示すアノテーション画像の部分画像との差分に基づいて、前記自己符号化器及び前記ニューラルネットワークそれぞれのパラメータ更新を行なう、
処理を前記コンピュータに実行させる、学習プログラム。 - 前記学習処理において、前記対象物を撮影した画像とは異なる画像のデータセットを用いて生成された学習済みモデルであって、入力画像に対するラベルを推定する前記学習済みモデルに前記第1フレーム画像を入力して得られた前記第1フレーム画像全体に関する特徴量を、前記自己符号化器の中間層に入力する、
処理を前記コンピュータに実行させる、請求項1に記載の学習プログラム。 - 前記複数のフレーム画像に含まれる前記対象物は、前記対象物を撮影した複数の画像を含むデータセットを用いて生成された、入力画像に含まれる前記対象物の領域を特定する学習済み物体検知モデルを用いて検出される、
請求項1又は請求項2に記載の学習プログラム。 - 推定対象物を撮影した対象動画データを含む対象データを取得し、
前記対象動画データに含まれる複数の対象フレーム画像のそれぞれに含まれる推定対象物を検出し、
前記対象動画データの時系列における第3フレーム画像の前後所定枚数の第4フレーム画像におけるそれぞれ検出された前記推定対象物及び前記推定対象物の周辺領域を含む複数の部分画像、を合成した合成画像を、前記パラメータ更新により訓練済みの前記自己符号化器に入力し、
前記第3フレーム画像における検出された前記推定対象物及び前記推定対象物の周辺領域を含む部分画像を、前記パラメータ更新により訓練済みの前記ニューラルネットワークに入力し、
前記自己符号化器からの出力画像と前記ニューラルネットワークからの出力画像とを合成した合成出力画像と、前記第3フレーム画像における前記部分画像が切り出された位置を示す位置情報とに基づいて、前記第3フレーム画像における前記推定対象物であると推定した領域を含む画像を出力する、
処理を前記コンピュータに実行させる、請求項1〜請求項3のいずれか1項に記載の学習プログラム。 - 前記複数のフレーム画像のそれぞれは、超音波画像である、
請求項1〜請求項3のいずれか1項に記載の学習プログラム。 - 前記複数のフレーム画像及び前記複数の対象フレーム画像のそれぞれは、超音波画像である、
請求項4に記載の学習プログラム。 - 対象物を撮影した動画データと、前記動画データに含まれる複数のフレーム画像それぞれにおける対象物の領域を示す複数のアノテーション画像とを含む訓練データを取得し、
前記訓練データを用いた学習処理を実行する、
処理をコンピュータが実行し、
前記学習処理において、
前記複数のフレーム画像に含まれる対象物を検出し、
前記複数のフレーム画像のうちの第1フレーム画像の前記動画データの時系列における前後所定枚数の第2フレーム画像においてそれぞれ検出された前記対象物及び前記対象物の周辺領域を含む複数の部分画像、を合成した合成画像を自己符号化器に入力し、
前記第1フレーム画像における検出された前記対象物及び前記対象物の周辺領域を含む部分画像を画像に対するセグメンテーション処理を行なうニューラルネットワークに入力し、
前記自己符号化器からの出力画像と前記ニューラルネットワークからの出力画像とを合成した合成出力画像と、前記第1フレーム画像における前記対象物の領域を示すアノテーション画像の部分画像との差分に基づいて、前記自己符号化器及び前記ニューラルネットワークそれぞれのパラメータ更新を行なう、
処理を前記コンピュータが実行する、学習方法。 - 対象物を撮影した動画データと、前記動画データに含まれる複数のフレーム画像それぞれにおける対象物の領域を示す複数のアノテーション画像とを含む訓練データを取得する取得部と、
自己符号化器と、
画像に対するセグメンテーション処理を行なうニューラルネットワークと、
前記訓練データを用いた、前記自己符号化器及び前記ニューラルネットワークそれぞれの学習処理を実行する学習実行部と、を備え、
前記学習実行部は、前記学習処理において、
前記複数のフレーム画像に含まれる対象物を検出し、
前記複数のフレーム画像のうちの第1フレーム画像の前記動画データの時系列における前後所定枚数の第2フレーム画像においてそれぞれ検出された前記対象物及び前記対象物の周辺領域を含む複数の部分画像、を合成した合成画像を前記自己符号化器に入力し、
前記第1フレーム画像における検出された前記対象物及び前記対象物の周辺領域を含む部分画像を前記ニューラルネットワークに入力し、
前記自己符号化器からの出力画像と前記ニューラルネットワークからの出力画像とを合成した合成出力画像と、前記第1フレーム画像における前記対象物の領域を示すアノテーション画像の部分画像との差分に基づいて、前記自己符号化器及び前記ニューラルネットワークそれぞれのパラメータ更新を行なう、
情報処理装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020014105A JP7333520B2 (ja) | 2020-01-30 | 2020-01-30 | 学習プログラム、学習方法、及び情報処理装置 |
US17/144,157 US11676361B2 (en) | 2020-01-30 | 2021-01-08 | Computer-readable recording medium having stored therein training program, training method, and information processing apparatus |
EP21150698.5A EP3859606A1 (en) | 2020-01-30 | 2021-01-08 | Training program, training method, and information processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020014105A JP7333520B2 (ja) | 2020-01-30 | 2020-01-30 | 学習プログラム、学習方法、及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021120814A true JP2021120814A (ja) | 2021-08-19 |
JP7333520B2 JP7333520B2 (ja) | 2023-08-25 |
Family
ID=74125082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020014105A Active JP7333520B2 (ja) | 2020-01-30 | 2020-01-30 | 学習プログラム、学習方法、及び情報処理装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11676361B2 (ja) |
EP (1) | EP3859606A1 (ja) |
JP (1) | JP7333520B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11971885B2 (en) * | 2021-02-10 | 2024-04-30 | Adobe Inc. | Retrieval aware embedding |
CN118020306A (zh) * | 2021-09-30 | 2024-05-10 | 浙江大学 | 视频编解码方法、编码器、解码器及存储介质 |
CN114283469B (zh) * | 2021-12-14 | 2022-09-23 | 贵州大学 | 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019177032A (ja) * | 2018-03-30 | 2019-10-17 | 株式会社ニデック | 眼科画像処理装置、および眼科画像処理プログラム |
JP2021524973A (ja) * | 2018-06-29 | 2021-09-16 | 日本電気株式会社 | パタン認識装置、パタン認識方法、及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10699382B2 (en) * | 2018-03-29 | 2020-06-30 | Disney Enterprises, Inc. | Denoising Monte Carlo renderings using neural networks with asymmetric loss |
US10671855B2 (en) * | 2018-04-10 | 2020-06-02 | Adobe Inc. | Video object segmentation by reference-guided mask propagation |
US11514573B2 (en) * | 2019-11-27 | 2022-11-29 | Shanghai United Imaging Intelligence Co., Ltd. | Estimating object thickness with neural networks |
-
2020
- 2020-01-30 JP JP2020014105A patent/JP7333520B2/ja active Active
-
2021
- 2021-01-08 US US17/144,157 patent/US11676361B2/en active Active
- 2021-01-08 EP EP21150698.5A patent/EP3859606A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019177032A (ja) * | 2018-03-30 | 2019-10-17 | 株式会社ニデック | 眼科画像処理装置、および眼科画像処理プログラム |
JP2021524973A (ja) * | 2018-06-29 | 2021-09-16 | 日本電気株式会社 | パタン認識装置、パタン認識方法、及びプログラム |
Non-Patent Citations (1)
Title |
---|
成田 穂: "VAEを用いた金星の地形固定構造の検出", SSII2019 [USB], JPN6023029266, 2019, JP, ISSN: 0005108370 * |
Also Published As
Publication number | Publication date |
---|---|
JP7333520B2 (ja) | 2023-08-25 |
US20210241460A1 (en) | 2021-08-05 |
US11676361B2 (en) | 2023-06-13 |
EP3859606A1 (en) | 2021-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Choi et al. | Pose2mesh: Graph convolutional network for 3d human pose and mesh recovery from a 2d human pose | |
JP7333520B2 (ja) | 学習プログラム、学習方法、及び情報処理装置 | |
US11544855B2 (en) | Method and apparatus for tracking target | |
WO2019179331A1 (zh) | 增强现实的实现方法、装置、系统、计算机设备及存储介质 | |
US20160117818A1 (en) | Computer-aided diagnosis (cad) apparatus and method using consecutive medical images | |
KR20150122715A (ko) | 이미지 시퀀스에서 객체 오클루전의 판정 | |
KR101969623B1 (ko) | 병렬 검출과 추적, 및/또는 그룹화된 피처 모션 시프트 추적을 이용한 얼굴 인식 | |
Liu et al. | High-speed video generation with an event camera | |
KR20230038086A (ko) | 영상 데이터에 포함된 얼굴 및 신체 비식별화 방법 및 이를 수행하기 위한 장치 | |
US20230386252A1 (en) | Low-resolution face recognition device and low-resolution face recognizer learning device and method | |
CN117115444A (zh) | 一种多任务图像分割方法、系统、计算机设备和存储介质 | |
US20220327811A1 (en) | System and method for composite training in machine learning architectures | |
US11756215B2 (en) | Image processing device, image processing method, and image processing program | |
Yusiong et al. | Unsupervised monocular depth estimation of driving scenes using siamese convolutional LSTM networks | |
Liu | Improving Image Stitching Effect using Super-Resolution Technique. | |
JP7322358B2 (ja) | 情報処理プログラム、情報処理方法、及び情報処理装置 | |
JP7316611B2 (ja) | 推定処理プログラム、推定処理方法、及び情報処理装置 | |
Yin et al. | Deep motion boundary detection | |
CN116664730B (zh) | 感知模型的生成方法、装置、计算机设备及存储介质 | |
KR102527642B1 (ko) | 딥러닝 기반 소형 표적 탐지 시스템 및 방법 | |
Draganov et al. | Object motion detection in video by fusion of RPCA and nmf decompositions | |
KR102648938B1 (ko) | 기하학적 일관성을 이용한 소수 샷 신경 방사장 기반 3차원 이미지 재구성 방법 및 장치 | |
Bellamine et al. | Track color space-time interest points in video | |
US20210217194A1 (en) | Method and apparatus with object information estimation and virtual object generation | |
US20230177722A1 (en) | Apparatus and method with object posture estimating |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200217 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220801 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20221102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20221102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230718 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230802 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7333520 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |