JP2022029079A - コンピュータシステム、データセット作成方法及びプログラム - Google Patents
コンピュータシステム、データセット作成方法及びプログラム Download PDFInfo
- Publication number
- JP2022029079A JP2022029079A JP2020132198A JP2020132198A JP2022029079A JP 2022029079 A JP2022029079 A JP 2022029079A JP 2020132198 A JP2020132198 A JP 2020132198A JP 2020132198 A JP2020132198 A JP 2020132198A JP 2022029079 A JP2022029079 A JP 2022029079A
- Authority
- JP
- Japan
- Prior art keywords
- sphere
- image
- data
- annotation data
- texture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
Abstract
Description
非特許文献1の技術では、あくまでも、画像を三次元オブジェクトに生成するものに過ぎず、機械学習用のデータセットを作成するためのものではなかった。
球体を撮影した第1球体画像を取得する第1球体画像取得手段と、
取得した前記第1球体画像における前記球体の所定領域をアノテーションデータとして指定するアノテーションデータ指定手段と、
取得した前記第1球体画像に対して、逆UVマッピングを行い、前記第1球体画像を三次元化するためのテクスチャを生成するテクスチャ生成手段と、
生成した前記テクスチャを前記球体の形状にUVマッピングを行い、当該球体の三次元データを生成する三次元データ生成手段と、
生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第2球体画像を取得する第2球体画像取得手段と、
取得した前記第2球体画像の其々に、指定された前記アノテーションデータを設定するアノテーションデータ設定手段と、
を備えることを特徴とするコンピュータシステムを提供する。
本発明の好適な実施形態であるデータセット作成システム1について説明する。データセット作成システム1は、コンピュータ10(図1参照)により構成されて良く、機械学習用のデータセット(球体画像(例えば、眼底画像)とこの球体画像に指定したアノテーションデータとからなる)を作成するコンピュータシステムである。本明細書において、球体は、眼底として説明する。また、第1球体画像及び第2球体画像は、其々、第1眼底画像及び第2眼底画像として説明する。
なお、眼底画像は、患者等の眼底を撮影した画像である。アノテーションデータは、球体画像における所定領域(異常を示す領域、正常を示す領域、その他の領域等)に指定されるアノテーション(物体検出、領域抽出、画像分類等による属性分類、属性分類に付与されるタグ等)を示すデータであって良い。
データセット作成システムが実行する各処理の概略について、説明する。
例えば、コンピュータ10は、眼底カメラやその他のコンピュータから、この第1球体画像を取得する。眼底カメラは、自身が撮影した眼底画像を、コンピュータ10に送信し、その他のコンピュータは、予め自身が記録したデータベースに登録された眼底画像を、コンピュータ10に送信する。コンピュータ10は、この眼底画像を第1球体画像として受信することにより、第1球体画像を取得する。また、コンピュータ10は、自身が記録した眼底画像が登録されたデータベースから、この眼底画像を第1球体画像として取得する。
コンピュータ10は、アノテータからこの所定領域に対するアノテーションデータの指定を受け付ける。アノテータは、コンピュータ10の入力デバイス等を介して、この所定領域に対して、アノテーションデータを指定する入力を行う。コンピュータ10は、この入力されたアノテーションデータを、第1球体画像に対して、指定することになる。
なお、コンピュータ10は、球体の非撮影領域を、球体の形状に基づいて推測して補完し、このテクスチャを生成しても良い。例えば、コンピュータ10は、球体の撮影していない領域である非撮影領域を、球体の形状に基づいて推測し、第1球体画像に写っている球体に、この推測した非撮影領域を補完し、テクスチャを生成しても良い。
図2に基づいて、コンピュータ10が実行するデータセット作成処理について説明する。図2は、コンピュータ10が実行するデータセット作成処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
なお、第1眼底画像取得モジュール20は、記録モジュール30が記録した眼底画像を、第1眼底画像として取得する構成であっても良い。
アノテーションデータ指定モジュール40は、アノテータから所定領域に対するアノテーションデータの指定を受け付ける。アノテータは、入力デバイス等を介して、後述する図3に示すようなこのアノテーションデータを指定する入力を行う。この時、アノテータは、所定領域を囲う等することにより、所定領域の属性部類を行う。アノテータは、更に、この所定領域に対するタグを入力することにより、属性分類にタグを付与する。アノテーションデータ指定モジュール40は、この入力された属性分類及びタグとをアノテーションデータとして指定する。
なお、この位置情報は、上述した例に限らず、適宜変更可能である。
位置情報特定モジュール41は、上述のステップS12の処理の結果、第1眼底画像100に置けるこの領域110の位置情報130を、(X1,Y1)、(X2,Y2)といったXY座標系で特定する。
記録モジュール30(記録手段)は、上述のステップS11の処理により指定されたアノテーションデータ及び上述のステップS12の処理により特定されたアノテーションデータの位置情報を記録する(ステップS13)。コンピュータ10は、本処理により記録したアノテーションデータ及びこのアノテーションデータの位置情報を後述するステップS17の処理(アノテーションデータの位置情報の推測処理)に用いる。
テクスチャ生成モジュール42は、逆UVマッピングの結果に基づいて、第1眼底画像を三次元化するためのテクスチャを生成する。このとき、テクスチャ生成モジュール42は、第1眼底画像に写っていない眼底の非撮影領域を、眼底の形状に基づいて推測し、眼底を補完する。テクスチャ生成モジュール42は、取得した第1眼底画像に写っている眼底及び被撮影領域を補完した眼底に基づいたものを三次元化するためのテクスチャを生成する。テクスチャの生成方法は、第1眼底画像における眼底と、非撮影領域における眼底との各画素に、三次元化するために必要なデータを貼り付けるものであって良い。
三次元データ生成モジュール43は、上述のステップS14の処理により生成したテクスチャを、眼底の形状にUVマッピングを行う。三次元データ生成モジュール43は、第1眼底画像に写っている眼底及び被撮影領域を補完した眼底と、UVマッピングとの結果とに基づいて、眼底の三次元データとして、この患者等の眼底の三次元オブジェクトを生成する。すなわち、この三次元オブジェクトは、撮影した眼底の部分だけでなく、眼底の非撮影領域の部分を補完した球体である。
なお、コンピュータ10は、所定の角度に回転させる際、この角度を小さく抑えて回転させることにより、補完した非撮影領域と実際との間の誤差を抑制することが望ましい。
10 コンピュータ
20 第1眼底画像取得モジュール
30 記録モジュール
40 アノテーションデータ指定モジュール
41 位置情報特定モジュール
42 テクスチャ生成モジュール
43 三次元データ生成モジュール
44 第2眼底画像取得モジュール
45 第2眼底画像取得モジュール
46 アノテーションデータ設定モジュール
Claims (6)
- 機械学習用のデータセットを作成するコンピュータシステムであって、
球体を撮影した第1球体画像を取得する第1球体画像取得手段と、
取得した前記第1球体画像における前記球体の所定領域をアノテーションデータとして指定するアノテーションデータ指定手段と、
取得した前記第1球体画像に対して、逆UVマッピングを行い、前記第1球体画像を三次元化するためのテクスチャを生成するテクスチャ生成手段と、
生成した前記テクスチャを前記球体の形状にUVマッピングを行い、当該球体の三次元データを生成する三次元データ生成手段と、
生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第2球体画像を取得する第2球体画像取得手段と、
取得した前記第2球体画像の其々に、指定された前記アノテーションデータを設定するアノテーションデータ設定手段と、
を備えることを特徴とするコンピュータシステム。 - 前記テクスチャ生成手段は、前記球体の非撮影領域を、当該球体の形状に基づいて推測して補完し、前記テクスチャを生成する、
ことを特徴とする請求項1に記載のコンピュータシステム。 - 前記アノテーションデータの前記第1球体画像における位置情報を記録する記録手段と、
回転させた前記角度と、記録した前記位置情報とに基づいて、前記第2球体画像の其々におけるアノテーションデータの位置情報を推測する推測手段と、
を更に備え、
前記アノテーションデータ設定手段は、推測した前記第2球体画像の其々におけるアノテーションデータの位置情報に基づいて、アノテーションデータを設定する、
ことを特徴とする請求項1に記載のコンピュータシステム。 - 前記球体が、眼底である、
ことを特徴とする請求項1に記載のコンピュータシステム。 - 機械学習用のデータセットを作成するコンピュータシステムが実行するデータセット作成方法であって、
球体を撮影した第1球体画像を取得するステップと、
取得した前記第1球体画像における前記球体の所定領域をアノテーションデータとして指定するステップと、
取得した前記第1球体画像に対して、逆UVマッピングを行い、前記第1球体画像を三次元化するためのテクスチャを生成するステップと、
生成した前記テクスチャを前記球体の形状にUVマッピングを行い、当該球体の三次元データを生成するステップと、
生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第2球体画像を取得するステップと、
取得した前記第2球体画像の其々に、指定された前記アノテーションデータを設定するステップと、
を備えることを特徴とするデータセット作成方法。 - 機械学習用のデータセットを作成するコンピュータに、
球体を撮影した第1球体画像を取得するステップ、
取得した前記第1球体画像における前記球体の所定領域をアノテーションデータとして指定するステップ、
取得した前記第1球体画像に対して、逆UVマッピングを行い、前記第1球体画像を三次元化するためのテクスチャを生成するステップ、
生成した前記テクスチャを前記球体の形状にUVマッピングを行い、当該球体の三次元データを生成するステップ、
生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第2球体画像を取得するステップ、
取得した前記第2球体画像の其々に、指定された前記アノテーションデータを設定するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020132198A JP6887199B1 (ja) | 2020-08-04 | 2020-08-04 | コンピュータシステム、データセット作成方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020132198A JP6887199B1 (ja) | 2020-08-04 | 2020-08-04 | コンピュータシステム、データセット作成方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6887199B1 JP6887199B1 (ja) | 2021-06-16 |
JP2022029079A true JP2022029079A (ja) | 2022-02-17 |
Family
ID=76313312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020132198A Active JP6887199B1 (ja) | 2020-08-04 | 2020-08-04 | コンピュータシステム、データセット作成方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6887199B1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339499A (ja) * | 1999-05-27 | 2000-12-08 | Mitsubishi Electric Corp | テクスチャマッピング・テクスチャモザイク処理装置 |
JP2001014444A (ja) * | 1999-06-29 | 2001-01-19 | Topcon Corp | 医用画像合成処理装置及び記録媒体 |
JP2019046269A (ja) * | 2017-09-04 | 2019-03-22 | 株式会社Soat | 機械学習用訓練データの生成 |
JP2019118814A (ja) * | 2017-12-28 | 2019-07-22 | 株式会社トプコン | 機械学習ガイド付き撮影システム |
-
2020
- 2020-08-04 JP JP2020132198A patent/JP6887199B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000339499A (ja) * | 1999-05-27 | 2000-12-08 | Mitsubishi Electric Corp | テクスチャマッピング・テクスチャモザイク処理装置 |
JP2001014444A (ja) * | 1999-06-29 | 2001-01-19 | Topcon Corp | 医用画像合成処理装置及び記録媒体 |
JP2019046269A (ja) * | 2017-09-04 | 2019-03-22 | 株式会社Soat | 機械学習用訓練データの生成 |
JP2019118814A (ja) * | 2017-12-28 | 2019-07-22 | 株式会社トプコン | 機械学習ガイド付き撮影システム |
Non-Patent Citations (1)
Title |
---|
法橋 孝、外4名: ""眼科医療支援システム"", 第66回(平成16年)全国大会講演論文集(4), JPN6021014219, 9 March 2004 (2004-03-09), JP, pages 535 - 536, ISSN: 0004489280 * |
Also Published As
Publication number | Publication date |
---|---|
JP6887199B1 (ja) | 2021-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kasten et al. | End-to-end convolutional neural network for 3D reconstruction of knee bones from bi-planar X-ray images | |
Wang et al. | Smartphone-based wound assessment system for patients with diabetes | |
US10832039B2 (en) | Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium | |
CN108875524B (zh) | 视线估计方法、装置、系统和存储介质 | |
WO2021093453A1 (zh) | 三维表情基的生成方法、语音互动方法、装置及介质 | |
CN110807451B (zh) | 人脸关键点检测方法、装置、设备及存储介质 | |
Huang et al. | A coarse-to-fine algorithm for matching and registration in 3D cross-source point clouds | |
CN108961149B (zh) | 图像处理方法、装置和系统及存储介质 | |
US20200193591A1 (en) | Methods and systems for generating 3d datasets to train deep learning networks for measurements estimation | |
WO2014118842A1 (ja) | 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム | |
US20200394392A1 (en) | Method and apparatus for detecting face image | |
US20200234444A1 (en) | Systems and methods for the analysis of skin conditions | |
Tafti et al. | A comparative study on the application of SIFT, SURF, BRIEF and ORB for 3D surface reconstruction of electron microscopy images | |
JP2014149678A (ja) | 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム | |
JP6071002B2 (ja) | 信頼度取得装置、信頼度取得方法および信頼度取得プログラム | |
KR102386444B1 (ko) | 이미지 심도 결정 방법 및 생체 식별 방법, 회로, 디바이스, 및 매체 | |
CN113570684A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
JP2014149677A (ja) | 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム | |
CN111598899A (zh) | 图像处理方法、装置及计算机可读存储介质 | |
Galteri et al. | Deep 3d morphable model refinement via progressive growing of conditional generative adversarial networks | |
CN111488872A (zh) | 图像检测方法、装置、计算机设备和存储介质 | |
Lüsi et al. | Sase: Rgb-depth database for human head pose estimation | |
Sengan et al. | Cost-effective and efficient 3D human model creation and re-identification application for human digital twins | |
CN114298997B (zh) | 一种伪造图片检测方法、装置及存储介质 | |
Wang et al. | Dynamic human body reconstruction and motion tracking with low-cost depth cameras |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210305 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210310 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210413 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210514 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6887199 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |