JP2022029079A - コンピュータシステム、データセット作成方法及びプログラム - Google Patents

コンピュータシステム、データセット作成方法及びプログラム Download PDF

Info

Publication number
JP2022029079A
JP2022029079A JP2020132198A JP2020132198A JP2022029079A JP 2022029079 A JP2022029079 A JP 2022029079A JP 2020132198 A JP2020132198 A JP 2020132198A JP 2020132198 A JP2020132198 A JP 2020132198A JP 2022029079 A JP2022029079 A JP 2022029079A
Authority
JP
Japan
Prior art keywords
sphere
image
data
annotation data
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020132198A
Other languages
English (en)
Other versions
JP6887199B1 (ja
Inventor
佳雄 奥村
Yoshio Okumura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Optim Corp
Original Assignee
Optim Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Optim Corp filed Critical Optim Corp
Priority to JP2020132198A priority Critical patent/JP6887199B1/ja
Application granted granted Critical
Publication of JP6887199B1 publication Critical patent/JP6887199B1/ja
Publication of JP2022029079A publication Critical patent/JP2022029079A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

【課題】少数枚の球体画像と、そのアノテーションデータとから、多数枚の球体画像とそのアノテーションデータとを機械学習用のデータセットとして生成し、機械学習の精度を効率良く向上させる。【解決手段】機械学習用のデータセットを作成するコンピュータシステムは、球体を撮影した第1球体画像を取得し、取得した前記第1球体画像における前記球体の所定領域をアノテーションデータとして指定し、取得した前記第1球体画像に対して、逆UVマッピングを行い、前記第1球体画像を三次元化するためのテクスチャを生成し、生成した前記テクスチャを前記球体の形状にUVマッピングを行い、当該球体の三次元データを生成し、生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第2球体画像を取得し、取得した前記第2球体画像の其々に、指定された前記アノテーションデータを設定する。【選択図】図2

Description

本発明は、機械学習用のデータセットを作成するコンピュータシステム、データセット作成方法及びプログラムに関する。
近年、様々な分野において、人工知能が利用されている。特に、医療分野において、人工知能の活用が図られている。このような人工知能は、利用者が所望するデータを収集し、このデータにアノテーションを指定し、このアノテーションを指定したデータを、教師データとして機械学習を行い、精度の向上が図られている。このような機械学習には、大量のデータセットが必要となる。
画像を用いた機械学習の場合、データセットとして画像と、この画像に対して指定したアノテーションとが必要となる。この画像の数を増やすための方法として、例えば、画像から、三次元オブジェクトを生成し、この三次元オブジェクトをデータセット用のデータとして使うことが考えられる。画像から三次元オブジェクトを生成する技術としては、一枚のRGB画像から、このRGB画像に写る人物を三次元で再現するものが知られている(非特許文献1参照)。
shizuma、"ほろ酔い開発日誌"、[online]、2019年7月3日、[2020年6月22日検索]、インターネット<https://blog.seishin55.com/entry/2019/07/03/005723>
しかしながら、医療分野におけるデータセットにおいて、医用画像の収集とそのアノテーションとは、高い専門性が求められるうえ、医用画像の収集及びアノテーションに多くの時間が必要となる。そのため、機械学習用のデータセットの作成は、コストが高くなってしまう。
非特許文献1の技術では、あくまでも、画像を三次元オブジェクトに生成するものに過ぎず、機械学習用のデータセットを作成するためのものではなかった。
本発明は、少数枚の球体画像と、そのアノテーションデータとから、多数枚の球体画像とそのアノテーションデータとを機械学習用のデータセットとして生成し、機械学習の精度を効率良く向上させることを目的とする。
本発明では、以下のような解決手段を提供する。
本発明は、機械学習用のデータセットを作成するコンピュータシステムであって、
球体を撮影した第1球体画像を取得する第1球体画像取得手段と、
取得した前記第1球体画像における前記球体の所定領域をアノテーションデータとして指定するアノテーションデータ指定手段と、
取得した前記第1球体画像に対して、逆UVマッピングを行い、前記第1球体画像を三次元化するためのテクスチャを生成するテクスチャ生成手段と、
生成した前記テクスチャを前記球体の形状にUVマッピングを行い、当該球体の三次元データを生成する三次元データ生成手段と、
生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第2球体画像を取得する第2球体画像取得手段と、
取得した前記第2球体画像の其々に、指定された前記アノテーションデータを設定するアノテーションデータ設定手段と、
を備えることを特徴とするコンピュータシステムを提供する。
本発明によれば、機械学習用のデータセットを作成するコンピュータシステムは、球体を撮影した第1球体画像を取得し、取得した前記第1球体画像における前記球体の所定領域をアノテーションデータとして指定し、取得した前記第1球体画像に対して、逆UVマッピングを行い、前記第1球体画像を三次元化するためのテクスチャを生成し、生成した前記テクスチャを前記球体の形状にUVマッピングを行い、当該球体の三次元データを生成し、生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第2球体画像を取得し、取得した前記第2球体画像の其々に、指定された前記アノテーションデータを設定する。
本発明は、システムのカテゴリであるが、コンピュータ、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
本発明によれば、少数枚の球体画像と、そのアノテーションデータとから、多数枚の球体画像とそのアノテーションデータとを機械学習用のデータセットとして生成し、機械学習の精度を効率良く向上させることが可能となる。
図1は、データセット作成システム1の全体構成図である。 図2は、コンピュータ10が実行するデータセット作成処理のフローチャートを示す図である。 図3は、第1眼底画像に指定されたアノテーションデータを模式的に示した図である。 図4は、第2眼底画像に設定されたアノテーションデータを模式的に示した図である。
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。
[データセット作成システム1の構成]
本発明の好適な実施形態であるデータセット作成システム1について説明する。データセット作成システム1は、コンピュータ10(図1参照)により構成されて良く、機械学習用のデータセット(球体画像(例えば、眼底画像)とこの球体画像に指定したアノテーションデータとからなる)を作成するコンピュータシステムである。本明細書において、球体は、眼底として説明する。また、第1球体画像及び第2球体画像は、其々、第1眼底画像及び第2眼底画像として説明する。
なお、眼底画像は、患者等の眼底を撮影した画像である。アノテーションデータは、球体画像における所定領域(異常を示す領域、正常を示す領域、その他の領域等)に指定されるアノテーション(物体検出、領域抽出、画像分類等による属性分類、属性分類に付与されるタグ等)を示すデータであって良い。
データセット作成システム1は、患者等の眼底を撮影する眼底カメラ、その他の端末や、眼底画像を登録したデータベースを記録する他のコンピュータ、装置類等が含まれていても良い。この場合、データセット作成システム1は、後述する処理を、コンピュータ10や上記の端末、コンピュータ、装置の何れか又は複数の組み合わせにより構成される。
コンピュータ10は、サーバ機能を有するコンピュータや、メインフレーム、パーソナルコンピュータ等であって良く、上述した眼底カメラ、その他の端末やコンピュータ、装置類等と、公衆回線網等を介してデータ通信可能に接続されており、必要なデータの送受信や各種処理を実行する。
コンピュータ10は、例えば、1台のコンピュータで実現されてもよいし、クラウドコンピュータのように、複数のコンピュータで実現されてもよい。本明細書におけるクラウドコンピュータとは、ある特定の機能を果たす際に、任意のコンピュータをスケーラブルに用いるものや、あるシステムを実現するために複数の機能モジュールを含み、その機能を自由に組み合わせて用いるものの何れであってもよい。
コンピュータ10は、制御部として、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWi―Fi(Wireless―Fidelity)対応デバイス等を備える。また、コンピュータ10は、記録部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ10は、処理部として、各種処理を実行する各種デバイス等を備える。
コンピュータ10において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、図1に示す、第1眼底画像取得モジュール20を実現する。また、コンピュータ10において、制御部が所定のプログラムを読み込むことにより、記録部と協働して、図1に示す、記録モジュール30を実現する。また、コンピュータ10において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、図1に示す、アノテーションデータ指定モジュール40、位置情報特定モジュール41、テクスチャ生成モジュール42、三次元データ生成モジュール43、第2眼底画像取得モジュール44、推測モジュール45、アノテーションデータ設定モジュール46を実現する。
各モジュールにおいては、第1眼底画像取得モジュール20が、第1球体画像取得手段の処理を実現し、記録モジュール30が、記録手段の処理を実現し、アノテーションデータ指定モジュール40が、アノテーションデータ指定手段の処理を実現し、テクスチャ生成モジュール42が、テクスチャ生成手段の処理を実現し、三次元データ生成モジュール43が、三次元データ生成手段の処理を実現し、第2眼底画像取得モジュール44が、第2球体画像取得手段の処理を実現し、推測モジュール45が、推測手段の処理を実現し、アノテーションデータ設定モジュール46が、アノテーションデータ設定手段の処理を実現する。
[概略]
データセット作成システムが実行する各処理の概略について、説明する。
コンピュータ10は、球体(例えば、患者等の眼底)を撮影した第1球体画像を取得する。
例えば、コンピュータ10は、眼底カメラやその他のコンピュータから、この第1球体画像を取得する。眼底カメラは、自身が撮影した眼底画像を、コンピュータ10に送信し、その他のコンピュータは、予め自身が記録したデータベースに登録された眼底画像を、コンピュータ10に送信する。コンピュータ10は、この眼底画像を第1球体画像として受信することにより、第1球体画像を取得する。また、コンピュータ10は、自身が記録した眼底画像が登録されたデータベースから、この眼底画像を第1球体画像として取得する。
コンピュータ10は、取得した第1球体画像における球体の所定領域をアノテーションデータとして指定する。この所定領域とは、上述したような、第1球体画像における異常を示す領域、正常を示す領域、その他の領域等である。また、このアノテーションデータとは、上述したような物体検出、領域抽出、画像分類等によるこの所定領域の属性分類、この属性分類に付与されるタグ等を示すデータである。
コンピュータ10は、アノテータからこの所定領域に対するアノテーションデータの指定を受け付ける。アノテータは、コンピュータ10の入力デバイス等を介して、この所定領域に対して、アノテーションデータを指定する入力を行う。コンピュータ10は、この入力されたアノテーションデータを、第1球体画像に対して、指定することになる。
コンピュータ10は、取得した第1球体画像に対して、逆UVマッピングを行い、第1球体画像を三次元化するためのテクスチャを生成する。UVマッピングとは、画像(本明細書では、第1球体画像)をUV座標系に展開し、二次元のテクスチャを、三次元オブジェクトに貼り付けるものである。逆UVマッピングとは、三次元オブジェクトをレンダリングした画像において、三次元オブジェクトの各画素が、テクスチャでどの位置に該当するかを変換することを示すものである。テクスチャとは、球体画像に写る球体を、三次元化するために必要な質感、模様、凹凸等を表現するためのデータである。
なお、コンピュータ10は、球体の非撮影領域を、球体の形状に基づいて推測して補完し、このテクスチャを生成しても良い。例えば、コンピュータ10は、球体の撮影していない領域である非撮影領域を、球体の形状に基づいて推測し、第1球体画像に写っている球体に、この推測した非撮影領域を補完し、テクスチャを生成しても良い。
コンピュータ10は、生成したテクスチャを球体の形状にUVマッピングを行い、球体の三次元データを生成する。コンピュータ10は、第1球体画像に対して、生成したテクスチャに基づいて、球体の形状にUVマッピングを行い、この球体の三次元オブジェクトを三次元データとして生成する。
コンピュータ10は、生成した三次元データを所定の角度毎に回転させ、三次元データを其々の角度で撮影した複数の第2球体画像を取得する。コンピュータ10は、生成した三次元オブジェクトを所定の角度毎(1度毎、2度毎、5度毎等)に回転させる。回転の方向は、X軸、Y軸、Z軸の何れかの軸を中心としたものであって良い。コンピュータ10は、回転後の三次元オブジェクトを撮影した第2球体画像を取得する。コンピュータ10は、角度毎に撮影した複数の第2球体画像を取得することになる。
コンピュータ10は、取得した第2球体の其々に、指定されたアノテーションデータを設定する。コンピュータ10は、三次元オブジェクトを回転させた角度と、取得した第1球体画像におけるアノテーションデータの位置情報とに基づいて、第2球体画像の其々におけるアノテーションデータの位置情報を推測する。コンピュータ10は、推測した第2球体画像の其々におけるアノテーションデータの位置情報に基づいて、この第2球体画像の其々に、アノテーションデータを設定する。
以上が、データセット作成システム1が実行する各処理の概略である。
[データセット作成処理]
図2に基づいて、コンピュータ10が実行するデータセット作成処理について説明する。図2は、コンピュータ10が実行するデータセット作成処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
最初に、第1眼底画像取得モジュール20(第1球体画像取得手段)は、眼底を撮影した第1眼底画像を取得する(ステップS10)。第1眼底画像取得モジュール20は、患者等の眼底を撮影した眼底カメラや患者等の眼底を撮影した眼底画像を登録したデータベースを記録するその他のコンピュータ等から、この第1眼底画像を取得する。眼底カメラやその他のコンピュータは、自身が撮影又は記録する眼底画像を、コンピュータ10に送信する。第1眼底画像取得モジュール20は、この眼底画像を、第1眼底画像として受信することにより、第1眼底画像を取得することになる。
なお、第1眼底画像取得モジュール20は、記録モジュール30が記録した眼底画像を、第1眼底画像として取得する構成であっても良い。
次に、アノテーションデータ指定モジュール40(アノテーションデータ指定手段)は、この取得した第1眼底画像における眼底の所定領域をアノテーションデータとして指定する(ステップS11)。所定領域は、上述のような異常を示す領域、正常を示す領域、その他の領域等である。ここで、異常を示す領域とは、毛細血管の狭窄や出血、白斑、浮腫等が認められる領域である。また、アノテーションデータとは、上述のような物体検出、領域抽出、画像分類等による属性分類や、この属性分類に付与されるタグ等を示すデータである。
アノテーションデータ指定モジュール40は、アノテータから所定領域に対するアノテーションデータの指定を受け付ける。アノテータは、入力デバイス等を介して、後述する図3に示すようなこのアノテーションデータを指定する入力を行う。この時、アノテータは、所定領域を囲う等することにより、所定領域の属性部類を行う。アノテータは、更に、この所定領域に対するタグを入力することにより、属性分類にタグを付与する。アノテーションデータ指定モジュール40は、この入力された属性分類及びタグとをアノテーションデータとして指定する。
次に、位置情報特定モジュール41は、第1眼底画像における、アノテーションデータの位置情報を特定する(ステップS12)。位置情報特定モジュール41は、上述のステップS11の処理により指定された所定領域の位置情報を、アノテーションデータの位置情報として特定する。この位置情報は、例えば、(X1,Y1)といったXY座標系で示されるものであって良い。この位置情報は、所定領域が、円又はそれに類するものである場合、この円の中心及び円周上の一又は複数の地点を所定領域の位置情報として特定する。また、この位置情報は、所定領域が、矩形又はそれに類するものである場合、各頂点を所定領域の位置情報として特定する。
なお、この位置情報は、上述した例に限らず、適宜変更可能である。
図3は、アノテーションデータ指定モジュール40が指定するアノテーションデータの一例を模式的に示す図である。上述のステップS11の処理の結果、第1眼底画像100は、所定領域として、異常を示す領域110と、この領域110に対するタグ120とが指定されている。アノテーションデータ指定モジュール40は、この領域110及びタグ120をアノテーションデータとして指定する。
位置情報特定モジュール41は、上述のステップS12の処理の結果、第1眼底画像100に置けるこの領域110の位置情報130を、(X1,Y1)、(X2,Y2)といったXY座標系で特定する。
図2に戻り、ステップS12の処理に続く処理を説明する。
記録モジュール30(記録手段)は、上述のステップS11の処理により指定されたアノテーションデータ及び上述のステップS12の処理により特定されたアノテーションデータの位置情報を記録する(ステップS13)。コンピュータ10は、本処理により記録したアノテーションデータ及びこのアノテーションデータの位置情報を後述するステップS17の処理(アノテーションデータの位置情報の推測処理)に用いる。
次に、テクスチャ生成モジュール42(テクスチャ生成手段)は、取得した第1眼底画像に対して、逆UVマッピングを行い、第1眼底画像を三次元化するためのテクスチャを生成する(ステップS14)。テクスチャ生成モジュール42は、上述のステップS10の処理により取得した第1眼底画像に対して、逆UVマッピングを行う。逆UVマッピングは、上述のような三次元オブジェクトをレンダリングした画像において、三次元オブジェクトの各画素が、テクスチャでどの位置に該当するかを変換するものである。テクスチャは、上述のような第1眼底画像に写る眼底を、三次元化するために必要な質感、模様、凹凸等を再現するためのデータである。
テクスチャ生成モジュール42は、逆UVマッピングの結果に基づいて、第1眼底画像を三次元化するためのテクスチャを生成する。このとき、テクスチャ生成モジュール42は、第1眼底画像に写っていない眼底の非撮影領域を、眼底の形状に基づいて推測し、眼底を補完する。テクスチャ生成モジュール42は、取得した第1眼底画像に写っている眼底及び被撮影領域を補完した眼底に基づいたものを三次元化するためのテクスチャを生成する。テクスチャの生成方法は、第1眼底画像における眼底と、非撮影領域における眼底との各画素に、三次元化するために必要なデータを貼り付けるものであって良い。
次に、三次元データ生成モジュール43(三次元データ生成手段)は、生成したテクスチャを眼底の形状にUVマッピングを行い、眼底の三次元データを生成する(ステップS15)。UVマッピングは、上述のような、画像(本明細書では、第1眼底画像)をUV座標系に展開し、二次元のテクスチャを、三次元オブジェクトに貼り付けるものである。
三次元データ生成モジュール43は、上述のステップS14の処理により生成したテクスチャを、眼底の形状にUVマッピングを行う。三次元データ生成モジュール43は、第1眼底画像に写っている眼底及び被撮影領域を補完した眼底と、UVマッピングとの結果とに基づいて、眼底の三次元データとして、この患者等の眼底の三次元オブジェクトを生成する。すなわち、この三次元オブジェクトは、撮影した眼底の部分だけでなく、眼底の非撮影領域の部分を補完した球体である。
次に、第2眼底画像取得モジュール44(第2球体画像取得手段)は、生成した三次元データを所定の角度毎に回転させ、三次元データを其々の角度で撮影した複数の第2眼底画像を取得する(ステップS16)。コンピュータ10は、生成した三次元オブジェクトを所定の角度毎に回転させる。所定の角度は、上述のような1度毎、2度毎、5度毎といった、所定の数値刻みである。また回転の方向は、上述のようなX軸、Y軸、Z軸の何れかの軸を中心としたものであって良い。コンピュータ10は、所定の角度毎に回転させた三次元オブジェクトを撮影する。第2眼底画像取得モジュール44は、この撮影した三次元オブジェクトの画像を、第2眼底画像として取得する。第2眼底画像取得モジュール44は、この第2眼底画像に合わせて、回転の角度及び方向を取得する。第2眼底画像取得モジュール44は、角度毎の第2眼底画像を取得することにより、複数の第2眼底画像を取得することになる。
なお、コンピュータ10は、所定の角度に回転させる際、この角度を小さく抑えて回転させることにより、補完した非撮影領域と実際との間の誤差を抑制することが望ましい。
次に、推測モジュール45(推測手段)は、回転させた角度と、記録した位置情報とに基づいて、第2眼底画像の其々におけるアノテーションデータの位置情報を推測する(ステップS17)。推測モジュール45は、上述のステップS16の処理により三次元オブジェクトを回転させた角度及び方向と、上述のステップS13の処理により記録したアノテーションデータの位置情報とに基づいて、第2眼底画像の其々に置けるアノテーションデータの位置情報を推測する。推測モジュール45は、記録したアノテーションデータの位置情報を、回転させた角度及び方向に基づいて、回転後の三次元オブジェクトにおけるアノテーションデータの位置情報を算出する、推測モジュール45は、この算出したアノテーションデータの位置情報に基づいて、この回転させた角度及び方向に該当する第2眼底画像におけるアノテーションデータの位置情報を推測する。推測モジュール45は、第2眼底画像の其々に対して、この処理を実行する。
次に、アノテーションデータ設定モジュール46(アノテーションデータ設定手段)は、取得した第2眼底画像の其々に、指定されたアノテーションデータを設定する(ステップS18)。アノテーションデータ設定モジュール46は、上述のステップS16の処理により取得した第2眼底画像の其々に、上述のステップS11の処理により指定されたアノテーションデータを設定する。具体的には、アノテーションデータ設定モジュール46は、上述のステップS17の処理により推測した第2画像の其々におけるアノテーションデータの位置情報に基づいて、第2眼底画像に対してアノテーションデータを設定する。アノテーションデータ設定モジュール46は、第2眼底画像の其々に対して、この処理を実行する。
図4は、アノテーションデータ設定モジュール46が第2眼底画像に設定したアノテーションデータの例を模式的に示す図である。図4では、右手系の座標系において、三次元オブジェクトをZ軸を中心として正の方向に其々回転させた二種類の第2眼底画像200が示されている。アノテーションデータ設定モジュール46は、第2眼底画像200の其々に、上述の図3と同様に、異常を示す領域210と、この領域210に対するタグ220とを設定する。アノテーションデータ設定モジュール46は、この領域210及びタグ220をアノテーションデータとして設定する。
コンピュータ10は、このようにして取得した第2眼底画像と、この第2眼底画像に設定したアノテーションデータとを機械学習用のデータセットとして作成することになる。この結果、コンピュータ10は、一枚の眼底画像から、複数の機械学習用のデータセットを作成することになる。コンピュータ10は、作成したデータセットを正解データとする機械学習を行うことにより、少数枚の眼底画像と、そのアノテーションデータとから、多数枚の眼底画像とそのアノテーションデータとを機械学習用のデータセットとして生成し、機械学習の精度を効率良く向上させることが可能となる。
以上が、データセット作成システム1が実行するデータセット作成処理である。
なお、本発明は、上述した説明において、球体の例として眼底に基づいて説明しているが、眼底以外の球体に対しても、適用可能である。
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供されるソフトウェア・アズ・ア・サービス(SaaS)の形態や、WEBサービス、クラウドサービスで提供されてよい。また、プログラムは、例えば、コンピュータ読取可能な記録媒体に記録された形態で提供されてもよい。
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
1 データセット作成システム、
10 コンピュータ
20 第1眼底画像取得モジュール
30 記録モジュール
40 アノテーションデータ指定モジュール
41 位置情報特定モジュール
42 テクスチャ生成モジュール
43 三次元データ生成モジュール
44 第2眼底画像取得モジュール
45 第2眼底画像取得モジュール
46 アノテーションデータ設定モジュール

Claims (6)

  1. 機械学習用のデータセットを作成するコンピュータシステムであって、
    球体を撮影した第1球体画像を取得する第1球体画像取得手段と、
    取得した前記第1球体画像における前記球体の所定領域をアノテーションデータとして指定するアノテーションデータ指定手段と、
    取得した前記第1球体画像に対して、逆UVマッピングを行い、前記第1球体画像を三次元化するためのテクスチャを生成するテクスチャ生成手段と、
    生成した前記テクスチャを前記球体の形状にUVマッピングを行い、当該球体の三次元データを生成する三次元データ生成手段と、
    生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第2球体画像を取得する第2球体画像取得手段と、
    取得した前記第2球体画像の其々に、指定された前記アノテーションデータを設定するアノテーションデータ設定手段と、
    を備えることを特徴とするコンピュータシステム。
  2. 前記テクスチャ生成手段は、前記球体の非撮影領域を、当該球体の形状に基づいて推測して補完し、前記テクスチャを生成する、
    ことを特徴とする請求項1に記載のコンピュータシステム。
  3. 前記アノテーションデータの前記第1球体画像における位置情報を記録する記録手段と、
    回転させた前記角度と、記録した前記位置情報とに基づいて、前記第2球体画像の其々におけるアノテーションデータの位置情報を推測する推測手段と、
    を更に備え、
    前記アノテーションデータ設定手段は、推測した前記第2球体画像の其々におけるアノテーションデータの位置情報に基づいて、アノテーションデータを設定する、
    ことを特徴とする請求項1に記載のコンピュータシステム。
  4. 前記球体が、眼底である、
    ことを特徴とする請求項1に記載のコンピュータシステム。
  5. 機械学習用のデータセットを作成するコンピュータシステムが実行するデータセット作成方法であって、
    球体を撮影した第1球体画像を取得するステップと、
    取得した前記第1球体画像における前記球体の所定領域をアノテーションデータとして指定するステップと、
    取得した前記第1球体画像に対して、逆UVマッピングを行い、前記第1球体画像を三次元化するためのテクスチャを生成するステップと、
    生成した前記テクスチャを前記球体の形状にUVマッピングを行い、当該球体の三次元データを生成するステップと、
    生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第2球体画像を取得するステップと、
    取得した前記第2球体画像の其々に、指定された前記アノテーションデータを設定するステップと、
    を備えることを特徴とするデータセット作成方法。
  6. 機械学習用のデータセットを作成するコンピュータに、
    球体を撮影した第1球体画像を取得するステップ、
    取得した前記第1球体画像における前記球体の所定領域をアノテーションデータとして指定するステップ、
    取得した前記第1球体画像に対して、逆UVマッピングを行い、前記第1球体画像を三次元化するためのテクスチャを生成するステップ、
    生成した前記テクスチャを前記球体の形状にUVマッピングを行い、当該球体の三次元データを生成するステップ、
    生成した前記三次元データを所定の角度毎に回転させ、当該三次元データを其々の角度で撮影した複数の第2球体画像を取得するステップ、
    取得した前記第2球体画像の其々に、指定された前記アノテーションデータを設定するステップ、
    を実行させるためのコンピュータ読み取り可能なプログラム。
JP2020132198A 2020-08-04 2020-08-04 コンピュータシステム、データセット作成方法及びプログラム Active JP6887199B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020132198A JP6887199B1 (ja) 2020-08-04 2020-08-04 コンピュータシステム、データセット作成方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020132198A JP6887199B1 (ja) 2020-08-04 2020-08-04 コンピュータシステム、データセット作成方法及びプログラム

Publications (2)

Publication Number Publication Date
JP6887199B1 JP6887199B1 (ja) 2021-06-16
JP2022029079A true JP2022029079A (ja) 2022-02-17

Family

ID=76313312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020132198A Active JP6887199B1 (ja) 2020-08-04 2020-08-04 コンピュータシステム、データセット作成方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6887199B1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339499A (ja) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp テクスチャマッピング・テクスチャモザイク処理装置
JP2001014444A (ja) * 1999-06-29 2001-01-19 Topcon Corp 医用画像合成処理装置及び記録媒体
JP2019046269A (ja) * 2017-09-04 2019-03-22 株式会社Soat 機械学習用訓練データの生成
JP2019118814A (ja) * 2017-12-28 2019-07-22 株式会社トプコン 機械学習ガイド付き撮影システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339499A (ja) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp テクスチャマッピング・テクスチャモザイク処理装置
JP2001014444A (ja) * 1999-06-29 2001-01-19 Topcon Corp 医用画像合成処理装置及び記録媒体
JP2019046269A (ja) * 2017-09-04 2019-03-22 株式会社Soat 機械学習用訓練データの生成
JP2019118814A (ja) * 2017-12-28 2019-07-22 株式会社トプコン 機械学習ガイド付き撮影システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
法橋 孝、外4名: ""眼科医療支援システム"", 第66回(平成16年)全国大会講演論文集(4), JPN6021014219, 9 March 2004 (2004-03-09), JP, pages 535 - 536, ISSN: 0004489280 *

Also Published As

Publication number Publication date
JP6887199B1 (ja) 2021-06-16

Similar Documents

Publication Publication Date Title
Kasten et al. End-to-end convolutional neural network for 3D reconstruction of knee bones from bi-planar X-ray images
Wang et al. Smartphone-based wound assessment system for patients with diabetes
US10832039B2 (en) Facial expression detection method, device and system, facial expression driving method, device and system, and storage medium
CN108875524B (zh) 视线估计方法、装置、系统和存储介质
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
CN110807451B (zh) 人脸关键点检测方法、装置、设备及存储介质
Huang et al. A coarse-to-fine algorithm for matching and registration in 3D cross-source point clouds
CN108961149B (zh) 图像处理方法、装置和系统及存储介质
US20200193591A1 (en) Methods and systems for generating 3d datasets to train deep learning networks for measurements estimation
WO2014118842A1 (ja) 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
US20200394392A1 (en) Method and apparatus for detecting face image
US20200234444A1 (en) Systems and methods for the analysis of skin conditions
Tafti et al. A comparative study on the application of SIFT, SURF, BRIEF and ORB for 3D surface reconstruction of electron microscopy images
JP2014149678A (ja) 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
JP6071002B2 (ja) 信頼度取得装置、信頼度取得方法および信頼度取得プログラム
KR102386444B1 (ko) 이미지 심도 결정 방법 및 생체 식별 방법, 회로, 디바이스, 및 매체
CN113570684A (zh) 图像处理方法、装置、计算机设备和存储介质
JP2014149677A (ja) 美容支援装置、美容支援システム、美容支援方法、並びに美容支援プログラム
CN111598899A (zh) 图像处理方法、装置及计算机可读存储介质
Galteri et al. Deep 3d morphable model refinement via progressive growing of conditional generative adversarial networks
CN111488872A (zh) 图像检测方法、装置、计算机设备和存储介质
Lüsi et al. Sase: Rgb-depth database for human head pose estimation
Sengan et al. Cost-effective and efficient 3D human model creation and re-identification application for human digital twins
CN114298997B (zh) 一种伪造图片检测方法、装置及存储介质
Wang et al. Dynamic human body reconstruction and motion tracking with low-cost depth cameras

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210305

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210310

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210514

R150 Certificate of patent or registration of utility model

Ref document number: 6887199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150