JP2020526860A - トレーニングデータの生成方法、生成装置及びその画像のセマンティックセグメンテーション方法 - Google Patents
トレーニングデータの生成方法、生成装置及びその画像のセマンティックセグメンテーション方法 Download PDFInfo
- Publication number
- JP2020526860A JP2020526860A JP2020524660A JP2020524660A JP2020526860A JP 2020526860 A JP2020526860 A JP 2020526860A JP 2020524660 A JP2020524660 A JP 2020524660A JP 2020524660 A JP2020524660 A JP 2020524660A JP 2020526860 A JP2020526860 A JP 2020526860A
- Authority
- JP
- Japan
- Prior art keywords
- scene
- object model
- semantic segmentation
- training data
- segmentation map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000012549 training Methods 0.000 title claims abstract description 77
- 238000009877 rendering Methods 0.000 claims abstract description 32
- 239000000463 material Substances 0.000 claims abstract description 30
- 230000000694 effects Effects 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005286 illumination Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 abstract description 7
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- ORFSSYGWXNGVFB-UHFFFAOYSA-N sodium 4-amino-6-[[4-[4-[(8-amino-1-hydroxy-5,7-disulfonaphthalen-2-yl)diazenyl]-3-methoxyphenyl]-2-methoxyphenyl]diazenyl]-5-hydroxynaphthalene-1,3-disulfonic acid Chemical compound COC1=C(C=CC(=C1)C2=CC(=C(C=C2)N=NC3=C(C4=C(C=C3)C(=CC(=C4N)S(=O)(=O)O)S(=O)(=O)O)O)OC)N=NC5=C(C6=C(C=C5)C(=CC(=C6N)S(=O)(=O)O)S(=O)(=O)O)O.[Na+] ORFSSYGWXNGVFB-UHFFFAOYSA-N 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- Remote Sensing (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
【選択図】なし
Description
前記3次元立体シーンの照明をオフにする時に、レンダリング後のオブジェクトモデルに基づいて各シーンに対応するセマンティックセグメンテーションマップを取得するステップを含むべきである。
元の3次元立体シーンにおいて、3次元立体シーンにおけるオブジェクトに異なるTagタグを付けるという方式によってオブジェクトに対する分類及びタグ付けを完了し、Tagタグを付けると、各tag内の全てのオブジェクトをスクリプト内で取得することができるステップ501と、
3次元立体シーンに1つの一人称視点のコントローラ(First person controller)を追加するステップ502と、
元の材質モードで3次元立体シーンを実行するステップ503と、
カメラの移動軌跡を手動で制御し、カメラの移動情報(位置座標と回転角度を含む)を位置ファイルに書き込むステップ504と、
3次元立体シーンの局所的な照明状況を動的に調整するステップ505と、
複数の固定フレームの画像をシーングラフとして切り出すステップ506と、
ステップ501で設定されたTagタグに基づいて、オブジェクトのtag分類を決定するステップ507と、
3Dシーンの照明をオフにして、モノクロ材質にレンダリングするステップ508と、
ステップ504での位置ファイルを読み取り且つモノクロ材質モードで動作する時の固定フレーム画像をセマンティックセグメンテーションマップとして切り出し、このようにして、2回の実行で同じ時間に切り出す画像が完全に同じであることを保証でき、セマンティックセグメンテーションマップとシーングラフの対応性を確保し、また、このような動作時にカメラの動きを制御する方式は、カメラ経路の設定にとってはより便利で迅速であるステップ509と、
前記セマンティックセグメンテーションマップ及び対応するシーングラフを、トレーニングデータとしてセマンティックセグメンテーションのディープラーニングアルゴリズムのトレーニングプロセスに用いられる比較グラフセットとして記憶するステップ510と、を含む。
元の3次元立体シーンでは、オブジェクトを分類し、各オブジェクトに対応するobjectID番号を付加するステップ601と、
仮想カメラの経路を設定するステップ602と、
レンダリング設定、ピクチャ保存経路、レンダリング範囲を設定し、レンダリング要素にVRayObjectIDを付加するステップ603と、
レンダリングし且つIDチャネルでレンダリングした後のセマンティックセグメンテーションマップ及び元の材質のシーングラフをそれぞれステップ603で設定された保存経路が指すファイルに出力するステップ604と、を含む。
Claims (15)
- 3次元立体シーンにおけるオブジェクトモデルに対応するクラスタグを設定するステップと、
前記3次元立体シーンのシーンパラメータを変更することによって、対応する複数のシーングラフを取得するステップと、
前記オブジェクトモデルをオブジェクトモデルのクラスタグに対応するモノクロ材質にレンダリングするステップと、
レンダリング後のオブジェクトモデルに基づいて各シーングラフに対応するセマンティックセグメンテーションマップを取得するステップと、
各シーングラフ及びシーングラフに対応するセマンティックセグメンテーションマップを1セットのトレーニングデータとして記憶するステップと、を含むことを特徴とするトレーニングデータの生成方法。 - 前記3次元立体シーンの複数のシーングラフを取得する前記ステップは、
前記3次元立体シーンにおける照明状況を動的に調整することと、
仮想カメラによって異なる照明状況でのシーングラフを収集することと、を含むことを特徴とする請求項1に記載の方法。 - 前記3次元立体シーンのシーンパラメータを変更することによって、対応する複数のシーングラフを取得する前記ステップは、
前記仮想カメラの撮影軌跡を設定することと、
前記仮想カメラが前記撮影軌跡に沿って動作する時、異なる観察視野角に位置するシーングラフを収集することと、を含むことを特徴とする請求項1に記載の方法。 - レンダリング後のオブジェクトモデルに基づいて各シーングラフに対応するセマンティックセグメンテーションマップを取得する前記ステップは、
前記3次元立体シーンの照明をオフにする時に、レンダリング後のオブジェクトモデルに基づいて各シーンに対応するセマンティックセグメンテーションマップを取得すること、を含むことを特徴とする請求項1に記載の方法。 - 前記オブジェクトモデルをオブジェクトモデルのクラスタグに対応するモノクロ材質にレンダリングする前記ステップは、
オブジェクトモデルのシーングラフにおける奥行き順序を決定することと、
前記奥行き順序に従って、前記オブジェクトモデルをオブジェクトモデルの分類タグに対応するモノクロ材質に順次レンダリングすることと、を含むことを特徴とする請求項1に記載の方法。 - 前記オブジェクトモデルをオブジェクトモデルのクラスタグに対応するモノクロ材質にレンダリングする前記ステップは、
透明なオブジェクトモデルが後のオブジェクトモデルに対して遮蔽効果を持っているか否かを判断することと、
前記透明なオブジェクトモデルが遮蔽効果を持っている場合、前記透明なオブジェクトモデルにタグを付けて分類し且つ対応するモノクロ材質にレンダリングすることと、
前記透明なオブジェクトモデルが遮蔽効果を持っていない場合、前記セマンティックセグメンテーションマップにおいて前記透明なオブジェクトモデルの透明な状態を維持し又は前記透明なオブジェクトモデルを削除することと、を含むことを特徴とする請求項1に記載の方法。 - 3次元立体シーンにおけるオブジェクトモデルに対応するクラスタグを設定する分類モジュールと、
前記3次元立体シーンのシーンパラメータを変更することによって、対応する複数のシーングラフを取得するシーングラフ生成モジュールと、
前記オブジェクトモデルをオブジェクトモデルのクラスタグに対応するモノクロ材質にレンダリングするレンダリングモジュールと、
レンダリング後のオブジェクトモデルに基づいて各シーングラフに対応するセマンティックセグメンテーションマップを取得するセマンティックセグメンテーションマップ生成モジュールと、
各シーングラフ及びシーングラフに対応するセマンティックセグメンテーションマップを1セットのトレーニングデータとして記憶する記憶モジュールと、を含むことを特徴とするトレーニングデータの生成装置。 - 前記シーングラフ生成モジュールは具体的に照明調整ユニット及び仮想カメラ制御ユニットを含み、
前記照明調整ユニットは前記3次元立体シーンにおける照明状況を動的に調整することに用いられ、
前記仮想カメラ制御ユニットは仮想カメラによって異なる照明状況でのシーングラフを収集することに用いられることを特徴とする請求項7に記載の装置。 - 前記シーングラフ生成モジュールは具体的には、
前記仮想カメラの撮影軌跡を設定し、前記仮想カメラが前記撮影軌跡に沿って動作する時、異なる観察視野角に位置するシーングラフを収集することに用いられることを特徴とする請求項7に記載の装置。 - 前記レンダリングモジュールは具体的には、前記3次元立体シーンの照明をオフにする時に、各シーンに対応するセマンティックセグメンテーションマップを取得することに用いられることを特徴とする請求項7に記載の装置。
- 前記レンダリングモジュールは具体的には、オブジェクトモデルのシーングラフにおける奥行き順序を決定し、
前記奥行き順序に従って、前記オブジェクトモデルをオブジェクトモデルの分類タグに対応するモノクロ材質に順次レンダリングすることに用いられることを特徴とする請求項7に記載の装置。 - 前記オブジェクトモデルが透明なオブジェクトである場合、前記レンダリングモジュールは具体的には、
前記透明なオブジェクトモデルが後のオブジェクトモデルに対して遮蔽効果を持っているか否かを判断し、
前記透明なオブジェクトモデルが遮蔽効果を持っている場合、前記透明なオブジェクトモデルにタグを付けて分類し且つ対応するモノクロ材質にレンダリングし、
前記透明なオブジェクトモデルが遮蔽効果を持っていない場合、前記セマンティックセグメンテーションマップにおいて前記透明なオブジェクトモデルの透明な状態を維持し又は前記透明なオブジェクトモデルを削除することに用いられることを特徴とする請求項7に記載の装置。 - 請求項1〜6のいずれか一項に記載のトレーニングデータの生成方法によって生成されるシーングラフ及び対応するセマンティックセグメンテーションマップをトレーニングデータとして利用することを特徴とする画像のセマンティックセグメンテーション方法。
- 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信接続されるメモリと、を含み、
ただし、前記メモリに前記少なくとも1つのプロセッサによって実行可能なコマンドプログラムが記憶されており、前記コマンドプログラムは、前記少なくとも1つのプロセッサに請求項1〜6のいずれか一項に記載の方法を実行させるように、前記少なくとも1つのプロセッサによって実行される、
ことを特徴とする電子機器。 - 不揮発性コンピュータ可読記憶媒体及び前記不揮発性コンピュータ可読記憶媒体に埋め込まれるコンピュータプログラムコマンドを含み、前記コンピュータプログラムコマンドは、前記プロセッサに請求項1〜6のいずれか一項に記載の方法を実行させるためのコマンドを含むことを特徴とするコンピュータプログラム製品。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2017/094312 WO2019019019A1 (zh) | 2017-07-25 | 2017-07-25 | 训练数据生成方法、生成装置及其图像语义分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020526860A true JP2020526860A (ja) | 2020-08-31 |
JP7203844B2 JP7203844B2 (ja) | 2023-01-13 |
Family
ID=61154860
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020524660A Active JP7203844B2 (ja) | 2017-07-25 | 2017-07-25 | トレーニングデータの生成方法、生成装置及びその画像のセマンティックセグメンテーション方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11281943B2 (ja) |
EP (1) | EP3660787A4 (ja) |
JP (1) | JP7203844B2 (ja) |
CN (1) | CN107690672B (ja) |
WO (1) | WO2019019019A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021530024A (ja) * | 2018-06-18 | 2021-11-04 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 一元化レンダリング |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108229479B (zh) * | 2017-08-01 | 2019-12-31 | 北京市商汤科技开发有限公司 | 语义分割模型的训练方法和装置、电子设备、存储介质 |
US10867214B2 (en) * | 2018-02-14 | 2020-12-15 | Nvidia Corporation | Generation of synthetic images for training a neural network model |
CN108509855B (zh) * | 2018-03-06 | 2021-11-23 | 成都睿码科技有限责任公司 | 一种通过增强现实生成机器学习样本图片的系统及方法 |
JP6719497B2 (ja) * | 2018-03-12 | 2020-07-08 | 株式会社 日立産業制御ソリューションズ | 画像生成方法、画像生成装置及び画像生成システム |
CN108509891A (zh) * | 2018-03-27 | 2018-09-07 | 斑马网络技术有限公司 | 图像标注方法、装置、存储介质及电子设备 |
CN108563742B (zh) * | 2018-04-12 | 2022-02-01 | 王海军 | 自动创建人工智能图像识别训练素材与标注文件的方法 |
CN108876764A (zh) * | 2018-05-21 | 2018-11-23 | 北京旷视科技有限公司 | 渲染图像获取方法、装置、系统和存储介质 |
CN108846897B (zh) * | 2018-07-03 | 2022-10-14 | 百度在线网络技术(北京)有限公司 | 三维模型表面材质模拟方法、装置、存储介质及电子设备 |
CN109190674B (zh) * | 2018-08-03 | 2021-07-20 | 百度在线网络技术(北京)有限公司 | 训练数据的生成方法及装置 |
JP7063764B2 (ja) * | 2018-08-08 | 2022-05-09 | ファナック株式会社 | 3次元モデル作成装置 |
CN109523640A (zh) * | 2018-10-19 | 2019-03-26 | 深圳增强现实技术有限公司 | 深度学习缺陷数据集方法、系统及电子设备 |
CN109452914A (zh) * | 2018-11-01 | 2019-03-12 | 北京石头世纪科技有限公司 | 智能清洁设备,清洁模式选择方法,计算机存储介质 |
CN111143424B (zh) * | 2018-11-05 | 2024-05-28 | 阿波罗智能技术(北京)有限公司 | 特征场景数据挖掘方法、装置和终端 |
JP7207842B2 (ja) * | 2019-04-24 | 2023-01-18 | 鹿島建設株式会社 | 地盤材料の粒度判定方法及びシステム |
CN110189406B (zh) * | 2019-05-31 | 2023-11-28 | 创新先进技术有限公司 | 图像数据标注方法及其装置 |
CN112308103B (zh) * | 2019-08-02 | 2023-10-20 | 杭州海康威视数字技术股份有限公司 | 生成训练样本的方法和装置 |
CN112529022B (zh) * | 2019-08-28 | 2024-03-01 | 杭州海康威视数字技术股份有限公司 | 一种训练样本的生成方法及装置 |
CN112712098A (zh) * | 2019-10-25 | 2021-04-27 | 北京四维图新科技股份有限公司 | 图像数据处理方法及装置 |
CN111047693A (zh) * | 2019-12-27 | 2020-04-21 | 浪潮(北京)电子信息产业有限公司 | 一种图像训练数据集生成方法、装置、设备及介质 |
CN111160529B (zh) * | 2019-12-28 | 2023-06-20 | 天津大学 | 基于卷积神经网络的目标位姿测量中训练样本生成方法 |
CN111145136B (zh) * | 2020-01-02 | 2023-08-18 | 国网安徽省电力有限公司超高压分公司 | 用于变电站表计图像数据集的合成方法、系统及存储介质 |
CN111259950B (zh) * | 2020-01-13 | 2022-07-05 | 南京邮电大学 | 一种基于3d模型训练yolo神经网络的方法 |
CN111325212A (zh) * | 2020-02-18 | 2020-06-23 | 北京奇艺世纪科技有限公司 | 模型训练方法、装置、电子设备和计算机可读存储介质 |
CN111680758B (zh) * | 2020-06-15 | 2024-03-05 | 杭州海康威视数字技术股份有限公司 | 图像训练样本生成方法和装置 |
CN111709431B (zh) * | 2020-06-15 | 2023-02-10 | 厦门大学 | 即时翻译方法、装置、计算机设备和存储介质 |
CN111739159A (zh) * | 2020-06-29 | 2020-10-02 | 上海商汤智能科技有限公司 | 三维模型生成方法、神经网络生成方法及装置 |
JP6932821B1 (ja) * | 2020-07-03 | 2021-09-08 | 株式会社ベガコーポレーション | 情報処理システム、方法及びプログラム |
US11694301B2 (en) | 2020-09-30 | 2023-07-04 | Alibaba Group Holding Limited | Learning model architecture for image data semantic segmentation |
CN112581604B (zh) * | 2020-12-21 | 2024-02-02 | 国网安徽省电力有限公司超高压分公司 | 变电站设备表面油污图像数据生成方法及装置 |
CN112818826A (zh) * | 2021-01-28 | 2021-05-18 | 北京市商汤科技开发有限公司 | 目标识别方法及装置、电子设备及存储介质 |
CN112950760B (zh) * | 2021-01-29 | 2023-08-11 | 杭州群核信息技术有限公司 | 一种三维合成场景数据生成系统和方法 |
WO2022165809A1 (zh) * | 2021-02-07 | 2022-08-11 | 华为技术有限公司 | 一种训练深度学习模型的方法和装置 |
CN113808251B (zh) * | 2021-08-09 | 2024-04-12 | 杭州易现先进科技有限公司 | 一种基于语义分割的稠密重建的方法、系统、装置和介质 |
CN113762422B (zh) * | 2021-11-09 | 2022-04-05 | 广州思德医疗科技有限公司 | 一种图像训练集合成方法及系统 |
CN114419289B (zh) * | 2021-12-29 | 2022-12-09 | 广州市玄武无线科技股份有限公司 | 一种基于Unity的虚拟场景货架陈列方法及系统 |
CN115249306B (zh) * | 2022-09-13 | 2022-12-02 | 腾讯科技(深圳)有限公司 | 图像分割模型训练方法、图像处理方法、装置及存储介质 |
CN115496818B (zh) * | 2022-11-08 | 2023-03-10 | 之江实验室 | 一种基于动态物体分割的语义图压缩方法和装置 |
CN115578499B (zh) * | 2022-11-29 | 2023-04-07 | 北京天图万境科技有限公司 | 一种非对称色彩失调一致性的拟合重建的方法及装置 |
CN115690592B (zh) * | 2023-01-05 | 2023-04-25 | 阿里巴巴(中国)有限公司 | 图像处理方法和模型训练方法 |
CN116109753B (zh) * | 2023-04-12 | 2023-06-23 | 深圳原世界科技有限公司 | 三维云渲染引擎装置及数据处理方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011065382A (ja) * | 2009-09-16 | 2011-03-31 | Konami Digital Entertainment Co Ltd | 画像処理装置、画像処理装置の制御方法、及びプログラム |
JP2013097473A (ja) * | 2011-10-28 | 2013-05-20 | Nintendo Co Ltd | ゲーム処理システム、ゲーム処理方法、ゲーム処理装置およびゲーム処理プログラム |
JP2016006616A (ja) * | 2014-06-20 | 2016-01-14 | ヤフー株式会社 | 学習装置、学習方法及び学習プログラム |
JP2017037424A (ja) * | 2015-08-07 | 2017-02-16 | 日本放送協会 | 学習装置、認識装置、学習プログラム、及び認識プログラム |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7574018B2 (en) * | 2005-12-07 | 2009-08-11 | Trw Automotive U.S. Llc | Virtual reality scene generator for generating training images for a pattern recognition classifier |
WO2010088840A1 (en) * | 2009-02-06 | 2010-08-12 | The Hong Kong University Of Science And Technology | Generating three-dimensional models from images |
WO2012086516A1 (ja) * | 2010-12-20 | 2012-06-28 | シャープ株式会社 | 表示装置 |
US9153031B2 (en) * | 2011-06-22 | 2015-10-06 | Microsoft Technology Licensing, Llc | Modifying video regions using mobile device input |
US8824797B2 (en) * | 2011-10-03 | 2014-09-02 | Xerox Corporation | Graph-based segmentation integrating visible and NIR information |
US8971612B2 (en) * | 2011-12-15 | 2015-03-03 | Microsoft Corporation | Learning image processing tasks from scene reconstructions |
US20140328570A1 (en) * | 2013-01-09 | 2014-11-06 | Sri International | Identifying, describing, and sharing salient events in images and videos |
US9030470B2 (en) * | 2012-08-14 | 2015-05-12 | Hong Kong Applied Science and Technology Research Institute Company Limited | Method and system for rapid three-dimensional shape measurement |
CN103268635B (zh) * | 2013-05-15 | 2016-08-10 | 北京交通大学 | 一种几何网格场景模型的分割及语义标注方法 |
CN103679192B (zh) * | 2013-09-30 | 2017-01-04 | 中国人民解放军理工大学 | 基于协方差特征的图像场景类型判别方法 |
CN104050722B (zh) * | 2014-06-06 | 2016-12-07 | 北京航空航天大学 | 一种图像内容驱动的室内三维场景布局与颜色迁移生成方法 |
GB2532075A (en) * | 2014-11-10 | 2016-05-11 | Lego As | System and method for toy recognition and detection based on convolutional neural networks |
CN104809187B (zh) * | 2015-04-20 | 2017-11-21 | 南京邮电大学 | 一种基于rgb‑d数据的室内场景语义标注方法 |
US20180108138A1 (en) * | 2015-04-29 | 2018-04-19 | Siemens Aktiengesellschaft | Method and system for semantic segmentation in laparoscopic and endoscopic 2d/2.5d image data |
US20160342861A1 (en) * | 2015-05-21 | 2016-11-24 | Mitsubishi Electric Research Laboratories, Inc. | Method for Training Classifiers to Detect Objects Represented in Images of Target Environments |
EP3156942A1 (en) * | 2015-10-16 | 2017-04-19 | Thomson Licensing | Scene labeling of rgb-d data with interactive option |
US9836673B2 (en) * | 2015-12-30 | 2017-12-05 | International Business Machines Corporation | System, method and computer program product for training a three dimensional object indentification system and identifying three dimensional objects using semantic segments |
US10217195B1 (en) * | 2017-04-17 | 2019-02-26 | Amazon Technologies, Inc. | Generation of semantic depth of field effect |
-
2017
- 2017-07-25 EP EP17919247.1A patent/EP3660787A4/en not_active Ceased
- 2017-07-25 CN CN201780001794.5A patent/CN107690672B/zh active Active
- 2017-07-25 WO PCT/CN2017/094312 patent/WO2019019019A1/zh unknown
- 2017-07-25 JP JP2020524660A patent/JP7203844B2/ja active Active
-
2020
- 2020-01-23 US US16/750,355 patent/US11281943B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011065382A (ja) * | 2009-09-16 | 2011-03-31 | Konami Digital Entertainment Co Ltd | 画像処理装置、画像処理装置の制御方法、及びプログラム |
JP2013097473A (ja) * | 2011-10-28 | 2013-05-20 | Nintendo Co Ltd | ゲーム処理システム、ゲーム処理方法、ゲーム処理装置およびゲーム処理プログラム |
JP2016006616A (ja) * | 2014-06-20 | 2016-01-14 | ヤフー株式会社 | 学習装置、学習方法及び学習プログラム |
JP2017037424A (ja) * | 2015-08-07 | 2017-02-16 | 日本放送協会 | 学習装置、認識装置、学習プログラム、及び認識プログラム |
Non-Patent Citations (1)
Title |
---|
"SceneNet RGB-D: 5M Photorealistic Images of Synthetic Indoor Trajectories with Ground Truth", ARXIV.ORG, JPN6021036862, 15 December 2016 (2016-12-15), ISSN: 0004774129 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021530024A (ja) * | 2018-06-18 | 2021-11-04 | マジック リープ, インコーポレイテッドMagic Leap,Inc. | 一元化レンダリング |
JP7411585B2 (ja) | 2018-06-18 | 2024-01-11 | マジック リープ, インコーポレイテッド | 一元化レンダリング |
Also Published As
Publication number | Publication date |
---|---|
EP3660787A4 (en) | 2021-03-03 |
US11281943B2 (en) | 2022-03-22 |
EP3660787A1 (en) | 2020-06-03 |
CN107690672A (zh) | 2018-02-13 |
WO2019019019A1 (zh) | 2019-01-31 |
US20200160114A1 (en) | 2020-05-21 |
CN107690672B (zh) | 2021-10-01 |
JP7203844B2 (ja) | 2023-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7203844B2 (ja) | トレーニングデータの生成方法、生成装置及びその画像のセマンティックセグメンテーション方法 | |
AU2020201618B2 (en) | On-set facial performance capture and transfer to a three-dimensional computer-generated model | |
US20210004973A1 (en) | Image processing method, apparatus, and storage medium | |
US11425283B1 (en) | Blending real and virtual focus in a virtual display environment | |
EP3533218B1 (en) | Simulating depth of field | |
CN110866966B (zh) | 利用与环境相匹配的逼真表面属性渲染虚拟对象 | |
WO2023116396A1 (zh) | 一种渲染显示方法、装置、计算机设备及存储介质 | |
WO2014170757A2 (en) | 3d rendering for training computer vision recognition | |
Inoue et al. | Tracking Robustness and Green View Index Estimation of Augmented and Diminished Reality for Environmental Design | |
Ma et al. | Neural compositing for real-time augmented reality rendering in low-frequency lighting environments | |
RU2606875C2 (ru) | Способ и система отображения масштабных сцен в режиме реального времени | |
US20140306953A1 (en) | 3D Rendering for Training Computer Vision Recognition | |
CN110458929B (zh) | 一种基于Three.js的室内布景渲染方法及系统 | |
KR101273531B1 (ko) | 모션 컨트롤 카메라를 이용한 실사와 cg 합성 애니메이션 제작 방법 및 시스템 | |
US11412156B1 (en) | Increasing dynamic range of a virtual production display | |
KR101615371B1 (ko) | 삼차원 애니메이션 제작방법 | |
US11677928B1 (en) | Method for image processing of image data for varying image quality levels on a two-dimensional display wall | |
KR101717777B1 (ko) | 캐릭터 단순화 기법을 적용하는 삼차원 애니메이션 제작방법 | |
KR101861129B1 (ko) | 데이터 용량 감축 기능을 갖는 삼차원 애니메이션 제작방법 | |
Wang | Research on the Application of Computer 3Dmax Image Modeling Technology in Environmental Design | |
Diao et al. | Research on the key techniques on 3D virtual campus system | |
WO2023094872A1 (en) | Increasing dynamic range of a virtual production display | |
WO2023094882A1 (en) | Increasing dynamic range of a virtual production display | |
WO2023235045A1 (en) | Providing real-time virtual background in a video session | |
KR20230149615A (ko) | 빛 추정 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200121 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20210310 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7203844 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |