JP2021068108A

JP2021068108A - ３次元仮想画像データ処理システム

Info

Publication number: JP2021068108A
Application number: JP2019192012A
Authority: JP
Inventors: 山田　晃史; Akishi Yamada; 晃史山田; 桂佑新實; Keisuke Niimi
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-10-21
Filing date: 2019-10-21
Publication date: 2021-04-30

Abstract

【課題】デザイン性が高く支配される外装部品の部材設計などに対し，自動または半自動で設計が容易かつ確実にできる３次元仮想画像データ処理システムを提供すること。【解決手段】３次元仮想画像データ処理システム１００は，３次元仮想画像データを深度画像に変換する深度画像変換部１２１と，付与された設計形状要件に基づき，学習可能なモデルを適用して深度画像の形状を変更する形状作成部１２２と，変更前の深度画像から変更後の深度画像への変化を，モデルに反映する学習部１２３を備え，形状作成部１２２は，反映後のモデルを適用して，変更前の深度画像に形状変更処理を行う。【選択図】図１

Description

本発明は３次元仮想画像データ処理システムに関し，例えば，ＣＡＤ（Computer-Aided Design）形状を変更する３次元仮想画像データ処理システムに関する。

画像処理アルゴリズムは，専門のスキルを持つ者が知識と経験を基に試行錯誤的に生成するものであった。ところが近年では，遺伝的アルゴリズムや遺伝的プログラミング，ＳＡ（Simulated Annealing）などの最適化手法を用いることにより，目的の機能を有する画像処理プログラムを自動的に生成する技術が開発されている。この技術では，入力画像とその処理結果（例えば，目標画像）とを用いた学習が行われる。例えば，遺伝的プログラミングを用いた例としては，入力画像とその処理結果とを用いて，画像処理のための部分プログラム（例えば，画像フィルタのプログラム）を組み合わせて生成される画像処理プログラムが最適化される。

また，対象物体の姿勢を推定する識別器の学習を行うためにこの識別器に与える学習用画像を生成する次のような情報処理装置が提案されている。この情報処理装置は，対象物体の形状モデルに少なくとも１つの視点を設定し，この視点から形状モデルを観察したときに，視点と形状モデルとが所定の条件を満たした場合に，この視点から形状モデルを見た形状モデルの画像を学習用画像とする。

特許文献１には，仮想空間において対象物を撮像したときの仮想撮像画像を生成し，仮想撮像画像を，画像処理プログラムを学習により生成するための入力画像とし，対象物の３次元形状を示す形状データの中から，対象物における特徴部位に対応する特徴データの選択を受け付け，入力画像における特徴部位の投影位置を特徴データに基づいて算出し，入力画像に対応する目標画像を投影位置に基づいて生成する画像処理が記載されている。

また，特許文献２には，製品における構成部位が同一あるいは類似で複数ある場合，その基礎要素をコンピュータに認識させ，自動あるいは半自動で構成部位を構成作成する操作作業ができ，また複数の部品部材で構成されている製品で，その基礎要素をコンピュータに認識させ，アセンブリ構造をとりながら，機能部位を操作作業し構成作成することができる３次元ＣＡＤ設計用のプログラムが記載されている。

国際公開第２０１７／１０９９１８号特開２００７−１１５０９２号公報

しかしながら，アセンブリ構成として組み込める規模の標準形状をベースとした形状生成は可能であるが，実際の製品開発のような細かい形状の生成には，アセンブリ構成が膨大になり生成がほぼ不可能であるという問題がある。また，標準化がむずかしい複雑な形状はアセンブリ構成だけでは表現ができないという問題もある。

デザイン性が高く支配される外装部品の部材設計などに対し，自動または半自動で設計が容易かつ確実にできる３次元ＣＡＤ設計用のシステムを提供することを目的とするものである。

一実施形態の３次元仮想画像データ処理システムは，３次元仮想画像データを深度画像に変換する深度画像変換部と，付与された設計形状要件に基づき，学習可能なモデルを適用して深度画像の形状を変更する形状作成部と，変更前の深度画像から変更後の深度画像への変化を，前記モデルに反映し，学習部とを備え，形状作成部は，反映後のモデルを適用して，変更前の深度画像に形状変更処理を行うようにした。

本発明の３次元仮想画像データ処理システムによれば，デザイン性が高く支配される外装部品の部材設計などに対し，自動または半自動で設計が容易かつ確実にできる３次元仮想画像データ処理システムを提供することができる。

本実施の形態にかかる３次元仮想画像データ処理システムの図である。Ｒ付けの一例を示す略図である。トランスミッションケースの形状の一例を示す図である。本実施の形態にかかる３次元仮想画像データ処理システムの動作の一例を示すフローチャートである。ＣＡＤ形状の一例を示す図である。分割したＣＡＤ形状の一例を示す図である。分割したＣＡＤ形状の一例を示す図である。深度画像の説明図である。深度画像作成における視線の例を示す図である。深度画像の一例を示す画像である。Ｒ値を示す画像である。予測作成された形状の一例を示す図である。予測作成された形状の一例を示す図である。ニューラルネットワークのモデルの一例を示す図である。ニューラルネットワークのモデルの一例を示す図である。本実施の形態にかかる３次元仮想画像データ処理システムの動作の一例を示すフローチャートである。予測画像の一例を示す図である。

本実施の形態
以下，図面を参照して本発明の実施の形態について説明する。図１は，本実施の形態にかかる３次元仮想画像データ処理システムの図である。図１において３次元仮想画像データ処理システム１００は，入力部１０１と，処理部１０２と，記憶部１０３と，出力部１０４とを備える。

入力部１０１は，設計形状要件の入力を受け付ける。例えば，入力部１０１は，マウス，キーボード及びタッチパネルの少なくとも１つを含むことが好適である。

処理部１０２は，具体的には，処理部１０２は，深度画像変換部１２１，形状作成部１２２及び学習部１２３を備える。例えば，処理部１０２はＣＰＵ（Central Processing Unit）を含むことが好適である。
記憶部１０３は，ＣＡＤ形状，深度画像を含む処理前のデータ，処理中のデータ，処理後のデータを記憶する。また，記憶部１０３は，処理に必要なプログラム等も記憶する。例えば，記憶部１０３は，ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory），ＳＳＤ（Solid State Drive），ハードディスクの少なくとも１つを含むことが好適である。
出力部１０４は，処理部１０２の処理結果を出力（表示）する。例えば，出力部１０４は，液晶ディスプレイまたは有機ＥＬディスプレイが好適である。

深度画像変換部１２１は，３次元仮想画像データを深度画像に変換する。
形状作成部１２２は，付与された設計形状要件に基づき，学習可能なモデルを適用して深度画像の形状を変更する。また，形状作成部１２２は，反映後のモデルを適用して，変更前の深度画像に形状変更処理を行う。
学習部１２３は，変更前の深度画像から変更後の深度画像への変化を，モデルに反映する。

次に３次元仮想画像データ処理システム１００の動作について説明する。以下の例では，トランスミッションケースのＲ付けにおけるフローを説明する。Ｒ付けとは，エッジを丸める作業である。図２は，Ｒ付けの一例を示す略図である。図２に示すように，Ｒ付けでは，エッジを有する形状２０１が，曲面形状２０２に変換される。この曲面の断面は半径Ｒを有する扇形である。

一方，Ｒ付けの対象となるトランスミッションケースの形状は，図２の例よりも非常に複雑である。図３は，トランスミッションケースの形状の一例を示す図である。図３に示すようにトランスミッションケースは，円，四角，曲線等が組み合わされた複雑な三次元形状を有している。したがって，トランスミッションケースは，様々な箇所に角を有している。これらの角を丸めることは，図２より複雑な処理が必要となる。
図４は，本実施の形態にかかる３次元仮想画像データ処理システムの動作の一例を示すフローチャートである。図４では，画像生成モデル学習の処理におけるフローを示している。

まずステップＳ４０１において，Ｒ付けされていないＣＡＤ形状と，Ｒ付けされたＣＡＤ形状（正解データ）が準備され，ステップＳ４０２に進む。

ステップＳ４０２において，ＣＡＤ形状に設計要件が付与され，ステップＳ４０３に進む。例えば，ＣＡＤ形状のエッジに設計要件（Ｒ値）が付与される。図５は，ＣＡＤ形状の一例を示す図である。図５において，Ｒ３は，半径３ｍｍの曲面に丸めることを意味する。またＲ５は半径５ｍｍの曲面に丸めることを意味する。このように，ＣＡＤ形状のエッジをそれぞれ付与された要件で処理する設定が付与される。

ステップＳ４０３において，ＡＩが学習できるサイズ（学習単位）に形状が分割され，ステップＳ４０４に進む。例えば，図５において，領域５０１，領域５０２といった領域でそれぞれ形状を分割する。図６及び図７は，分割したＣＡＤ形状の一例を示す図である。図６のＣＡＤ形状は，図５の領域５０１を分割したものである。また，図７のＣＡＤ形状は，図５の領域５０２を分割したものである。例えば，これらの領域は２５６ドット(ピクセル)×２５６ドット(ピクセル)のサイズで分割されたものである。

ステップＳ４０４において，ＣＡＤ形状から深度画像が作成され，ステップＳ４０５に進む。図８は，深度画像の説明図である。図８に示すように，深度画像は，視点平面８０１から対象となるＣＡＤ形状のサーフェス８０２までの深度（距離）を数値化したものである。例えば，複数の視線方向からの深度画像を作成することにより，一つのＣＡＤ形状から多数の深度画像を作成することができる。

図９は，深度画像作成における視線の例を示す図である。データ数を水増しするためのパラメータとしては，以下のパラメータが好適である。
・視線最大振り角／天頂
・視線分割数／天頂角
・視線分割数／方位角
・深度画像画素数（縦横共通）
・深度画像ｐｘｌ大きさ（縦横共通）
図９では，深度画像作成において，基準視線方向の数は最大振り角の範囲で３つの分割数としている。

図１０は，深度画像の一例を示す画像である。図１０において，各マス目の数値は特定の方向からの深度を示す。また，図１１は，Ｒ値を示す画像である。図１１において，各マス目の数値はＲ値を示す。

ステップＳ４０５において，深度画像を正規化し，ステップＳ４０６に進む。例えば，深度画像の正規化では，対象サーフェスの重心を深度０．５として，深度画像のドット(ピクセル)の値が０〜１に変換される。

ステップＳ４０６において，Ｒあり深度画像が予測生成され，ステップＳ４０７に進む。図１２及び図１３は，予測作成された形状の一例を示す図である。図１２は，図６の形状から予測作成された形状である。また，図１３は，図７の形状から予測作成された形状である。

ステップＳ４０７において，予測データを正解データと比較し，誤差関数が算出される。そしてステップＳ４０８に進む。

ステップＳ４０８において，予測作成の学習が行われ，ステップＳ４０６に戻る。たとえば，誤差関数により，誤差が最小化するように予測作成の学習が行われる。

具体的には，バックプロパゲーションによりニューラルネットワークを学習させてもよい。図１４は，ニューラルネットワークのモデルの一例を示す図である。図１４は，入力層１４０１，２つの中間層１４０２，１４０３，出力層１４０４からなるニューラルネットワークである。

このニューラルネットワークにおいて，中間層をさかのぼって図４のステップＳ４０６，ステップＳ４０７及びステップＳ４０８の学習を繰り返す。

ニューラルネットワークとしては畳み込みニューラルネットワークが好適である。図１５は，ニューラルネットワークのモデルの一例を示す図である。図１５に示すように，中間層の各ノードは，畳み込みフィルタ層とプーリング層を組み合わせた画像の特徴抽出を繰り返す。そして，全結合層を多層化した処理を繰り返す。

以上の動作により，形状作成の学習が行われる。次に，学習後のモデルを形状作成に適用する動作について説明する。図１６は，本実施の形態にかかる３次元仮想画像データ処理システムの動作の一例を示すフローチャートである。図１６では，画像生成モデル活用の処理におけるフローを示している。図１６において，図４と同一の処理は同じ番号を付して説明を省略する。

まずステップＳ４５１において，Ｒ付けされていないＣＡＤ形状が準備され，ステップＳ４０２に進む。

ステップＳ４０６において，Ｒあり深度画像が予測生成され，ステップＳ４５７に進む。

ステップＳ４５７において，予測生成された深度画像である予測画像をＣＡＤへインポートし，位置補正する。そしてステップＳ４５８に進む。

ステップＳ４５８において，予測画像である個々のサーフェスを結合し，ソリッド化する。図１７は，結合された予測画像の一例を示す図である。以上の動作により，形状変更の処理を実現できる。

このように，本実施の形態の３次元仮想画像データ処理システムによれば，３ＤＣＡＤ形状を深度画像に変換し，設計要件と合わせて形状変更前と変更後の深度画像を学習させ，形状変更前の深度画像から変更を予測しＣＡＤに変換することで，要件による自動形状変更ができる。

また，本実施の形態の３次元仮想画像データ処理システムによれば，設計要件から変更後の形状を予測することができ，形状作成作業の工数を低減できる。例えば，本実施の形態の３次元仮想画像データ処理システムによれば，製品における構成部位が同一あるいは類似で複数ある場合，その基礎要素をコンピュータに認識させ，自動あるいは半自動で構成部位を構成作成することができる。また，本実施の形態の３次元仮想画像データ処理システムによれば，複数の部品部材で構成されている製品で，その基礎要素をコンピュータに認識させ，アセンブリ構造をとりながら，機能部位を操作作業し構成作成することができる。

なお，本発明は上記実施の形態に限られたものではなく，趣旨を逸脱しない範囲で適宜変更することが可能である。

様々な処理を行う機能ブロックとして図面に記載される各要素は，ハードウェア的には，ＣＰＵ，メモリ，その他の回路で構成することができ，ソフトウェア的には，メモリにロードされたプログラムなどによって実現される。したがって，これらの機能ブロックがハードウェアのみ，ソフトウェアのみ，またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり，いずれかに限定されるものではない。

また，上述したプログラムは，様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され，コンピュータに供給することができる。非一時的なコンピュータ可読媒体は，様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は，磁気記録媒体（例えばフレキシブルディスク，磁気テープ，ハードディスクドライブ），光磁気記録媒体（例えば光磁気ディスク），ＣＤ−ＲＯＭ（Read Only Memory），ＣＤ−Ｒ，ＣＤ−Ｒ／Ｗ，半導体メモリ（例えば，マスクＲＯＭ，ＰＲＯＭ（Programmable ROM），ＥＰＲＯＭ（Erasable PROM），フラッシュＲＯＭ，ＲＡＭ（Random Access Memory））を含む。また，プログラムは，様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は，電気信号，光信号，及び電磁波を含む。一時的なコンピュータ可読媒体は，電線及び光ファイバ等の有線通信路，又は無線通信路を介して，プログラムをコンピュータに供給できる。

例えば，図１の構成は異なる装置に分散して備えるようにしてもよい。例えば，処理部１０２及び記憶部１０３は，機能を分割してサーバまたはクラウドコンピューティングに分散して備えるようにしてもよい。

１００３次元仮想画像データ処理システム
１０１入力部
１０２処理部
１０３記憶部
１０４出力部
１２１深度画像変換部
１２２形状作成部
１２３学習部

Claims

３次元仮想画像データを深度画像に変換する深度画像変換部と，
付与された設計形状要件に基づき，学習可能なモデルを適用して深度画像の形状を変更する形状作成部と，
変更前の深度画像から変更後の深度画像への変化を，前記モデルに反映する学習部を備え，
前記形状作成部は，反映後のモデルを適用して，変更前の深度画像に形状変更処理を行う，３次元仮想画像データ処理システム。