JP2023172893A - 対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体 - Google Patents

対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体 Download PDF

Info

Publication number
JP2023172893A
JP2023172893A JP2023057652A JP2023057652A JP2023172893A JP 2023172893 A JP2023172893 A JP 2023172893A JP 2023057652 A JP2023057652 A JP 2023057652A JP 2023057652 A JP2023057652 A JP 2023057652A JP 2023172893 A JP2023172893 A JP 2023172893A
Authority
JP
Japan
Prior art keywords
image information
dimensional representation
viewpoint
control parameter
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2023057652A
Other languages
English (en)
Other versions
JP7337428B1 (ja
Inventor
政▲権▼ ▲陳▼
Zhengquan Chen
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Zhongsheng Matrix Technology Development Co Ltd
Original Assignee
Sichuan Zhongsheng Matrix Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Zhongsheng Matrix Technology Development Co Ltd filed Critical Sichuan Zhongsheng Matrix Technology Development Co Ltd
Application granted granted Critical
Publication of JP7337428B1 publication Critical patent/JP7337428B1/ja
Publication of JP2023172893A publication Critical patent/JP2023172893A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Abstract

【課題】対象物を360度全方位から、高精度で臨場感にあふれた双方向な三次元表現が可能な、対象物の双方向な三次元表現の制御方法、装置及び記憶媒体を提供する。【解決手段】携帯電話端末、タブレット端末、コンピュータ端末などの端末装置、ネットワーク及びサーバーからなるシステムにおいて、端末装置が実行する対象物の双方向な三次元表現の制御方法は、対象物の制御指示を取得することとＳ１、複数の方位制御パラメータの組み合わせに基づいて、対象物の画像情報を取得することとＳ２、方位制御パラメータと画像情報に基づいて、対象物の双方向な表現を実現することとＳ３、を含み、端末装置から入力されるユーザーの制御指示によって、それに対応する画像情報が出力され、その繰り返しによって三次元表現を制御する。前記制御方法は、サーバーによって実行されてもよいし、端末装置によってローカルにオフラインで実行されてもよい。【選択図】図２

Description

本発明は、三次元画像の技術に関するものであり、特に対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体に関する。
従来の対象物の三次元データを収集する方法は、オブジェクトの特徴に基づいて、三次元スキャンとモデリングによって行われ、生成されたデータは、面（Surface）またはポイントクラウド（Point cloud）の形式で表現される。
しかし、従来の三次元スキャンおよびモデリングの技術は、オブジェクトの質感、素材感、サイズを正確に収集できないため、三次元表現の精度が劣るという問題がある。
また、三次元表現の制御方法が単一であり、360度の全方位及び高精度で、かつ、双方向な表現には適していない。
そこで、特許文献１には、高画質の仮想視点画像を得ようとすれば、その生成のための処理負荷が増大する課題に対し、複数のカメラによって異なる視点から撮影された複数視点画像と、撮影シーンにおける背景の三次元形状を表す背景３Ｄデータとを用いて、仮想視点画像を生成するシステムであって、前記カメラからの視点に対応するシミュレーション画像を、前記背景３Ｄデータを用いて生成する生成手段と、前記シミュレーション画像と前記カメラからの前記視点で実際に撮影された画像との差異を検出する検出手段と、検出結果に基づき前記背景３Ｄデータを更新する更新手段と、を備える仮想視点画像生成システムに関する発明が開示されており、人物等の重要なオブジェクトを含む前景画像と、そのようなオブジェクトを含まない背景画像とを分離して処理することで、仮想視点画像の生成に関する処理負荷を抑えつつ、生成される仮想視点画像における特定オブジェクトに該当する部分の高画質な仮想視点画像の生成が可能になる。
しかし、例えば、対象物が火炎、煙、水滴、プラズマなどの場合、これらの対象物は、ハイライト、高反転、高透過の特徴をもち、特許文献１にかかる発明を含め、これまでの三次元モデリングや三次元スキャンの技術では、三次元として表現できない。
これは、再現する過程で、仮想視点画像の生成に関する処理負荷を抑えることを優先するばかりに、前景画像から、物理的属性、対象物自体の情報と環境との反応情報などの種々の情報が失われることが原因であり、この解決手段は、特許文献１には一切開示されていない。
特開2019-191989公報
そこで、本発明は、前記問題点に鑑み、対象物を360度全方位から、高精度で臨場感にあふれた双方向な三次元表現が可能な、対象物の双方向な三次元表現の制御方法、装置及び記憶媒体を提供することを課題とする。
従来技術における問題点を解決するために、本発明は、以下の技術的な解決策を講じている。
なお、本発明の説明において、「内」、「下」、「上」など方位と位置関係を指示する用語は、図面に示される方位や作業中によく置く方位、位置関係に基づくものである。
また、方向または位置関係は、本発明を説明し、説明を簡略化するためのものであり、参照されるデバイスまたは要素が特定の方向を有し、特定の方向で構築または操作されなければならないことを示したり示唆したりするものではない。
さらに、「第１」、「第２」などの用語は、説明を区別するためにのみ使用され、相対的な重要性を示したり、暗示することを意味するものではない。
本発明にかかる対象物の三次元表現の制御方法は、
対象物の制御指示を取得するステップS１と、
複数の方位制御パラメータの組み合わせに基づいて、対象物の画像情報を取得するステップS２と、
方位制御パラメータと画像情報に基づいて、対象物の双方向な表現を実現するステップS３と、
を実行する対象物の双方向な三次元表現の制御方法において、
ステップS１の制御指示には、複数の方位制御パラメータ及び視点制御パラメータが含まれ、
ステップS２の複数の方位制御パラメータには、第１方位制御パラメータ、第２方位制御パラメータ及び時間制御パラメータが含まれ、
ステップS２の画像情報には、第１画像情報が含まれており、
ステップS２は、当該第１画像情報を取得するため、
異なる複数の視点から、対象物の視角境界を特定するステップと、
当該視角境界内の対象物の画像情報を特定するステップと、
当該画像情報を、画像処理によって撮影画像から切り出すことで、対象物の全ての視点における第１画像情報を取得するステップと、
を実行することを特徴とする。
本発明にかかる対象物の三次元表現の制御方法は、
前記画像情報には、第２画像情報が含まれており、
当該第２画像情報を取得するため、
撮影装置が、異なる複数の各視点における対象物との間の撮影距離を取得するステップと、
各視点の撮影距離を2以上に分割する分割点を設定し、全ての視点で、分割点でも対象物を撮影し、視点ごとに、視点及び分割点の計２以上の画像情報を取得するステップと、
視点ごとに、２以上の画像情報を合成し、対象物の第２画像情報を作成するステップと、
を実行することを特徴とする。
本発明にかかる対象物の三次元表現の制御方法は、
前記の対象物の第２画像情報を取得するステップの後、
対象物の第１画像情報および／または第２画像情報に対して属性番号を設定し、属性番号に従って画像情報を、属性番号に紐づくように予め設定された表示位置に保存する
を実行することを特徴とする。
本発明にかかる対象物の三次元表現の制御方法は、
第１方位制御パラメータ、第２方位制御パラメータ、および／または、視点制御パラメータ、並びに、時間制御パラメータに基づいて、属性番号を取得するステップと、
属性番号に基づいて、対象物の画像情報を、属性番号に紐づくように予め設定された表示位置から取得するステップと、
を実行することを特徴とする。
本発明にかかる対象物の三次元表現の制御方法は、
第１方位制御パラメータ、第２方位制御パラメータ、視点制御パラメータ、および／または時間制御パラメータに基づいて、座標系を確立するステップと、
座標系において、画像情報を用いて対象物の三次元表現を行うステップと、
を実行することを特徴とする。
本発明にかかる対象物の三次元表現の制御装置は、
対象物の制御指示を取得するための第１取得モジュールと、
複数の方位制御パラメータの組み合わせに基づいて対象物の画像情報を取得する第２取得モジュールと、
複数の方位制御パラメータと画像情報に基づいて対象物の双方向に三次元表現する三次元表現モジュール、
を含む、対象物の双方向な三次元表現のための制御装置であって、
第１取得モジュールの制御指示には、複数の方位制御パラメータ及び視点制御パラメータが含まれ、
第２取得モジュールの複数の方位制御パラメータには、第１方位制御パラメータ、第２方位制御パラメータ及び時間制御パラメータが含まれ、
第２取得モジュールの画像情報には、第１画像情報が含まれており、
第２取得モジュールは、当該第１画像情報を取得するため、
異なる複数の視点から、対象物の視角境界を特定し、
当該視角境界内の対象物の画像情報を特定し、
当該画像情報を、画像処理によって撮影画像から切り出すことで、対象物の全ての視点の第１画像情報を取得する
を実行することを特徴とする。
本発明にかかる対象物の三次元表現を制御するコンピュータ装置は、
プロセッサで実行可能なコンピュータプログラムが格納されたメモリと、
当該コンピュータプログラムを実行するプロセッサと、
他の端末装置との間の通信接続を確立するネットワークインターフェースと、
を備え、
当該プロセッサが当該コンピュータプログラムを実行することにより、
請求項1から5のいずれかに記載された対象物の双方向な三次元表現の制御方法を実行することを特徴とする。
本発明にかかる対象物の三次元表現を制御するプログラムが記録されたコンピュータ装置が読み取り可能な記録媒体は、
前記コンピュータプログラムが記録され、
当該コンピュータプログラムが実行されることで、
前記の対象物の双方向な三次元表現の制御方法を実行すること
を実行することを特徴とする。
本発明によれば、次の効果を有する。
（１）ユーザーが双方向的な要求に基づいて入力した複数の制御パラメータの任意の組み合わせを取得することにより、対象物を任意の方向、任意の視点で制御し、事前に設定された三次元表現の制御方法に基づく高精度の画像情報を任意の時間または一定期間内で再生、表現することができる。
これにより、ユーザーは、任意の視点から、対象物を静的または動的に、全方位かつ高精度に観察し、双方向的に制御できるため、臨場感にあふれる三次元表現が可能になる。
（２）同じ視点での対象物と撮影装置の間の撮影距離を2以上に分割して分割点を設定し、全ての分割点で対象物を撮影し、視点ごとに、２以上の画像情報を取得して、複数の画像情報を合成する。これにより、得られる画像情報は、拡大しても縮小しても、ノイズが少なく鮮明であるため、対象物の素材感、サイズなどの情報を保持し、双方向的に対象物を三次元表現できるほか、スムーズで迅速な表示操作が可能であり、三次元表現された対象物の臨場感がさらに向上する。
三次元表現の制御装置のシステム構成図 対象物の双方向な三次元表現の制御方法の一実施例を示すフロー図 U-V-W座標系の一実施例を示す図 U-V-W-P座標系の一実施例を示す図 対象物の双方向な三次元表現のための制御装置の構成を示した図 対象物の双方向な三次元表現のためのコンピュータ装置の構成要素を示した図
本発明の技術的解決策をより明確に説明するために、図面をもとに、以下、本発明の具体的な実施形態や先行技術を説明する。
なお、以下の説明は、本発明の実施形態の一部に過ぎず、説明に使用される「含む」、「構成する」等の用語は、特定の実施形態を説明することのみを意図しており、例示および説明のためにのみ使用され、本発明を記載した実施形態の範囲を限定することを意図するものではない。
本明細書で使用される用語は、本開示を限定することを意図するのではなく、特定の実施形態を説明するためにのみ使用される。ここで使用される用語「含む」、「含む」などは、特徴、ステップ、操作、および／または部品の存在を示しているが、1つ以上の他の特徴、ステップ、操作、または部品の存在または追加を排除するものではない。
図１は、本発明の代表的な実施例にかかるシステム構成図である。
システム構成図100は、端末装置、ネットワーク104及びサーバー105からなる。
端末装置は、携帯電話端末101、タブレット端末102、コンピュータ端末103などである。
ネットワーク104は、端末装置とサーバー105間の通信接続に用いられ、有線、無線または光ファイバーケーブルなどの様々なタイプの通信回線からなる。
ユーザーは、携帯電話端末101、タブレット端末102、コンピュータ端末103などの各種の端末装置を使用して、メッセージの受信または送信などのために、ネットワーク104を介してサーバー105に接続することができる。
各種の端末装置は、ウェブブラウザ、インスタントメッセンジャー、クライアントアプリ、コマンドラインツール等の様々な通信クライアントアプリケーションが予めインストールされていれば、当該端末装置において、オフラインで実行し、本発明の対象物の双方向な三次元表現を実行できる。
端末装置は、ディスプレイを有し、ウェブブラウジング、APPをサポートする様々な電子機器であってよく、スマートフォン、タブレット、電子ブックリーダー、ポータブルコンピュータ、デスクトップコンピュータなどを含むが、これらに限定されない。
サーバー105は、端末装置に表示されるページまたはAPPのサポートを提供するバックエンドサーバーなど、様々なサービスを提供するサーバーであってもよい。
なお、本実施例で提供される対象物の双方向な三次元表現のための制御方法は、サーバー105によって実行されてもよいし、端末装置によってローカルにオフラインで実行されてもよく、その場合、対象物の双方向な三次元表現のための制御装置をサーバー105または端末装置に設定することができる。
図1における端末装置、ネットワーク104及びサーバー105の数は、例示であり、これに限定されず、任意の数の端末装置、ネットワーク104及びサーバー105を利用できる。
図2は、本発明の対象物の双方向な三次元表現の制御方法の一実施例を示すフロー図である。
対象物の双方向な三次元表現の制御方法は、次のステップからなる。
（S1）対象物の制御指示を取得する。
制御指示は、複数の方位制御パラメータを含む。
（S2）複数の方位制御パラメータの組み合わせに基づいて、対象物の画像情報を取得する。
画像情報は、所定の三次元表現の制御方法によって取得される。
（S3）方位制御パラメータ及び画像情報に基づいて、対象物の双方向な表現を実行する。
なお、本発明における「双方向」とは、端末装置等から入力されるユーザーの制御指示によって、それに対応する画像情報が出力され、その繰り返しによって三次元表現を制御することを意味する。
ユーザーは、図1のシステム構成図100において、端末装置によって対象物の制御指示を入力し、端末装置が本発明にかかる双方向な三次元表現の制御方法を実行することができる。
また、端末装置から送信された対象物の制御指示を、ネットワーク104を介して受信したサーバー105が本発明にかかる双方向な三次元表現の制御方法を実行することもできる。
対象物の制御指示として送信される電子情報は、様々なファイル形式を選択でき、例えば、特定のファイル形式（XML、JSON、HTMLなど）であってもよいし、端末のコマンドラインで入力される文字列コマンドであってもよいし、GUI（Graphical User Interface）を介して得られるクリック、ドラッグ、スライドなどのユーザーの操作によるものであってもよい。
特定の対象物の制御指示に関する形式や内容は、ユーザーの対話要件に従って予め定義することができる。
そのため、仕様書に従って対応する解析を行い、制御指示の正しい内容を得ることができる。
対象物の制御指示は、複数の方位制御パラメータを含む。
複数の方位制御パラメータの組み合わせにより、対象物の画像情報を取得し、取得した画像情報に基づいて、対象物の対応する方向への移動及び表現を制御できる。
さらに、複数の方位制御パラメータは、第１方位制御パラメータと、第２方位制御パラメータと、時間制御パラメータとを含む。
第１方位制御パラメータは、第１方向への対象物の移動制御及び画像情報の提示に用いられる。
第２方位制御パラメータは、第２方向への対象物の移動制御及び画像情報の提示に用いられる。
第１方向及び第２方向は、三次元空間の直角座標系における対象物の直交する任意の2方向であり、例えば、XYZ座標系におけるX方向及びY方向やX方向及びZ方向またはUVW座標系におけるU方向とV方向が挙げられる。
本実施例では、UVW座標系を使用して方位制御パラメータを表し、W方向を使用して、任意の瞬間または一定期間にわたる第１方向および／または第２方向への対象物の移動及び表現を制御する方法を説明する。
複数の方位制御パラメータは、別々に使用することができ、例えば、U方向またはV方向の方位制御パラメータのみを使用して、U方向またはV方向の画像情報を取得し、取得したU方向またはV方向の画像情報に基づいて、U方向またはV方向に沿った対象物の移動及び表現を制御することができる。
また、U方向及びV方向の方位制御パラメータの組み合わせを使用して、U方向及びV方向の対象物の画像情報を取得し、取得したU方向及びV方向の画像情報に基づいて、U方向及びV方向に沿った対象物の移動及び表現を制御することができる。
U方向の方位制御パラメータおよび／またはV方向の方位制御パラメータと、時間制御パラメータとを組み合わせて、U方向および／またはV方向の対象物の移動及び表現を制御することで、ある瞬間にのみ取得したU方向またはV方向の画像情報に基づいて対象物を静的に表現したり、ある一定期間取得したU方向またはV方向の画像情報に基づいて動的に表現することができる。
そのため、ユーザーは対象物自体またはその動きを、静的または動的に多方向から観察できるようになる。
対象物の制御指示は、さらに、視点制御パラメータを含む。
視点制御パラメータは、対象物の移動及び表現を任意の視点に制御するために使用される。
視点制御パラメータは、方位制御パラメータと時間制御パラメータを組み合わせることで取得した画像情報に基づいて、任意の瞬間または期間における第１方向及び／または第２方向への対象物の移動及び表現を任意の視点で制御できる。
そのため、ユーザーは、必要に応じて、任意の視点から、対象物自体または対象物の動きを、静的または動的に観察することが容易になり、対象物を双方向に制御する際のユーザーの臨場感を向上させることができる。
なお、画像情報は、第１画像情報からなり、第１画像情報は、次のステップからなる三次元表現の制御方法によって得られる。
（１）異なる複数の視点から、対象物の視角境界を特定する。
（２）異なる複数の視点から、視角境界内の対象物の画像情報を特定する。
（３）特定した視角境界内の対象物の画像情報を、画像処理によって撮影画像から切り出すことで、全ての視点における対象物の第１画像情報を取得する。
対象物の画像情報の取得には、取得装置を用いる。
取得装置は、対象物の画像情報を取得できるものであれば、カメラ、仮想カメラ（仮想カメラは、仮想対象物体の画像情報を取得するために使用できる。）など、どのようなものでも利用できる。
対象物の画像情報を取得するには、異なる複数の視点から撮影された対象物の撮影画像を取得する。
そのため、画像情報を取得すべき対象物の視点が、例えば、視点１、視点２、視点３、視点４、・・・視点NのようにN個あると仮定した場合、対象物の撮影画像は、視点１からｎまでのｎ枚が作成される。
対象物の撮影画像の取得には、公知の撮影装置を用いる。
また、対象物の画像情報を取得する前に、対象物の画像情報から余計なノイズを除去するため、次のとおり、対象物の撮影画像をもとに、異なる複数の視点での対象物の視角境界を特定する。
例えば、視点1から撮影して取得した撮影画像に写る対象物が、矩形である場合、対象物の撮影画像の取得後、撮影画像における矩形（対象物）の中心位置を、撮影画像から公知の画像認識手段によって特定し、矩形（対象物）の中心位置が円の中心になり、かつ、矩形（対象物）が完全に収まる最小の円を、撮影画像から公知の画像認識手段によって特定し、中心位置から当該円の円周までの距離を境界半径として算出する。
また、視点２から撮影して取得した撮影画像に写る対象物が、三角形である場合、対象物の撮影画像の取得後、撮影画像における三角形（対象物）の中心位置を、撮影画像から公知の画像認識手段によって特定し、三角形（対象物）の中心位置が円の中心になり、かつ、三角形（対象物）が完全に収まる最小の円を、撮影画像から公知の画像認識手段によって特定し、中心位置から当該円の円周までの距離を境界半径として算出する。
視点３以降も、視点１、視点２と同じ方法で、境界半径を算出する。
最後に、視点１から視点Nまでの各境界半径を比較し、境界半径が最も長い視点における境界半径を最大境界半径とする。
この最大境界半径によって形成される円の円周を「視角境界」とする。
つまり、視角境界とは、異なる複数の視点から撮影されたそれぞれの撮影画像において、任意の撮影画像における対象物の中心と、その撮影画像における対象物が完全に収まる最小の円と、をつなぐ長さを「境界半径」とし、この境界半径が最も長い視点の最大境界半径によって形成される円の円周を意味する。
なお、視覚境界は、任意の2つ以上の視点の最大境界半径の組み合わせによってできる楕円（または楕円体）の端を視角境界とすることもできる。
最大境界半径によって形成される視角境界には、全ての視点から撮影された撮影画像に写る対象物が完全に収まることになる。
そこで、対象物が収められている視角境界内の画像情報を、画像処理によって撮影画像から切り出すことで、対象物の第１画像情報を取得する。
このようにして、視点１からNまでの各視点から撮影された各撮影画像から、視角境界内の画像情報のみを第１画像情報として取得する。
その結果、対象物の画像情報から余計なノイズを除去できる。
対象物が収められている視角境界内の画像情報を、撮影画像から切り出す画像処理は、深層学習に基づく画像分割などの公知の手段を用いて行うことができる。
具体的には、撮影画像から、対象物が収められている視角境界によって形成される領域を特定し、対象物を含まない領域を切断することで、対象物のみを含む領域の画像情報を取得する。
これを、複数の視点で撮影された撮影画像ごとに行うことで、対象物のみを含む画像情報を取得できる。
以上の手順により、複数の視点で撮影された撮影画像から、対象物のみを含む第１画像情報を得られ、第１画像情報に含まれる情報量を大幅に減少できる。
その結果、対象物を三次元表現するために必要な画像情報の情報量を大幅に削減でき、対象物を三次元表現する際の画像情報を読み込む情報量を少なくすることができる。
また、対象物を三次元表現する際の画像情報の読み込み時間も短縮でき、対象物の三次元表現の制御効率を向上させ、ユーザーの臨場感も向上させることができる。
また、取得した第１画像情報を、複数の副画像情報に分割し、必要に応じて副画像をスティッチング処理することで、対象物の三次元表現を制御する際に、分割した第１画像情報を復元することもできる。
複数の視点で撮影された対象物の撮影画像は、全ての視点において、同じであってもよく、一部が同じであってもよく、異なっていてもよく、対象物に対するユーザーのニーズに従って設定できる。
また、画像情報は、第２画像情報を含み、第２画像情報は、次のステップからなる三次元表現の制御方法によって得られる。
（１）撮影装置が、異なる複数の各視点における対象物との間の撮影距離を取得する。
（２）各視点の撮影距離を2以上に分割する分割点を設定し、全ての視点で、分割点でも対象物を撮影し、視点ごとに、視点及び分割点の計２以上の画像情報を取得する。
（３）視点ごとに、２以上の画像情報を合成し、対象物の第２画像情報を作成する。
対象物を撮影する撮影装置は、異なる複数の視点で撮影し、撮影画像を取得する。
その際に、それぞれの視点で、対象物と撮影装置の間の取得距離を取得する。
そして、各視点において、撮影距離を2以上に分割し、少なくとも1以上の分割点を設定する。
全ての視点において、本来の撮影箇所である各視点のほかに、分割点でも、対象物を撮影し、撮影画像を取得する。
つまり、視点ごとに、1以上の分割点で撮影された撮影画像を含む、少なくとも２以上の撮影画像を取得する。
その後、視点ごとに、少なくとも２以上の撮影画像から画像情報を取得し、２以上の画像情報を合成し、合成画像情報を作成する。
この合成画像情報を第２画像情報とする。
例えば、視点１、視点２、視点３、視点４、・・・視点Nがあると仮定する。
視点１における対象物と撮影装置の間の撮影距離を、公知の手段で取得する。
予め設定した分割数、例えば、３カットを設定すると、撮影距離を３つに分割するための分割点が２つ決まることになる。
２つの分割点のうち、分割点１で撮影された撮影画像からは画像情報１を、分割点２で撮影された撮影画像からは画像情報２を、それぞれ取得する。
分割点の設定数は、任意であり、例えば、撮影距離が長ければ、分割点を増やし、撮影距離が短ければ、分割点を減らすことができる。
このようにして、本来の撮影箇所である各視点のほかに、分割点でも画像情報を取得する。
視点ごとに、分割点の数だけ余計に取得された画像情報は、本来の撮影箇所である各視点で撮影された撮影画像をもとに取得された画像情報とともに、公知の手段で合成され、合成画像情報が作成される。
この合成画像情報が第２画像情報になる。
これにより、同じ視点から撮影された対象物の撮影画像をもとに取得された画像情報は、拡大しても縮小しても、鮮明に表現でき、対象物の素材感、サイズ等の情報を精度良く表現できる。
このように、画像の精度を向上させ、双方向に三次元表現する制御を、よりスムーズかつ迅速に行うことができるため、ユーザーの臨場感を向上させることができる。
対象物と撮影装置の撮影距離と、撮影距離の分割数は、全ての視点において、同じであってもよく、一部が同じであってもよく、異なっていてもよい。
また、対象物と撮影装置の撮影距離の分割数は、自由に設定でき、画像情報の情報量が多い場合には、分割数を増やしたり、画像情報の情報量が少ない場合には、分割数を減らすこともできる。
さらに、対象物の第１画像情報および／または第２画像情報を取得した後、対象物の第１画像情報および／または第２画像情報に対して属性番号を設定し、属性番号に従って画像情報を、属性番号に紐づくように予め設定された表示位置に保存する。
属性番号は、画像情報を取得した時の視点情報（視点１、視点２、視点３、視点４、・・・視点N）、方向情報（U方向、V方向など。または、視角境界の円周によって形成される球体（または楕円体）の緯度、経度。）、時間情報などで、各視点において取得する画像情報に関連する情報として、P-U-V-Wなどを設定することもでき、入れ子形式のP（W（U（V）））や、1-30-45-5、0001、a＆b＆c＊dなどでもよい。
属性番号の具体的な設定のルールは、現時点での視点及び／または方向の画像情報を表現できるものであれば限定されない。
対象物の第１画像情報および／または第２画像情報は、設定された属性番号に従って、データベースまたはメモリの所定の場所に格納される。
例えば、属性番号をインデックス、画像情報をコンテンツとするリレーショナルデータベース（例えばMYSQL）のテーブルや、属性番号をキー、画像情報を値とするキーと値をペアにしたデータ、属性番号P（W（U（V）））の入れ子形式に対応する画像情報などを、メモリ（例えば、非リレーショナルデータベース Redis）やファイルシステム（ハードディスク、ディスクなど）に格納できる。
これにより、属性番号に従って対応するデータを迅速に見つけることが容易になる。
また、例えば、フォルダパスP1／W1／U1／V1、P1／W2／U1／V2が、W1、W2の下のP1に格納できる時間の二つの異なる方向（または同じ方向）の2つの異なる方向でW2を表示することができる。
さらに、複数の方位制御パラメータの組み合わせに基づいて対象物の画像情報を取得し、特定の方位制御パラメータと画像情報に基づいて、対象物を三次元的に表現することもできる。
具体的には、以下のステップを実行する。
（１）第１方位制御パラメータ、第２方位制御パラメータ、および／または、視点制御パラメータ、並びに、時間制御パラメータに基づいて、属性番号を取得する。
（２）属性番号に基づいて、対象物の画像情報を、属性番号に紐づくように予め設定された表示位置から取得する。
（３）第１方位制御パラメータ、第２方位制御パラメータ、視点制御パラメータ、および／または時間制御パラメータに基づいて、座標系を確立する。
（４）座標系において、画像情報を用いて対象物の三次元表現を行う。
ユーザーによって入力された制御指示における第１方位制御パラメータ（UまたはV）および／または第２方位制御パラメータ（VまたはU）および／または視点制御パラメータ（P）及び時間制御パラメータ（W）に基づいて、特定のP-U-V-W属性番号を形成する。
この属性番号に従って、属性番号に紐づくように予め設定された表示位置から該当する画像情報を取得する。
通常は、対象物の重心（上面や下面など他の場所でもよい）を座標原点として、図３のようなU-V-W座標系を確立し、この座標系にU-V-W属性番号に従って得られた画像情報をロードして、対象物を静的または動的に表現するので、ユーザーは必要に応じて多方向から静的または動的に観察しやすくなっている。
そして、この座標系に、対象物や対象物の変化を読み込ませて、対象物を静的または動的に表現することで、ユーザーは必要に応じて対象物自体や対象物の変化を多方向から観察しやすくなる。
また、図４に示すように、対象物に対し、任意の視点Pを座標原点として、U-V-W-Pの座標系を構築することもできる。
視点Pは、対象物の表面上の点や、視角境界によって形成される球体上の点にすることもできる。
次に、この座標系にU-V-W-Pの属性番号に従って得られた画像情報をロードすることで、対象物を静止画または動画として三次元に表現される。
視点制御パラメータPと、第１方位制御パラメータU、第２方位制御パラメータV、時間制御パラメータWとの任意の組み合わせにより、任意の視点において取得した高精度な画像情報に基づいて、第１方向（UまたはV）および／または第２方向（VまたはU）の対象物の移動及び表現を、任意の時点または一定期間にわたって、制御できるので、ユーザーは、より容易に、任意の視点から、静的または動的に、全方位的かつ高精度に対象物を観察し、対象物を双方向に制御することができ、これにより、対象物を双方向に制御するユーザーの満足度を高めることができる。
以上の実施方法におけるプロセスの全てまたは一部を実現することは、関連するハードウェアに指示するコンピュータプログラムによって可能であり、このプログラムは、コンピュータ装置が読み取り可能な記録媒体に格納することができ、このプログラムを実行することで、上記した実施形態のプロセスを実現できる。
また、各フロー図におけるステップは、矢印によって順序が示されているが、必ずしも矢印によって示される順序どおりに実行されなくてもよい。
本明細書に明示的に記載されていない限り、これらのステップが実行される厳密な順序はなく、他の順序で実行することができる。
さらに、各フロー図におけるステップの少なくとも一部は、必ずしも同じ瞬間に実行されるとは限らず、異なる瞬間に実行されてもよく、複数のサブステップまたは複数のステージから構成され、それらの実行順序は必ずしも順次ではなく、他のステップまたは他のステップのサブステップまたはステージの少なくとも一部と交互または代替的に実行することもできる。
図5は、図2及び上記した三次元表現の制御方法を実現する、対象物の双方向な三次元表現のための制御装置500の構成を示したものである。
制御装置500は、図2及び上記した三次元表現の制御方法の実施手順にしたがい、対象物の双方向な三次元表現のための制御装置であり、具体的には、種々の端末装置に実装できる。
端末装置は、携帯電話端末101、タブレット端末102、コンピュータ端末103などである。
図5に示すように、制御装置500は、対象物の制御指示（複数の方位制御パラメータと視点制御パラメータを含む。）を取得するための第１取得モジュール501と、三次元表現の制御方法にかかる複数の方位制御パラメータの組み合わせに基づいて対象物の画像情報を取得する第２取得モジュール502と、複数の方位制御パラメータと画像情報に基づいて対象物を双方向に三次元表現する三次元表現モジュール503と、を備える。
図6は、図2に示した方法の実施形態として、対象物の双方向な三次元表現のためのコンピュータ装置6の構成要素を示したものであり、コンピュータ装置6は、通信可能に接続されたメモリ61、プロセッサ62、ネットワークインターフェース63、を備える。
なお、図６は、これらの構成要素61～63を有するコンピュータ装置６のみが図示されているが、図示されたすべての構成要素を実装する必要はなく、より多くの、またはより少ない構成要素を代わりに実装することができる。
コンピュータ装置6は、予め設定された、または記憶された命令に従って数値計算および／または情報処理を自動的に行うことができる装置であり、マイクロプロセッサ、特定用途向け集積回路（ASIC）、プログラマブルを含むが、これらに限定されないハードウェアを有し、FPGA（Field-Programmable GateArray）、DSP（Digital Signal Processor）、組み込みデバイスなどを有する。
コンピュータ装置6は、デスクトップコンピュータ、ラップトップ、ハンドヘルドコンピュータ及びクラウドサーバーのような装置である。
コンピュータ装置6は、キーボード、マウス、リモートコントロール、タッチパッドまたは音声起動デバイスによって、ユーザーの指示を受けることができる。
メモリ61は、少なくとも1種類の読み取り可能な記憶媒体からなり、読み取り可能な記憶媒体は、フラッシュメモリ、ハードディスク、マルチメディアカード、カード型メモリ（例えば、SDまたはDXメモリなど）、ランダムアクセスメモリ（RAM）、静的ランダムアクセスメモリ（SRAM）、読み取り専用メモリ（ROM）、電気的消去可能プログラム可能読み取り専用メモリ（EEPROM）、プログラム可能読み取り専用メモリ（Programmable Read-only リードオンリーメモリ（PROM）、磁気メモリ、ディスク、CD-ROMなどである。
メモリ61は、ハードディスクまたはメモリなどのコンピュータ装置6の内部記憶装置であってもよいし、コンピュータ装置6に装備されたプラグインハードディスク、スマートメディアカード（SMC）、セキュアデジタル（SD）カード、フラッシュカードなどのコンピュータ装置6の外部記憶装置であってもよい。
また、メモリ61は、コンピュータ装置6の内部記憶装置と外部記憶装置の両方を構成することもできる。
メモリ61は、コンピュータ装置6にインストールされているオペレーティングシステムや、対象物の双方向な三次元表現の制御方法のプログラムコード等の各種アプリケーションソフトウェアを格納するために用いられる。
また、メモリ61は、出力された、あるいは出力される予定の各種データを一時的に記憶するために使用することもできる。
プロセッサ62は、コンピュータ装置6の全体的な動作を制御するために使用されるものであり、例えば、中央処理装置（CPU）、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他のデータ処理チップである。
プロセッサ62は、メモリ61に格納されたプログラムコードを実行するため、またはデータを処理するため、例えば、対象物の双方向な三次元表現のための制御方法のためのプログラムコードを実行するために使用される。
ネットワークインターフェース63は、コンピュータ装置6と他の端末装置との間の通信接続を確立するために使用されるものであり、無線ネットワークインターフェースまたは有線ネットワークインターフェースで構成することができる。
コンピュータ装置が読み取り可能な記録媒体は、対象物の双方向な三次元表現のための制御プログラムを記録し、当該制御プログラムは、少なくとも一つのプロセッサによって実行可能である。
また、ソフトウェアに加えて必要なハードウェアプラットフォームを用いることができる。
本発明にかかる方法または装置は、ソフトウェア製品の形態で具現化することができ、ソフトウェアは、記憶媒体（例えば、ROM／RAM、ディスク、CD-ROM、DVD-ROMなど）に格納され、端末装置（例えば、携帯電話、コンピュータ、サーバー、エアコン、ネットワーク装置など）は、上記した実施例を実行する。
100 システム構成図
101 携帯電話端末
102 タブレット端末
103 コンピュータ端末
104 ネットワーク
105 サーバー
501 第１取得モジュール
502 第２取得モジュール
503 三次元表現モジュール
6 コンピュータ装置
61 メモリ
62 プロセッサ
63 ネットワークインターフェース
本発明にかかる対象物の三次元表現の制御方法は、
対象物の制御指示を取得するステップS１と、
複数の方位制御パラメータの組み合わせに基づいて、対象物の画像情報を取得するステップS２と、
方位制御パラメータと画像情報に基づいて、対象物の双方向な表現を実現するステップS３と、
を実行する対象物の双方向な三次元表現の制御方法において、
ステップS１の制御指示には、複数の方位制御パラメータ及び視点制御パラメータが含まれ、
ステップS２の複数の方位制御パラメータには、第１方位制御パラメータ、第２方位制御パラメータ及び時間制御パラメータが含まれ、
ステップS２の画像情報には、第１画像情報及び第２画像情報が含まれており、
ステップS２は、
当該第１画像情報を取得するため、
異なる複数の視点から、対象物の視角境界を特定するステップと、
当該視角境界内の対象物の画像情報を特定するステップと、
当該画像情報を、画像処理によって撮影画像から切り出すことで、対象物の全ての視点における第１画像情報を取得するステップと、
当該第２画像情報を取得するため、
撮影装置が、異なる複数の各視点における対象物との間の撮影距離を取得するステップと、
各視点の撮影距離を2以上に分割する分割点を設定し、全ての視点で、分割点でも対象物を撮影し、視点ごとに、視点及び分割点の計２以上の画像情報を取得するステップと、
視点ごとに、２以上の画像情報を合成し、対象物の第２画像情報を作成するステップと、
を実行することを特徴とする。
本発明にかかる対象物の三次元表現の制御装置は、
対象物の制御指示を取得するための第１取得モジュールと、
複数の方位制御パラメータの組み合わせに基づいて対象物の画像情報を取得する第２取得モジュールと、
複数の方位制御パラメータと画像情報に基づいて対象物の双方向に三次元表現する三次元表現モジュール、
を含む、対象物の双方向な三次元表現のための制御装置であって、
第１取得モジュールの制御指示には、複数の方位制御パラメータ及び視点制御パラメータが含まれ、
第２取得モジュールの複数の方位制御パラメータには、第１方位制御パラメータ、第２方位制御パラメータ及び時間制御パラメータが含まれ、
第２取得モジュールの画像情報には、第１画像情報及び第２画像情報が含まれており、
第２取得モジュールは、
当該第１画像情報を取得するため、
異なる複数の視点から、対象物の視角境界を特定し、
当該視角境界内の対象物の画像情報を特定し、
当該画像情報を、画像処理によって撮影画像から切り出すことで、対象物の全ての視点の第１画像情報を取得し、
当該第２画像情報を取得するため、
撮影装置が、異なる複数の各視点における対象物との間の撮影距離を取得し、
各視点の撮影距離を2以上に分割する分割点を設定し、全ての視点で、分割点でも対象物を撮影し、視点ごとに、視点及び分割点の計２以上の画像情報を取得し、
視点ごとに、２以上の画像情報を合成し、対象物の第２画像情報を作成する
を実行することを特徴とする。
本発明にかかる対象物の三次元表現を制御するコンピュータ装置は、
プロセッサで実行可能なコンピュータプログラムが格納されたメモリと、
当該コンピュータプログラムを実行するプロセッサと、
他の端末装置との間の通信接続を確立するネットワークインターフェースと、
を備え、
当該プロセッサが当該コンピュータプログラムを実行することにより、
対象物の双方向な三次元表現の制御方法を実行することを特徴とする。
本発明にかかる対象物の三次元表現を制御するプログラムが記録されたコンピュータ装置が読み取り可能な記録媒体は、
コンピュータプログラムが記録され、
コンピュータプログラムが実行されることで、
前記の対象物の双方向な三次元表現の制御方法を実行すること
を実行することを特徴とする。

Claims (8)

  1. 対象物の制御指示を取得するステップS１と、
    複数の方位制御パラメータの組み合わせに基づいて、対象物の画像情報を取得するステップS２と、
    方位制御パラメータと画像情報に基づいて、対象物の双方向な表現を実現するステップS３と、
    を実行する対象物の双方向な三次元表現の制御方法において、
    ステップS１の制御指示には、複数の方位制御パラメータ及び視点制御パラメータが含まれ、
    ステップS２の複数の方位制御パラメータには、第１方位制御パラメータ、第２方位制御パラメータ及び時間制御パラメータが含まれ、
    ステップS２の画像情報には、第１画像情報が含まれており、
    ステップS２は、当該第１画像情報を取得するため、
    異なる複数の視点から、対象物の視角境界を特定するステップと、
    当該視角境界内の対象物の画像情報を特定するステップと、
    当該画像情報を、画像処理によって撮影画像から切り出すことで、対象物の全ての視点における第１画像情報を取得するステップと、
    を実行することを特徴とする対象物の双方向な三次元表現の制御方法。
  2. 前記画像情報には、第２画像情報が含まれており、
    当該第２画像情報を取得するため、
    撮影装置が、異なる複数の各視点における対象物との間の撮影距離を取得するステップと、
    各視点の撮影距離を2以上に分割する分割点を設定し、全ての視点で、分割点でも対象物を撮影し、視点ごとに、視点及び分割点の計２以上の画像情報を取得するステップと、
    視点ごとに、２以上の画像情報を合成し、対象物の第２画像情報を作成するステップと、
    を実行することを特徴とする請求項１記載の対象物の双方向な三次元表現の制御方法。
  3. 前記の対象物の第２画像情報を取得するステップの後、
    対象物の第１画像情報および／または第２画像情報に対して属性番号を設定し、属性番号に従って画像情報を、属性番号に紐づくように予め設定された表示位置に保存する。
    ことを特徴とする請求項２記載の対象物の双方向な三次元表現の制御方法。
  4. 第１方位制御パラメータ、第２方位制御パラメータ、および／または、視点制御パラメータ、並びに、時間制御パラメータに基づいて、属性番号を取得するステップと、
    属性番号に基づいて、対象物の画像情報を、属性番号に紐づくように予め設定された表示位置から取得するステップと、
    を実行することを特徴とする請求項３記載の対象物の双方向な三次元表現の制御方法。
  5. 第１方位制御パラメータ、第２方位制御パラメータ、視点制御パラメータ、および／または時間制御パラメータに基づいて、座標系を確立するステップと、
    座標系において、画像情報を用いて対象物の三次元表現を行うステップと、
    を実行することを特徴とする請求項４記載の対象物の双方向な三次元表現の制御方法。
  6. 対象物の制御指示を取得するための第１取得モジュールと、
    複数の方位制御パラメータの組み合わせに基づいて対象物の画像情報を取得する第２取得モジュールと、
    複数の方位制御パラメータと画像情報に基づいて対象物の双方向に三次元表現する三次元表現モジュール、
    を含む、対象物の双方向な三次元表現のための制御装置であって、
    第１取得モジュールの制御指示には、複数の方位制御パラメータ及び視点制御パラメータが含まれ、
    第２取得モジュールの複数の方位制御パラメータには、第１方位制御パラメータ、第２方位制御パラメータ及び時間制御パラメータが含まれ、
    第２取得モジュールの画像情報には、第１画像情報が含まれており、
    第２取得モジュールは、当該第１画像情報を取得するため、
    異なる複数の視点から、対象物の視角境界を特定し、
    当該視角境界内の対象物の画像情報を特定し、
    当該画像情報を、画像処理によって撮影画像から切り出すことで、対象物の全ての視点の第１画像情報を取得する
    ことを特徴とする対象物の双方向な三次元表現のための制御装置。
  7. プロセッサで実行可能なコンピュータプログラムが格納されたメモリと、
    当該コンピュータプログラムを実行するプロセッサと、
    他の端末装置との間の通信接続を確立するネットワークインターフェースと、
    を備え、
    当該プロセッサが当該コンピュータプログラムを実行することにより、
    請求項1から5のいずれかに記載された対象物の双方向な三次元表現の制御方法を実行することを特徴とするコンピュータ装置。
  8. 前記コンピュータプログラムが記録され、
    当該コンピュータプログラムが実行されることで、
    請求項1から5のいずれかに記載された対象物の双方向な三次元表現の制御方法を実行することを特徴とするコンピュータ装置が読み取り可能な記録媒体。




JP2023057652A 2022-05-24 2023-03-31 対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体 Active JP7337428B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202210566832.4A CN114648615B (zh) 2022-05-24 2022-05-24 目标对象交互式重现的控制方法、装置、设备及存储介质
CN202210566832.4 2022-05-24

Publications (2)

Publication Number Publication Date
JP7337428B1 JP7337428B1 (ja) 2023-09-04
JP2023172893A true JP2023172893A (ja) 2023-12-06

Family

ID=81997602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023057652A Active JP7337428B1 (ja) 2022-05-24 2023-03-31 対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体

Country Status (7)

Country Link
US (1) US20230386041A1 (ja)
EP (1) EP4283441A1 (ja)
JP (1) JP7337428B1 (ja)
KR (1) KR20230163921A (ja)
CN (1) CN114648615B (ja)
AU (1) AU2022368364A1 (ja)
WO (1) WO2023226371A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114648615B (zh) * 2022-05-24 2022-07-29 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质
CN117640967A (zh) * 2022-08-19 2024-03-01 北京字跳网络技术有限公司 图像显示方法、图像处理方法、装置、设备及介质
CN115225884A (zh) * 2022-08-30 2022-10-21 四川中绳矩阵技术发展有限公司 一种图像和声音的交互式重现方法、系统、设备和介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6290754B2 (ja) 2014-09-11 2018-03-07 株式会社パスコ 仮想空間表示装置、仮想空間表示方法及びプログラム
EP3220357A3 (de) * 2016-03-15 2018-01-10 Siemens Healthcare GmbH Modellhaftes erzeugen und darstellen von dreidimensionalen objekten
US20180143693A1 (en) * 2016-11-21 2018-05-24 David J. Calabrese Virtual object manipulation
CN110291788B (zh) 2017-02-20 2022-03-08 索尼公司 图像处理设备和图像处理方法
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
CN108881886A (zh) * 2018-05-31 2018-11-23 成都中绳科技有限公司 一种基于相机矩阵技术实现在显示端进行大数据无损交互应用的方法
US10930183B2 (en) * 2018-11-22 2021-02-23 Electronics And Telecommunications Research Institute Hologram content generation apparatus, integrated hologram content control system having the same, and method for operating the hologram content generation apparatus
CN110473285B (zh) * 2019-07-30 2024-03-01 上海联影智能医疗科技有限公司 图像重构方法、装置、计算机设备和存储介质
CN113269864A (zh) * 2020-02-14 2021-08-17 福州非圆网络科技有限公司 一种多视角三维重建装置及方法
CN111696193B (zh) * 2020-05-06 2023-08-25 广东康云科技有限公司 基于三维场景的物联网控制方法、系统、装置及存储介质
JP7458889B2 (ja) 2020-05-08 2024-04-01 キヤノン株式会社 画像表示装置、制御方法、およびプログラム
CN113784148A (zh) * 2020-06-10 2021-12-10 阿里巴巴集团控股有限公司 数据处理方法、系统、相关设备和存储介质
CN111708366B (zh) * 2020-06-29 2023-06-06 山东浪潮科学研究院有限公司 机器人及其行动控制方法、装置和计算机可读存储介质
CN112291550A (zh) * 2020-10-29 2021-01-29 苏州浪潮智能科技有限公司 自由视点图像生成方法、装置、系统及可读存储介质
CN114049674A (zh) * 2021-11-24 2022-02-15 华中科技大学鄂州工业技术研究院 一种三维人脸重建方法、装置及存储介质
CN114648615B (zh) * 2022-05-24 2022-07-29 四川中绳矩阵技术发展有限公司 目标对象交互式重现的控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP7337428B1 (ja) 2023-09-04
CN114648615A (zh) 2022-06-21
KR20230163921A (ko) 2023-12-01
CN114648615B (zh) 2022-07-29
WO2023226371A1 (zh) 2023-11-30
US20230386041A1 (en) 2023-11-30
AU2022368364A1 (en) 2023-12-14
EP4283441A1 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
JP7337428B1 (ja) 対象物の双方向な三次元表現の制御方法、制御装置及び記録媒体
KR101636027B1 (ko) 실세계 객체들의 3ｄ 모델들 및 실제 스케일 메타데이터를 캡처하고 이동시키기 위한 방법들 및 시스템들
US9904664B2 (en) Apparatus and method providing augmented reality contents based on web information structure
CN106846497B (zh) 应用于终端的呈现三维地图的方法和装置
CN109829981B (zh) 三维场景呈现方法、装置、设备及存储介质
CN112074797A (zh) 用于将虚拟对象锚定到物理位置的系统和方法
EP3058451B1 (en) Techniques for navigation among multiple images
JP6096634B2 (ja) 仮想現実を用いた３次元地図表示システム
CN103914876A (zh) 用于在3d地图上显示视频的方法和设备
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
CN115769260A (zh) 基于光度测量的3d对象建模
KR20220159466A (ko) 생체인식 데이터를 사용하는 심도 추정
CN110036356B (zh) Vr系统中的图像处理
CN109816791B (zh) 用于生成信息的方法和装置
CN116245999A (zh) 文字渲染方法、装置、电子设备及可读存储介质
KR101909994B1 (ko) 나노블럭을 이용한 3d 증강현실 서비스 제공 방법
CN115018975A (zh) 数据集生成方法、装置、电子设备及存储介质
CN113867875A (zh) 标记对象的编辑及显示方法、装置、设备、存储介质
CN116349220A (zh) 实时视频编辑
CN108920598A (zh) 全景图浏览方法、装置、终端设备、服务器及存储介质
US20230326147A1 (en) Helper data for anchors in augmented reality
CN115516406B (zh) 使用生物数据进行的深度估计
US20230209171A1 (en) Image processing apparatus, image processing method, and program
JP2023002703A (ja) 表示方法、表示装置、電子機器、記憶媒体及びコンピュータプログラム
CN115861509A (zh) 虚拟车展实现方法、计算机装置及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230331

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230630

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230816

R150 Certificate of patent or registration of utility model

Ref document number: 7337428

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150