JP2022531190A - 画像処理方法及びその装置、機器並びに記憶媒体 - Google Patents

画像処理方法及びその装置、機器並びに記憶媒体 Download PDF

Info

Publication number
JP2022531190A
JP2022531190A JP2021564316A JP2021564316A JP2022531190A JP 2022531190 A JP2022531190 A JP 2022531190A JP 2021564316 A JP2021564316 A JP 2021564316A JP 2021564316 A JP2021564316 A JP 2021564316A JP 2022531190 A JP2022531190 A JP 2022531190A
Authority
JP
Japan
Prior art keywords
virtual object
image
reference surface
display size
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021564316A
Other languages
English (en)
Other versions
JP7261904B2 (ja
Inventor
シウユエン フー
ウェイ イエ
ジエンボー ジャン
ユーフェイ リー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2022531190A publication Critical patent/JP2022531190A/ja
Application granted granted Critical
Publication of JP7261904B2 publication Critical patent/JP7261904B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本願の実施例は、画像処理方法及びその装置、機器並びに記憶媒体を提供する。前記方法は、画像収集装置により収集された画像に基づいて、仮想対象を置く第１参考面を決定することと、前記第１参考面に対する前記画像収集装置の位置姿勢情報、及び置こうとする仮想対象を取得することと、前記位置姿勢情報に基づいて、前記仮想対象の表示サイズを決定することと、前記仮想対象を表示サイズに従って前記画像にレンダリングすることと、を含む。

Description

（関連出願の相互参照）
本願は、２０１９年０８月２８日に出願された、出願番号が２０１９１０８０３９８１．６である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。
本願は、コンピュータビジョン技術分野に関し、画像処理方法及びその装置、機器並びに記憶媒体に関するが、これらに限定されない。
拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）は、カメラの撮影対象の位置及び角度をリアルタイムで算出して、対応する画像と組み合わせるという技術である。仮想対象と現実世界を融合させることで、ＡＲ技術は、臨場感を有するインタラクティブ体験を提供し、ユーザと周辺世界との交流及び対話を補強する。ＡＲ技術は、教育、ショッピング、芸術及びゲームなどの様々な分野に広く用いられている。
拡張現実シーンに仮想対象を置く時に、関連技術において一般的には、物体を手動で拡大又は縮小した後、置き位置を選択するという方法を利用している。これにより、ユーザによる操作が増加するだけでなく、インタラクティブなＡＲ体験プロセスを行うこともできない。
これに鑑み、本願の実施例は、画像処理方法及びその装置、機器並びに記憶媒体を提供することが望ましい。
本願の実施例は、画像処理方法を提供する。前記方法は、
画像収集装置により収集された画像に基づいて、仮想対象を置く第１参考面を決定することと、
前記第１参考面に対する前記画像収集装置の位置姿勢情報、及び置こうとする仮想対象を取得することと、
前記位置姿勢情報に基づいて、前記仮想対象の表示サイズを決定することと、
前記仮想対象を表示サイズに従って前記画像にレンダリングすることと、を含む。
これにより、画像収集装置と仮想対象の置く平面との位置姿勢情報を調整することで、仮想対象の表示サイズを自動的に調整することを実現させることができる。手動調整を必要とせず、操作を簡略化できるだけでなく、拡張現実アプリケーションの対話性及び娯楽性を向上させることもできる。
上記技術的解決手段において、前記位置姿勢情報に基づいて、前記仮想対象の表示サイズを決定することは、
前記位置姿勢情報に基づいて、前記画像収集装置の所在する第２参考面と前記第１参考面との夾角を決定することと、
前記夾角に基づいて前記仮想対象の表示サイズを決定することと、を含む。
これにより、画像収集装置の所在する第２参考面と第１参考面との夾角に基づいて、表示サイズを決定することができる。従って、仮想対象の表示サイズの自動調整を実現させ、端末の知能性を向上させる。
上記技術的解決手段において、前記位置姿勢情報に基づいて、前記画像収集装置の所在する第２参考面と前記第１参考面との夾角を決定することは、
前記位置姿勢情報に基づいて、第１座標系における前記画像収集装置の第１座標情報を決定することであって、第１座標系は、前記第１参考面に基づいて確立される座標系である、ことと、
前記画像収集装置内のカメラの光心を通過し、且つ前記第２参考面に垂直している直線と前記第１参考面との交点の第２座標情報を取得することと、
前記第１座標情報及び前記第２座標情報に基づいて、前記第１参考面と前記第２参考面との夾角を決定することと、を含む。
従って、上記技術的解決手段により、第１参考面と第２参考面との夾角を決定し、後続で夾角に基づいて表示サイズを決定するために必要なデータ根拠を提供することができる。
上記技術的解決手段において、前記夾角に基づいて前記仮想対象の表示サイズを決定することは、
表示サイズと角度との対応関係を取得することと、
前記対応関係及び前記夾角に基づいて、前記仮想対象の表示サイズを決定することと、を含む。
これにより、表示サイズと角度との対応関係により、第１参考面と第２参考面との夾角に対応する表示サイズを決定することができる。従って、画像処理装置は、該表示サイズに基づいて仮想対象をレンダリングし、ＡＲの対話性及び娯楽性を向上させることができる。
上記技術的解決手段において、前記方法は、
前記第２座標情報及び前記仮想対象の表示サイズに基づいて、前記第１参考面における前記仮想対象の置く領域を決定することを更に含み、
対応的に、前記仮想対象を表示サイズに従って前記画像にレンダリングすることは、
前記第１参考面における前記仮想対象の置く領域に基づいて、前記仮想対象を表示サイズに従って前記画像にレンダリングすることを含む。
これにより、画像収集装置が異なる位置にフォーカスする時、仮想対象の置く領域も変動する。従って、仮想対象を常に第１機器の表示画面に位置させることを確保し、ユーザ体験を向上させる。
上記技術的解決手段において、前記方法は、
前記第１参考面の境界を決定することと、
前記第１参考面における前記仮想対象の置く位置が前記第１参考面の境界を越えたと判定した場合、前記仮想対象を予め設定された第１色情報に従って前記画像にレンダリングし、それによって前記仮想対象が前記境界を越えたことを知らせることと、を更に含む。
これにより、仮想対象の置く領域が第１参考面の境界を越えた場合、仮想対象の元の色情報と異なる第１色情報で仮想対象をレンダリングする。従って、ユーザは、仮想対象が境界を越えたことを見たら了解でき、仮想対象の置く領域を調整できる。
本願の実施例は、画像処理装置を提供する。前記装置は、
画像収集装置により収集された画像に基づいて、仮想対象を置く第１参考面を決定するように構成される第１決定モジュールと、
前記第１参考面に対する前記画像収集装置の位置姿勢情報、及び置こうとする仮想対象を取得するように構成される第１取得モジュールと、
前記位置姿勢情報に基づいて、前記仮想対象の表示サイズを決定するように構成される第２決定モジュールと、
前記仮想対象を表示サイズに従って前記画像における第１参考面にレンダリングするように構成される第１レンダリングモジュールと、を備える。
これにより、画像収集装置と仮想対象の置く平面との位置姿勢情報を調整することで、仮想対象の表示サイズを自動的に調整することを実現させることができる。手動調整を必要とせず、操作を簡略化できるだけでなく、拡張現実アプリケーションの対話性及び娯楽性を向上させることもできる。
本願の実施例は、画像処理機器を提供する。前記画像処理機器は少なくとも、メモリと、通信バスと、プロセッサと、を備え、前記メモリは、画像処理プログラムを記憶するように構成され、前記通信バスは、プロセッサとメモリとの接続及び通信を実現するように構成され、前記プロセッサは、メモリに記憶された画像処理プログラムを実行し、上記技術的解決手段に記載の画像処理方法の工程を実現するように構成される。
本願の実施例は、記憶媒体を提供する。前記記憶媒体に画像処理プログラムが記憶されており、前記画像処理プログラムがプロセッサにより実行される時、プロセッサに上記技術的解決手段に記載の画像処理方法の工程を実現させる。
本願の実施例は、コンピュータ可読コードを含むコンピュータプログラムを提供する。前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、上記技術的解決手段に記載の画像処理方法の工程を実行する。
本願の実施例は、画像処理方法及びその装置、機器並びに記憶媒体を提供する。前記方法は、以下を含む。まず、画像収集装置により収集された画像に基づいて、仮想対象を置く第１参考面を決定する。続いて、前記第１参考面に対する前記画像収集装置の位置姿勢情報、及び置こうとする仮想対象を取得し、前記位置姿勢情報に基づいて、前記仮想対象の表示サイズを決定する。位置姿勢情報が、画像収集装置が第１参考面から離れることを示す場合、仮想対象の表示サイズを減少させ、位置姿勢情報が、画像収集装置が第１参考面に近接することを示す場合、仮想対象の表示サイズを増大させる。最後に、前記仮想対象を表示サイズに従って前記画像にレンダリングする。これにより、画像収集装置と仮想対象の置く平面との位置姿勢情報を調整することで、仮想対象の表示サイズを自動的に調整することを実現させることができる。手動調整を必要とせず、操作を簡略化できるだけでなく、拡張現実アプリケーションの対話性及び娯楽性を向上させることもできる。
本願の実施例による画像処理方法のネットワークアーキテクチャを示す概略図である。 本願の実施例による画像処理方法のもう１つのネットワークアーキテクチャを示す概略図である。 本願の実施例による画像処理方法の実現フローを示す概略図である。 本願の実施例による画像処理方法の適用シーンを示す概略図である。 本願の実施例による画像処理方法のもう１つの実現フローを示す概略図である。 本願の実施例による画像処理方法のまた１つの実現フローを示す概略図である。 本願の実施例による画像処理方法の適用シーンを示す概略図である。 本願の実施例による画像処理装置の構造を示す概略図である。 本願の実施例による画像処理装置の構造を示す概略図である。
本願の目的、技術的解決手段及び利点をより明確にするために、以下、図面を参照しながら、本願を更に詳しく説明する。説明される実施例は、本願を限定するものと見なすべきではない。当業者が創造的な労働を経ずに得られた全ての他の実施例は、いずれも本願の保護範囲内に含まれる。
下記記述において、「幾つかの実施例」という用語に係わる。これは、全ての考えられる実施例のサブセットを説明するが、「幾つかの実施例」は、全ての考えられる実施例の同一のサブセット又は種々のサブセットであってもよく、また、矛盾しない限り、互いに組み合わせることが可能であることが理解されるべきである。。
下記技術において、用語「第１／第２／第３」は、類似した対象を区別するためのものに過ぎず、対象に対する特定の順番を表すものではない。許容されるのならば、「第１／第２／第３」の特定の順番又は優先順位を変更し、説明される本願の実施例をここで図示又は記述される順番以外の順番で実行することが理解されるべきである。
図１Ａは、本願の実施例による画像処理方法のネットワークアーキテクチャを示す概略図である。図１Ａに示すように、前記ネットワークアーキテクチャにおいて、第１機器１０１、サーバ１０２及びネットワーク１０３を備える。ここで、第１機器１０１は、ネットワーク１０３を介してサーバ１０２に接続される。ネットワーク１０３は、広域ネットワーク又はローカルエリアネットワークであってもよく、又は両者の組み合わせであってもよい。これは、無線リンクを利用してデータ伝送を実現させる。第１機器１０１は、携帯端末である。例えば、スマートフォンであってもよく、ＡＲメガネであってもよい。図１Ａにおいて、第１機器１０１をスマートフォンの形態で例示的に示す。第１機器１０１は、画像収集装置１０１１を含んでもよい。サーバ１０２は、１台のサーバであってもよく、複数台のサーバからなるサーバクラスタ、クラウドコンピューティングセンタなどであってもよく、ここで、これを限定しない。
図１Ａに示すネットワークアーキテクチャにおいて、第１機器１０１における画像収集装置は、現実画像データを収集することができる。続いて、第１機器１０１は、画像収集装置により収集された現実画像データ、追加しようとする仮想対象及び画像収集装置の内部パラメータをネットワーク１０３によりサーバ１０２に送信する。サーバ１０２により、現実画像データにおける平面及び該平面に対する画像収集装置の位置姿勢情報を決定する。続いて、サーバ１０２は、位置姿勢情報に基づいて仮想対象の表示サイズを決定し、仮想対象を該表示サイズに従って、決定した平面にレンダリングし、レンダリング後の拡張現実画像データを第１機器１０１に送信する。第１機器１０１は、拡張現実画像データを出力する。
図１Ｂは、本願の実施例による画像処理方法のもう１つのネットワークアーキテクチャを示す概略図である。図１Ｂに示すように、該ネットワークアーキテクチャに第１機器１０１のみが含まれる。第１機器１０１は、スマートフォンであってもよく、ＡＲメガネ等であってもよい。図１Ｂにおいて、同様に、第１機器１０１をスマートフォンの形態で例示的に示す。第１機器１０１は少なくとも画像収集装置及びプロセッサを含む。画像収集装置は、現実画像データを収集することができる。続いて、第１機器１０１におけるプロセッサは、画像収集装置により収集された現実画像データ及び画像収集装置の内部パラメータに基づいて、現実画像データにおける平面及び該平面に対する画像収集装置の位置姿勢情報を決定する。続いて、位置姿勢情報に基づいて、仮想対象の表示サイズを決定し、仮想対象を該表示サイズに従って、決定した平面にレンダリングし、拡張現実画像データを得る。第１１０１は、拡張現実画像データを出力する。
図１Ａ及び図１Ｂに示すネットワークアーキテクチャを参照しながら、以下、画像処理方法及び画像処理装置、機器の各実施例を説明する。
図２Ａ及び図２Ｂを参照すると、図２Ａは、本願の実施例による画像処理方法の実現フローを示す概略図であり、図２Ｂは、本願の実施例による画像処理方法の適用シーンを示す概略図である。図２Ａに示す工程を参照しながら、説明する。本願の各実施例において、画像処理機器は、図１Ａに示すサーバであってもよく、図１Ｂに示す第１機器であってもよい。
ステップＳ２０１において、画像処理機器は、画像収集装置により収集された画像に基づいて、仮想対象を置く第１参考面を決定する。
ここで、第１参考面は、平面であってもよい。幾つかの実施例において、第１参考面は、斜面であってもよい。第１参考面が平面である場合、第１参考面は、水平面であってもよい。画像収集装置は、拡張現実の目的を実現させるために、現在の現実シーンの画像を取得するためのカメラ又は撮像機器である。従って、画像収集装置により収集された画像は、現実世界の画像であると考えられる。ステップＳ２０１を実現する時、まず、画像処理機器は、画像における各参考面を識別し、各参考面から第１参考面を決定する。
画像における参考面を識別する時、拡張現実アプリケーションプログラムを構築するためのソフトウェアプラットフォームを利用して画像における特徴点を抽出し、続いて、平面をこれらの点にフィッティングし、比例、方向及び位置等において最適なマッチングを得て、各特徴点を継続的に分析することで、画像における各平面を検出することができる。複数の平面を検出した場合、平面の可視化を利用して、ユーザが仮想対象を置く第１参考面を決定するのを支援することもできる。例えば、検出された、仮想対象を置くことができる平面を強調表示することができる。また、仮想対象を置く時に、区別しやすくするために、異なる平面間の視覚的差異を持たせることもできる。又は、一回で複数の平面を強調表示せず、ユーザが観察又は指向している平面のみを強調表示することもできる。
ユーザが第１参考面を選択する操作命令に基づいて、決定した参考面から、仮想対象を置く第１参考面を決定する。
ステップＳ２０１が図１Ａに示すサーバにより実現する時、画像収集装置は、第１機器内の装置であってもよい。この場合、前記方法は、第１機器が、画像収集装置により収集された画像及び画像収集装置の内部パラメータをサーバに送信することを更に含む。
ステップＳ２０２において、画像処理機器は、前記第１参考面に対する前記画像収集装置の位置姿勢情報、及び置こうとする仮想対象を取得する。
ここで、ステップＳ２０２を実現する時、まず、第１参考面における各頂点の座標を取得する。続いて、各頂点の座標に基づいて第１参考面に対する画像収集装置の位置姿勢情報を算出する。例えば、位置姿勢情報を算出する時に、各頂点の相対的座標に基づいて、透視Ｎ点（Ｐｅｒｓｐｅｃｔｉｖｅ Ｎ Ｐｏｉｎｔ：ＰＮＰ）問題を求めることができる。これにより、第１参考面に対する画像収集装置の位置姿勢情報を得る。つまり、第１参考面の所在するワールド座標系に対する、該画像収集装置の平行移動量及び回転量を得る。また、自己位置推定とマッピングの同時実行（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ：ＳＬＡＭ）アルゴリズムと慣性測定ユニット（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：ＩＭＵ）を組み合わせる方法で、位置姿勢情報を算出することもできる。
ステップＳ２０３において、画像処理機器は、前記位置姿勢情報に基づいて前記仮想対象の表示サイズを決定する。
ここで、第１参考面に対する画像収集装置の位置姿勢情報を決定した後、位置姿勢における回転量、即ち、回転行列に基づいて、前記画像収集装置の所在する第２参考面と前記第１参考面との夾角を決定し、続いて、前記夾角に基づいて前記仮想対象の表示サイズを決定することができる。
本実施例において、第２参考面と第１参考面との夾角が小さくなってくる時に、第１機器が第１参考面に近接していると考えられ、この場合、仮想対象の表示サイズを拡大する。第２参考面と第１参考面との夾角が大きくなる場合、第１機器が第１参考面から離れていると考えられ、この場合、仮想対象の表示サイズを縮小する。これにより、仮想対象の表示サイズを手動で調整する必要がなく、操作を簡略化し、ＡＲの対話性を向上させる。
ステップＳ２０４において、画像処理機器は、前記仮想対象を表示サイズに従って前記画像にレンダリングする。
ここで、ステップＳ２０４を実現する時に、画像処理機器は、位置姿勢情報に基づいて、決定した表示サイズに従って仮想対象と該画像に対して、仮想と現実の重ね合わせ処理を行い、拡張現実画像を得ることができる。
ステップＳ２０４は、現実画像を表示する第１機器の表示インタフェースで、表示サイズに従って該仮想対象をレンダリングするステップであってもよい。例えば、該仮想対象は、仮想物品、仮想人物等であってもよい。また、ユーザによりタッチパネル又はハンドルを操作することで仮想ターゲットの移動を制御し、拡張現実効果を実現させる。
本願の実施例で提供される画像処理方法において、まず、画像収集装置により収集された画像に基づいて、仮想対象を置く第１参考面を決定する。続いて、前記第１参考面に対する前記画像収集装置の位置姿勢情報、及び置こうとする仮想対象を取得し、前記位置姿勢情報に基づいて、前記仮想対象の表示サイズを決定する。位置姿勢情報が、画像収集装置が第１参考面から離れることを示す場合、仮想対象の表示サイズを減少させ、位置姿勢情報が、画像収集装置が第１参考面に近接することを示す場合、仮想対象の表示サイズを増大させる。最後に、前記仮想対象を表示サイズに従って前記画像にレンダリングする。これにより、画像収集装置と仮想対象の置く平面との位置姿勢情報を調整することで、仮想対象の表示サイズを自動的に調整することを実現させることができる。手動調整を必要とせず、操作を簡略化できるだけでなく、拡張現実アプリケーションの対話性及び娯楽性を向上させることもできる。
幾つかの実施例において、前記ステップＳ２０３は、下記ステップにより実現されてもよい。
ステップＳ２０３１において、前記位置姿勢情報に基づいて、前記画像収集装置の所在する第２参考面と前記第１参考面との夾角を決定する。ここで、画像処理機器がスマートフォンである場合、画像収集装置の所在する第２参考面は、スマートフォンにおけるディスプレイが所在する面であってもよい。
本実施例において、ステップＳ２０３１は、下記ステップにより実現されてもよい。
ステップ１１において、前記位置姿勢情報に基づいて、前記第１座標系における前記画像収集装置の第１座標情報を決定する。ここで、第１座標系は、前記第１参考面に基づいて確立される座標系である。
一実施形態において、第１座標系としてワールド座標系を用いることができる。この場合、第２参考面と第１参考面との夾角を算出する場合、ワールド座標系における第１参考面と第２参考面との空間的位置関係に基づいて両者の夾角を算出する。もう１つの実施形態において、第１座標系は、第１参考面における所定の点を原点として垂直し合う３つの座標軸で形成された座標系であってもよい。
位置姿勢情報に、第１参考面自体が所在する座標系における画像収集装置の平行移動量及び回転量が含まれるため、該平行移動量及び回転量に基づいて、第１座標系における画像収集装置の第１座標情報を決定することができる。
ステップ１２において、前記画像収集装置内のカメラの光心を通過し、且つ前記第２参考面に垂直している直線と前記第１参考面との交点の第２座標情報を取得する。
ここで、画像収集装置内のレンズの光心を通過する直線は、画像収集装置の所在する第２参考面に垂直している。従って、画像収集装置の回転行列を決定した場合、画像収集装置内のレンズの光心を通過する直線と第１参考面との夾角を決定することができる。画像収集装置の第１座標情報及び該直線と第１参考面との夾角が分かれば、第２座標情報を決定することができる。
ステップ１３において、前記第１座標情報及び前記第２座標情報に基づいて、前記第１参考面と前記第２参考面との夾角を決定する。
ここで、図２Ｂに示すように、第１参考面は、図２Ｂにおける２１１であり、第２参考面は、図２Ｂにおける２１２である。前記画像収集装置内のレンズの光心Ｏを通過し、且つ第２参考面２１２に垂直している直線２１３と第１参考面２１１との交点は、図２Ｂにおける点Ａである。第１座標情報は、第１座標系における光心Ｏの座標であってもよい。点Ｏの第１座標情報が
Figure 2022531190000002
であり、点Ａの第２座標情報が
Figure 2022531190000003
であるとすれば、第１座標情報及び第２座標情報に基づいて、式（１）により、ＯＡ間の距離
Figure 2022531190000004
を決定することができる。
Figure 2022531190000005
（１）
第１参考面２１１は、第１座標系における２つの座標軸で形成された平面である。本願の実施例において、第１参考面がｘｏｙで形成された平面であるとすれば、図２Ｂにおいて、ＯＰ間の距離は、
Figure 2022531190000006
である。
Figure 2022531190000007
（２）
式（２）において、ｃｏｓは、余弦関数である。
Figure 2022531190000008
は、式（３）により求められる。
Figure 2022531190000009
（３）
式（３）において、arccosは、逆余弦関数である。
Figure 2022531190000010
であるため、
Figure 2022531190000011
であり、つまり、
Figure 2022531190000012
である。
Figure 2022531190000013
は、第１参考面と第２参考面との夾角である。
ステップＳ２０３２において、前記夾角に基づいて前記仮想対象の表示サイズを決定する。
ここで、ステップＳ２０３２は、下記ステップにより実現されてもよい。
ステップ２１において、表示サイズと角度との対応関係を取得する。
ここで、該対応関係は、１つの参考角度及び該参考角度に対応する１つの参考サイズを含んでもよい。例えば、該参考角度は、４５度であってもよく、これは、１つの参考サイズに対応する。幾つかの実施例において、該対応関係は、複数の参考角度を含んでもよく、各参考角度は、１つの参考サイズに対応する。
ステップ２２において、前記対応関係及び前記夾角に基づいて、前記仮想対象の表示サイズを決定する。
ここで、対応関係に１つの参考角度及び該参考角度に対応する１つの参考サイズが含まれる場合、ステップ２２を実現する時、前記夾角と該参考角度との比例関係を決定し、該比例関係及び参考角度に対応する参考サイズに基づいて、仮想対象の表示サイズを決定する。
例えば、参考角度は、４５度であり、参考サイズは、２０＊２０であり、第１参考面と第２参考面との夾角が３０度であり、夾角が、参考角度に対して小さくなってくる場合、画像収集装置が近いところにフォーカスすると考えられる。この場合、寸法を拡大する。該夾角と参考角度との比例関係は、３０：４５＝２：３である。この場合、表示サイズを、参考サイズの３／２に調整し、つまり、表示サイズは、３０＊３０である。第１参考面と第２参考面との夾角が６０度であり、夾角が、参考角度に対して大きくなってくる場合、画像収集装置が遠いところにフォーカスすると考えられる。この場合、寸法を縮小する。該夾角と参考角度との比例関係は、６０：４５＝４：３である。この場合、表示サイズは、参考サイズの３／４に調整され、つまり、表示サイズは、１５＊１５である。
対応関係に複数の参考角度が含まれ、各参考角度が１つの表示サイズに対応する場合、ステップ２２を実現する時、夾角に最も近い参考角度を決定し、該参考角度に対応する参考サイズを仮想対象の表示サイズとして決定することができる。又は、夾角に最も近い参考角度を決定した後、夾角と該最も近い参考角度との比例関係及び該最も近い参考角度に対応する参考サイズに基づいて、仮想対象の表示サイズを決定することもできる。
上記実施例において、画像収集装置の所在する第２参考面と第１参考面との夾角に基づいて、画像収集装置が近いところにフォーカスするか、それとも遠いところにフォーカスするかを判定することができる。近いところにフォーカスする時、表示サイズを増大させ、遠いところにフォーカスする時、表示サイズを縮小する。これにより、仮想対象の表示サイズを自動的に調整することを実現させ、ＡＲの対話性及び娯楽性を向上させる。
幾つかの実施例において、第２座標情報を決定した後、前記方法は、以下を更に含む。
ステップ１４において、前記第２座標情報及び前記仮想対象の表示サイズに基づいて、前記第１参考面における前記仮想対象の置く領域を決定する。
ここで、ステップ１４を実現する時、該第２座標情報に対応する座標点を中心として、円形領域を決定することができる。該円形領域の半径は、表示サイズに基づいて決定されたものであってもよい。例えば、該半径は、表示サイズに基づいて決定された、第１参考面におけるレンズの外接円の半径であってもよい。勿論、幾つかの実施例において、置く領域は、仮想対象の実際の状況に基づいて決定されたものであってもよい。例えば、正方形、矩形、三角形等であってもよい。
仮想対象の置く領域を決定した後、なお、ステップＳ２０４を実現する時、前記第１参考面における前記仮想対象の置く領域に基づいて、前記仮想対象を表示サイズに従って前記画像にレンダリングすることができる。これにより、画像収集装置が異なる位置にフォーカスする時、仮想対象の置く領域も対応的に移動することができ、それによって、仮想対象を常に第１機器の表示画面に位置させることを確保し、ユーザ体験を向上させる。
前記実施例によれば、本願の実施例は、もう１つの画像そり方法を提供する。図３は、本願の実施例による画像処理方法のもう１つの実現フローを示す概略図である。図３に示すように、ステップＳ２０３を実行した後、前記方法は以下を更に含む。
ステップＳ２０４’において、画像処理機器は、前記第１参考面の境界及び前記仮想対象の置く領域を決定する。
ここで、第１参考面を決定する時、第１参考面の各頂点の座標が既に決定されたため、第１参考面の各頂点の座標に基づいて第１参考面の境界を決定することができる。そして、仮想対象の置く領域は、ステップ１４で決定される。
ステップＳ２０５において、画像処理機器は、前記置く領域が前記第１参考面の境界を越えるかどうかを判定する。
ここで、置く領域が第１参考面の境界を越えた場合、ステップＳ２０６へ進む。置く領域が第１参考面の境界を越えていない場合、ステップＳ２０７へ進む。
ステップＳ２０６において、画像処理機器は、前記仮想対象を、予め設定された第１色情報及び表示サイズに従って前記画像にレンダリングし、それによって前記仮想対象が前記境界を越えたことを知らせる。ここで、第１色情報は、仮想対象の元の色情報と異なる。例えば、灰色であってもよく、又は赤色等であってもよい。
ステップＳ２０７において、画像処理機器は、前記仮想対象を予め設定された第２色情報及び表示サイズに従って前記画像にレンダリングする。ここで、第２色情報は、仮想対象の元の色情報であってもよい。これにより、仮想対象の置く領域が第１参考面の境界を越えた場合、仮想対象の元の色情報と異なる第１色情報で仮想対象をレンダリングする。従って、ユーザは、仮想対象が境界を越えたことを見たら了解でき、仮想対象の置く領域を調整できる。
前記実施例によれば、本願の実施例は、もう１つの画像処理方法を提供する。該方法は、図１Ａに示すネットワークアーキテクチャに適用される。図４は、本願の実施例による画像処理方法のまた１つの実現フローを示す概略図である。図４に示すように、前記方法は以下を含む。
ステップＳ４０１において、第１機器は、自体の画像収集装置により現実シーンの画像を収集する。
ここで、画像収集装置は、カメラであってもよい。第１機器が自体の画像収集装置により収集したものは、現実シーンの画像である。現実シーンの画像は、画像収集装置により収集された真実の現実世界の画像である。
ステップ４０２において、第１機器は、前記現実シーンの画像をサーバに送信する。ここで、実際の適用プロセスにおいて、第１機器が撮影する時に、第１機器は、収集した各フレームの画像をサーバに送信する。
ステップＳ４０３において、サーバは現実シーンの画像を受信した後、現実シーンの画像における各参考面を識別する。
ここで、サーバは、受信した現実シーンの画像に対して特徴抽出を行い、抽出された特徴点及び所定の平面に基づいてフィッティングを行うことで、現実シーンの画像における各参考面を決定する。
ステップＳ４０４において、サーバは、識別された各参考面情報を第１機器に送信する。
ここで、参考面情報は、参考面の各頂点の座標であってもよい。第１機器は、サーバから送信された各参考面情報を受信した後、表示インタフェースで、異なる参考面を可視的に区分する。例えば、識別された参考面が地面である場合、赤色格子で示し、識別された参考面がテーブル面である場合、黄色格子で示す。
ステップＳ４０５において、第１機器は、仮想対象を置く第１参考面及び置こうとする仮想対象を決定する。
ここで、第１機器は、各参考面を示す。ユーザは、自分の需要に応じて、仮想対象を置く第１参考面を選択する。この場合、第１機器は、ユーザの選択操作に基づいて第１参考面を決定する。
幾つかの実施例において、第１機器は、識別された各参考面に基づいて、所定のポリシーに応じて、第１参考面を決定することもできる。例えば、所定のポリシーは、各参考面のうち面積が最も大きい参考面を第１参考面とすることであってもよい。所定のポリシーは、各参考面のうち画像中心に最も近い参考面を第１参考面とすることであってもよい。
ステップＳ４０６において、第１機器は、決定された第１参考面情報及び置こうとする仮想対象をサーバに送信する。ここで、置こうとする仮想対象は、人物、動物、建築物、物品等であってもよい。
ステップＳ４０７において、サーバは、前記第１参考面に対する画像収集装置の位置姿勢情報を決定する。
ここで、サーバにより決定された第１参考面に対する画像収集装置の位置姿勢情報は、第１参考面に対応する第１機器の位置姿勢情報と見なすことができる。
ステップＳ４０８において、サーバは、前記位置姿勢情報に基づいて、前記画像収集装置の所在する第２参考面と前記第１参考面との夾角及び前記仮想対象の置く領域を決定する。
ステップＳ４０９において、サーバは、前記夾角に基づいて、前記仮想対象の表示サイズを決定する。
ここで、本実施例において、第１参考面は、水平面に平行である平面であってもよい。第１機器と第１参考面との夾角は、０から９０度の角度であってもよい。夾角が９０度から次第に減少する時、画像収集装置のフォーカス点が次第にユーザに近接していると考えられる。この場合、仮想対象の表示サイズを次第に増大させる。夾角が０度から次第に増大する時、画像収集装置のフォーカス点が次第にユーザから離れていると考えられる。この場合、仮想対象の表示サイズを次第に減少させる。
ステップＳ４１０において、サーバは、前記置く領域に基づいて、前記仮想対象を表示サイズに従って前記現実シーンの画像にレンダリングし、拡張現実画像データを得る。
ここで、サーバは、仮想対象と現実シーンの画像に対して、仮想と現実の重ね合わせ処理を行うことで、仮想対象を現実シーンの画像にレンダリングし、拡張現実画像データを得る。
ステップＳ４１１において、サーバは、拡張現実画像データを第１機器に送信する。
ステップＳ４１２において、第１機器は、前記拡張現実画像データに基づいて、対応する拡張現実画像を出力して表示する。
本願の実施例で提供される画像処理方法において、第１機器は、現実シーンの画像を収集した後、現実シーンの画像をサーバに送信する。サーバにより、画像における参考面を識別し、参考面情報を第１機器に送信する。第１機器は、識別された参考面を可視的な形態で表示する。これにより、ユーザは、仮想対象を置く第１参考面を決定する。第１参考面を選択した後、サーバは、第１機器と第１参考面との夾角を決定し、該夾角に基づいて仮想対象の表示サイズを決定する。これにより、仮想対象を、決定した表示サイズに従って現実シーンの画像にレンダリングし、拡張現実画像データを得て、第１機器に送信し、それによって第１機器が表示する。従って、サーバにより、仮想対象の表示サイズを決定し、仮想と現実の重ね合わせ処理を行う。第１機器の演算量を低減させることができるだけでなく、表示サイズの自動調整を実現させることもでき、臨場感を有するユーザ体験を向上させることができる。
以下、本願の実施例の、実際の適用シーンへの例示的な適用を説明する。
本実施例において、ＡＲシーンの平面に仮想物体を置く必要がある場合、携帯電話のカメラが所在する平面と仮想物体を置くための平面との夾角は一般的には９０度未満である。夾角が減少し、携帯電話のカメラが近傍に向かう場合、置く物体は、近づくと大きく見えるという原理により大きくなって近傍に置かれる。夾角が増大し、携帯電話のカメラが遠くを見る場合、置く物体は、視線に応じて小さくなり、遠所に置かれる。携帯電話のカメラが回転して他の場所を見る場合、置く物体もカメラの視線に伴って移動し、仮想物体の置く位置もこれに伴って変動する。
ＡＲシーンにおいて、携帯電話により、仮想仮想物体を置くための平面を識別した後、仮想物体の置く位置及び仮想物体の置かれる位置の遠近を選択する必要がある。図５は、本願の実施例による画像処理方法の適用シーンを示す概略図である。携帯電話のカメラ５０３の平面と物体を置く平面５０４との夾角が９０度未満である。携帯電話のカメラ５０３の平面と物体を置く平面５０４との夾角が増大する場合、図５に示すように、視線は、遠所に向かい、置く物体５０１は、縮小し、置く位置は、遠所にある。携帯電話のカメラ５０３の平面と物体を置く平面５０４との夾角が減少する時、視線は、近所に向かい、置く物体５０２は、拡大し、置く位置は、近所にある。
携帯電話のカメラが回転すると、視線もこれに伴って回転する。置く仮想物体もカメラに伴って回転する。視線と携帯電話のカメラの所在する平面とは、常に直角をなす。
本願の実施例において、置く仮想物体が近すぎるか又は遠すぎることによって、置く平面の範囲を超える場合、仮想物体の色を変更することで（例えば、灰色に変更する）、物体を置くことに成功できないことをユーザに知らせる。
関連技術において、置こうとする物体を手動で拡大又は縮小し、物体置く位置を選択する必要がある。これにより、手動操作を増加させ、物体の置く効率を低減させる。本願の実施例において、携帯電話のカメラの視線方向及び携帯電話のカメラの所在する平面と物体を置く平面との夾角に基づいて、置く物体の遠近及び大きさを決定することができる。これにより、物体置く位置を自動的に調整し、三次元（３ Ｄｉｍｅｎｓｉｏｎｓ：３Ｄ）現実環境における物体の大きさを自動的に調整することを実現させ、ＡＲに更に対話性及び娯楽性を持たせることができる。
本実施例において、ゲームシーンを例として説明する。
ＡＲゲームシーン（例えば、ブラックシープ）において、ユーザは、物体の置く平台を識別した後、例えば、森、兵営、池、丘のようなゲームの物体を識別した平台に置き、ゲームシーンのカスタマイズ設計を完了する必要がある。この場合、ユーザは、カメラと物体を置く平面との角度を調整してカメラの視線角度を変更することで、ＡＲプラットフォームにおける物体置く位置及び大きさをカメラに伴って自動的に調整することができる。
勿論、本実施例で提供されるＡＲシーンにおいて携帯電話のカメラの視線方向及び携帯電話のカメラの所在する平面と物体を置く平面との夾角に基づいて、置く物体の遠近及び大きさを決定する方法は、ゲームに適用可能であるだけでなく、ショッピングシーン、教育シーンなどにも適用可能である。本実施例は、これを限定しない。
本願の実施例は、画像処理装置を提供する。図６は、本願の実施例による画像処理装置の構造を示す概略図である。図６に示すように、前記装置６００は、第１決定モジュール６０１と、第１取得モジュール６０２と、第２決定モジュール６０３と、第１レンダリングモジュール６０４と、を備え、第１決定モジュール６０１は、画像収集装置により収集された画像に基づいて、仮想対象を置く第１参考面を決定するように構成され、第１取得モジュール６０２は、前記第１参考面に対する前記画像収集装置の位置姿勢情報、及び置こうとする仮想対象を取得するように構成され、第２決定モジュール６０３は、前記位置姿勢情報に基づいて、前記仮想対象の表示サイズを決定するように構成され、第１レンダリングモジュール６０４は、前記仮想対象を表示サイズに従って前記画像にける第１参考面にレンダリングするように構成される。
上記技術的解決手段において、前記第２決定モジュール６０３は、前記位置姿勢情報に基づいて、前記画像収集装置の所在する第２参考面と前記第１参考面との夾角を決定するように構成される第１決定部と、前記夾角に基づいて前記仮想対象の表示サイズを決定するように構成される第２決定部と、を備える。
上記技術的解決手段において、前記第１決定部は、前記位置姿勢情報に基づいて、第１座標系における前記画像収集装置の第１座標情報を決定するように構成される第１サブ決定部であって、第１座標系は、前記第１参考面に基づいて確立される座標系である、第１サブ決定部と、前記画像収集装置内のレンズの光心を通過して且つ前記第２参考面に垂直している直線と前記第１参考面との交点の第２座標情報を取得するように構成される第１サブ取得部と、前記第１座標情報及び前記第２座標情報に基づいて、前記第１参考面と前記第２参考面との夾角を決定するように構成される第２サブ決定部と、を備える。
上記技術的解決手段において、前記第２決定部は、表示サイズと角度との対応関係を取得するように構成される第２サブ取得部と、前記対応関係及び前記夾角に基づいて、前記仮想対象の表示サイズを決定するように構成される第３サブ決定部と、を備える。
上記技術的解決手段において、前記装置は、前記第２座標情報及び前記仮想対象の表示サイズに基づいて、前記第１参考面における前記仮想対象の置く領域を決定するように構成される第３決定モジュールを更に備え、
対応的に、前記第１レンダリングモジュール６０４は、前記第１参考面における前記仮想対象の置く領域に基づいて、前記仮想対象を表示サイズに従って前記画像にレンダリングするように構成されるレンダリング部を備える。
上記技術的解決手段において、前記装置は、前記第１参考面の境界を決定するように構成される第４決定モジュールと、前記第１参考面における前記仮想対象の置く位置が前記第１参考面の境界を越えたと判定した場合、前記仮想対象を予め設定された第１色情報に従って前記画像にレンダリングし、それによって前記仮想対象が前記境界を越えたことを知らせるように構成される第２レンダリングモジュールと、を更に備える。
本実施例及び他の実施例において、「コンポーネント」は、一部の回路、一部のプロセッサ、一部のプログラム又はソフトウェア等であってもよく、勿論、ユニットであってもよく、モジュール又は非モジュール化のものであってもよい。
上記装置実施例に関する説明は、上記方法実施例に関する説明と類似しており、方法実施例と類似した有益な効果を有することに留意されたい。本願の装置実施例に開示されていない技術的細部について、本願の方法実施例に関する説明を参照しながら理解する。
上記画像処理方法はソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよいことに留意されたい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ設備（パソコン、サーバ、又はネットワーク装置など）に、本願の各実施例に記載の方法の全部又は一部を実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気ディスク又は光ディスクなどの、プログラムコードを記憶できる種々の媒体を含む。従って、本願の実施例は、如何なる特定のハードウエアとソフトウェアの組み合わせに限定されない。
なお、本願の実施例は、コンピュータ記憶媒体を更に提供する。前記コンピュータ記憶媒体にコンピュータによる実行可能な命令が記憶されており、前記該コンピュータによる実行可能な命令がプロセッサにより実行される時、上記実施例で提供される画像処理方法の工程を実現する。
なお、本願の実施例は、コンピュータ可読コードを含むコンピュータプログラムを更に提供する。前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサは、本願の実施例で提供される画像処理方法の工程を実行する。
本願の実施例は、画像処理機器を提供する。図７は、本願の実施例による画像処理機器の構造を示す概略図である。図７に示すように、前記機器７００は、プロセッサ７０１と、少なくとも１つの通信バス７０２と、ユーザインタフェース７０３と、少なくとも１つの外部通信インタフェース７０４と、メモリ７０５と、を備える。ここで、通信バス７０２は、これらのコンポーネント間の接続及び通信を実現するように構成される。ここで、ユーザインタフェース７０３は、ディスプレイを含んでもよい。外部通信インタフェース７０４は、標準的な有線インタフェース及び無線インタフェースを含んでもよい。前記プロセッサ７０１は、メモリに記憶された画像処理プログラムを実行し、上記実施例で提供される画像処理方法における工程を実現させるように構成される。
上記画像処理機器及び記憶媒体実施例に関する説明は、上記方法実施例に関する説明と類似しており、方法実施例と類似した有益な効果を有する。本願の画像処理機器及び記憶媒体実施例に開示されていない技術的細部について、本願の方法実施例に関する説明を参照しながら理解する。
明細書全文を通じて述べられる「１つの実施例」または「一実施例」は、実施例に関連する特定の特徴、構造または特性が、本願の少なくとも１つの実施例の中に含まれることを意味すると理解されたい。従って、本明細書全体を通して出現する「１つの実施例において」又は「一実施例において」は、同じ実施例を指すとは限らない。また、これらの特定の特徴、構造または特性は、任意かつ適切な方式で１つまたは複数の実施例に組み入れられることができる。本願の各実施例において、上記各プロセスの番号の大きさは、実行順の前後を意味するのではなく、各プロセスの実行順は、その機能および内在的な論理によって確定されるものであり、本発明の実施例の実施プロセスに対しいっさい限定を構成しないと理解すべきである。上記の本発明に係る実施例の番号は、ただ、記述するためのものであり、実施例の優劣を代表しない。
本明細書において、用語「含む」、「備える」、またはそれらの他のいずれかの変形は、非排他的包含を包括するように意図される。従って、一連の要素を含むプロセス、方法、品目又は装置は、これらの要素を含むだけでなく、明確に列挙されていない他の要素も含み、又は、このようなプロセス、方法、品目又は装置に固有の要素も含む。更なる限定が存在しない場合、“・・・を含む”なる文章によって規定される要素は、該要素を有するプロセス、方法、品目又は装置内に、同じ要素が更に存在することを排除しない。
本願で提供される幾つかの実施例において、開示される機器及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した機器の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインターフェイス、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
分離部材として説明した上記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークユニットに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
また、本願の各実施例における各機能ユニットは一つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとの組み合わせで実現してもよい。
当業者であれば、本願の実施例は、方法、システム、又はコンピュータプログラム製品として提供されてもよいことを理解すべきである。従って、本願は、ハードウェア実施例、ソフトウェア実施例、又はソフトウェアとハードウェアを組み合わせた実施例の形態を用いることができる。また、本願は、コンピュータ利用可能なプログラムコードを含む１つ又は複数のコンピュータ利用可能な記憶媒体（磁気ディスクメモリ及び光学メモリ等を含むが、これらに限定されない）で実行されるコンピュータプログラム製品の形態としてもよい。
本願は、本願の実施例に基づく方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して説明されたものである。コンピュータプログラム命令によりフローチャート及び／又はブロック図における各フロー及び／又はブロック、及びフローチャート及び／又はブロック図における各フロー及び／又はブロックの組み合わせを実現することができることが理解されるべきである。これらのコンピュータプログラム命令を汎用コンピュータ、専用コンピュータ、埋め込みプロセッサ又は他のプログラマブルデータ処理装置のプロセッサへ提供することで機器を構成する。それによって、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサによって実行する命令が、フローチャートにおける１つのフロー又は複数のフロー及び／又はブロック図における１つのブロック又は複数のブロックで指定された機能を実現させるための装置を構成する。
これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置を所定の方式で動作させるように指示することができるコンピュータ可読メモリに記憶されてもよく。これにより該コンピュータ可読メモリに記憶されている命令により、命令装置を備える製品を構成し、該命令装置は、フローチャートにおける１つのフロー又は複数のフロー及び／又はブロック図における１つのブロック又は複数のブロックで指定された機能を実現させる。
これらのコンピュータプログラム命令は、コンピュータ又は他のプログラマブルデータ処理装置にインストールされてもよい。これにより、コンピュータ又は他のプログラマブルデータ処理装置上で一連の操作を実行してコンピュータにより実行される処理を生成する。これによりコンピュータ又は他のプログラマブルデータ処理装置上で実行される指令により、フローチャートにおける１つのフロー又は複数のフロー及び／又はブロック図における１つのブロック又は複数のブロックで指定された機能を実現させるための工程を提供する。
上記は、本願の具体的な実施形態だけであり、本願の保護範囲はこれに限定されない。当業者が本願に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本願の保護範囲内に含まれるべきである。従って、本願の保護範囲は特許請求の範囲の保護範囲を基準とするべきである。
本願の実施例は、画像処理方法及びその装置、機器並びに記憶媒体を提供する。前記方法は、画像収集装置により収集された画像に基づいて、仮想対象を置く第１参考面を決定することと、前記第１参考面に対する前記画像収集装置の位置姿勢情報、及び置こうとする仮想対象を取得することと、前記位置姿勢情報に基づいて、前記仮想対象の表示サイズを決定することと、前記仮想対象を表示サイズに従って前記画像にレンダリングすることと、を含む。これにより、画像収集装置と仮想対象の置く平面との位置姿勢情報を調整することで、仮想対象の表示サイズを自動的に調整することを実現させることができる。手動調整を必要とせず、操作を簡略化できるだけでなく、拡張現実アプリケーションの対話性及び娯楽性を向上させることもできる。

Claims (15)

  1. 画像処理方法であって、
    画像収集装置により収集された画像に基づいて、仮想対象を置く第１参考面を決定することと、
    前記第１参考面に対する前記画像収集装置の位置姿勢情報、及び置こうとする仮想対象を取得することと、
    前記位置姿勢情報に基づいて、前記仮想対象の表示サイズを決定することと、
    前記仮想対象を表示サイズに従って前記画像にレンダリングすることと、を含む、画像処理方法。
  2. 前記位置姿勢情報に基づいて、前記仮想対象の表示サイズを決定することは、
    前記位置姿勢情報に基づいて、前記画像収集装置の所在する第２参考面と前記第１参考面との夾角を決定することと、
    前記夾角に基づいて前記仮想対象の表示サイズを決定することと、を含むことを特徴とする
    請求項１に記載の方法。
  3. 前記位置姿勢情報に基づいて、前記画像収集装置の所在する第２参考面と前記第１参考面との夾角を決定することは、
    前記位置姿勢情報に基づいて、第１座標系における前記画像収集装置の第１座標情報を決定することであって、第１座標系は、前記第１参考面に基づいて確立される座標系である、ことと、
    前記画像収集装置内のカメラの光心を通過し、且つ前記第２参考面に垂直している直線と前記第１参考面との交点の第２座標情報を取得することと、
    前記第１座標情報及び前記第２座標情報に基づいて、前記第１参考面と前記第２参考面との夾角を決定することと、を含むことを特徴とする
    請求項２に記載の方法。
  4. 前記夾角に基づいて前記仮想対象の表示サイズを決定することは、
    表示サイズと角度との対応関係を取得することと、
    前記対応関係及び前記夾角に基づいて、前記仮想対象の表示サイズを決定することと、を含むことを特徴とする
    請求項２に記載の方法。
  5. 前記方法は、
    前記第２座標情報及び前記仮想対象の表示サイズに基づいて、前記第１参考面における前記仮想対象の置く領域を決定することを更に含み、
    対応的に、前記仮想対象を表示サイズに従って前記画像にレンダリングすることは、
    前記第１参考面における前記仮想対象の置く領域に基づいて、前記仮想対象を表示サイズに従って前記画像にレンダリングすることを含むことを特徴とする
    請求項３に記載の方法。
  6. 前記方法は、
    前記第１参考面の境界を決定することと、
    前記第１参考面における前記仮想対象の置く位置が前記第１参考面の境界を越えたと判定した場合、前記仮想対象を予め設定された第１色情報に従って前記画像にレンダリングし、それによって前記仮想対象が前記境界を越えたことを知らせることと、を更に含むことを特徴とする
    請求項５に記載の方法。
  7. 画像処理装置であって、
    画像収集装置により収集された画像に基づいて、仮想対象を置く第１参考面を決定するように構成される第１決定モジュールと、
    前記第１参考面に対する前記画像収集装置の位置姿勢情報、及び置こうとする仮想対象を取得するように構成される第１取得モジュールと、
    前記位置姿勢情報に基づいて、前記仮想対象の表示サイズを決定するように構成される第２決定モジュールと、
    前記仮想対象を表示サイズに従って前記画像における第１参考面にレンダリングするように構成される第１レンダリングモジュールと、を備える、画像処理装置。
  8. 前記第２決定モジュールは、
    前記位置姿勢情報に基づいて、前記画像収集装置の所在する第２参考面と前記第１参考面との夾角を決定するように構成される第１決定部と、
    前記夾角に基づいて前記仮想対象の表示サイズを決定するように構成される第２決定部と、を備えることを特徴とする
    請求項７に記載の装置。
  9. 前記第１決定部は、
    前記位置姿勢情報に基づいて、第１座標系における前記画像収集装置の第１座標情報を決定するように構成される第１サブ決定部であって、第１座標系は、前記第１参考面に基づいて確立される座標系である、第１サブ決定部と、
    前記画像収集装置内のレンズの光心を通過し、且つ前記第２参考面に垂直している直線と前記第１参考面との交点の第２座標情報を取得するように構成される第１サブ取得部と、
    前記第１座標情報及び前記第２座標情報に基づいて、前記第１参考面と前記第２参考面との夾角を決定するように構成される第２サブ決定部と、を備えることを特徴とする
    請求項８に記載の装置。
  10. 前記第２決定部は、
    表示サイズと角度との対応関係を取得するように構成される第２サブ取得部と、
    前記対応関係及び前記夾角に基づいて、前記仮想対象の表示サイズを決定するように構成される第３サブ決定部と、を備えることを特徴とする
    請求項８に記載の装置。
  11. 前記装置は、
    前記第２座標情報及び前記仮想対象の表示サイズに基づいて、前記第１参考面における前記仮想対象の置く領域を決定するように構成される第３決定モジュールを更に備え、
    対応的に、前記第１レンダリングモジュールは、
    前記第１参考面における前記仮想対象の置く領域に基づいて、前記仮想対象を表示サイズに従って前記画像にレンダリングするように構成されるレンダリング部を備えることを特徴とする
    請求項９に記載の装置。
  12. 前記装置は、
    前記第１参考面の境界を決定するように構成される第４決定モジュールと、
    前記第１参考面における前記仮想対象の置く位置が前記第１参考面の境界を越えたと判定した場合、前記仮想対象を予め設定された第１色情報に従って前記画像にレンダリングし、それによって前記仮想対象が前記境界を越えたことを知らせるように構成される第２レンダリングモジュールと、を更に備えることを特徴とする
    請求項７から１１のうちいずれか一項に記載の装置。
  13. 画像処理機器であって、少なくとも、メモリと、通信バスと、プロセッサと、を備え、
    前記メモリは、画像処理プログラムを記憶するように構成され、
    前記通信バスは、プロセッサとメモリとの接続及び通信を実現するように構成され、
    前記プロセッサは、メモリに記憶された画像処理プログラムを実行し、請求項１から６のうちいずれか一項に記載の画像処理方法の工程を実現するように構成される、画像処理機器。
  14. 記憶媒体であって、前記記憶媒体に画像処理プログラムが記憶されており、前記画像処理プログラムがプロセッサにより実行される時、プロセッサに、請求項１から６のうちいずれか一項に記載の画像処理方法の工程を実現させる、記憶媒体。
  15. コンピュータプログラムであって、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器で実行される時、前記電子機器におけるプロセッサに、請求項１から６のうちいずれか一項に記載の画像処理方法の工程を実行させる、コンピュータプログラム。
JP2021564316A 2019-08-28 2020-07-07 画像処理方法及びその装置、機器並びに記憶媒体 Active JP7261904B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910803981.6 2019-08-28
CN201910803981.6A CN110533780B (zh) 2019-08-28 2019-08-28 一种图像处理方法及其装置、设备和存储介质
PCT/CN2020/100713 WO2021036520A1 (zh) 2019-08-28 2020-07-07 一种图像处理方法及其装置、设备和存储介质

Publications (2)

Publication Number Publication Date
JP2022531190A true JP2022531190A (ja) 2022-07-06
JP7261904B2 JP7261904B2 (ja) 2023-04-20

Family

ID=68664903

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021564316A Active JP7261904B2 (ja) 2019-08-28 2020-07-07 画像処理方法及びその装置、機器並びに記憶媒体

Country Status (6)

Country Link
US (1) US11880956B2 (ja)
JP (1) JP7261904B2 (ja)
CN (1) CN110533780B (ja)
SG (1) SG11202112379VA (ja)
TW (1) TW202109450A (ja)
WO (1) WO2021036520A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110533780B (zh) * 2019-08-28 2023-02-24 深圳市商汤科技有限公司 一种图像处理方法及其装置、设备和存储介质
CN113703161B (zh) * 2020-05-22 2023-07-25 宏碁股份有限公司 扩增实境系统与其锚定显示方法
CN111651051B (zh) * 2020-06-10 2023-08-22 浙江商汤科技开发有限公司 一种虚拟沙盘展示方法及装置
CN111651057A (zh) * 2020-06-11 2020-09-11 浙江商汤科技开发有限公司 一种数据展示方法、装置、电子设备及存储介质
CN112684885B (zh) * 2020-12-25 2023-05-02 联想(北京)有限公司 一种显示控制方法及装置
CN113838164A (zh) * 2021-08-18 2021-12-24 北京商询科技有限公司 一种网格绘制方法、装置以及存储介质
CN113724397A (zh) * 2021-08-27 2021-11-30 浙江商汤科技开发有限公司 虚拟对象的定位方法、装置、电子设备及存储介质
CN114419298A (zh) * 2022-01-21 2022-04-29 北京字跳网络技术有限公司 虚拟物体的生成方法、装置、设备及存储介质
WO2023219612A1 (en) * 2022-05-11 2023-11-16 Innopeak Technology, Inc. Adaptive resizing of manipulatable and readable objects
CN115810100B (zh) * 2023-02-06 2023-05-05 阿里巴巴（中国）有限公司 确定物体放置平面的方法、设备、存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015038696A (ja) * 2013-08-19 2015-02-26 国立大学法人佐賀大学 拡張現実装置、拡張現実方法及び拡張現実プログラム
JP2016048455A (ja) * 2014-08-27 2016-04-07 株式会社リコー 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI422999B (zh) 2006-10-26 2014-01-11 Seereal Technologies Sa 全像顯示裝置、其製造方法及產生全像重建的方法
US8340398B2 (en) * 2006-12-02 2012-12-25 Electronics And Telecommunications Research Institute Correlation extract method for generating 3D motion data, and motion capture system and method for easy composition of humanoid character on real background image using the same
JP4640508B2 (ja) 2009-01-09 2011-03-02 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び撮像装置
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
US9117281B2 (en) 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
JP2014191718A (ja) 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
CN104102678B (zh) * 2013-04-15 2018-06-05 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
CN104423855B (zh) 2013-08-26 2019-01-15 联想(北京)有限公司 一种信息处理方法及电子设备
CN104950437B (zh) 2014-03-31 2018-04-27 联想(北京)有限公司 显示装置和电子设备
US9551873B2 (en) 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
CN105718232A (zh) 2016-01-20 2016-06-29 昆山龙腾光电有限公司 一种任意角平面旋转显示方法及显示装置
US10115236B2 (en) * 2016-09-21 2018-10-30 Verizon Patent And Licensing Inc. Placing and presenting virtual objects in an augmented reality environment
CN108273265A (zh) * 2017-01-25 2018-07-13 网易（杭州）网络有限公司 虚拟对象的显示方法及装置
CN107463261B (zh) * 2017-08-11 2021-01-15 北京铂石空间科技有限公司 立体交互系统及方法
CN108021241B (zh) 2017-12-01 2020-08-25 西安维度视界科技有限公司 一种实现ar眼镜虚实融合的方法
CN108520552A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN108924538B (zh) 2018-05-30 2021-02-26 太若科技(北京)有限公司 Ar设备的屏幕拓展方法
CN108961423B (zh) * 2018-07-03 2023-04-18 百度在线网络技术（北京）有限公司 虚拟信息处理方法、装置、设备及存储介质
CN109240682B (zh) * 2018-09-30 2021-11-30 上海葡萄纬度科技有限公司 基于ar的交互编程系统、方法、介质及智能设备
CN109195020B (zh) 2018-10-11 2021-07-02 三星电子（中国）研发中心 一种ar增强的游戏直播方法和系统
CN109903129A (zh) * 2019-02-18 2019-06-18 北京三快在线科技有限公司 增强现实显示方法与装置、电子设备、存储介质
CN109961522B (zh) * 2019-04-02 2023-05-05 阿波罗智联(北京)科技有限公司 图像投射方法、装置、设备和存储介质
CN110110647A (zh) 2019-04-30 2019-08-09 北京小米移动软件有限公司 基于ar设备进行信息显示的方法、装置及存储介质
CN110533780B (zh) * 2019-08-28 2023-02-24 深圳市商汤科技有限公司 一种图像处理方法及其装置、设备和存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015038696A (ja) * 2013-08-19 2015-02-26 国立大学法人佐賀大学 拡張現実装置、拡張現実方法及び拡張現実プログラム
JP2016048455A (ja) * 2014-08-27 2016-04-07 株式会社リコー 画像処理装置、画像処理方法、およびプログラム

Also Published As

Publication number Publication date
CN110533780B (zh) 2023-02-24
CN110533780A (zh) 2019-12-03
US20220058888A1 (en) 2022-02-24
TW202109450A (zh) 2021-03-01
JP7261904B2 (ja) 2023-04-20
US11880956B2 (en) 2024-01-23
SG11202112379VA (en) 2021-12-30
WO2021036520A1 (zh) 2021-03-04

Similar Documents

Publication Publication Date Title
JP2022531190A (ja) 画像処理方法及びその装置、機器並びに記憶媒体
CN108830894B (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
JP6423435B2 (ja) 物理的光景を表すための方法および装置
US9728011B2 (en) System and method for implementing augmented reality via three-dimensional painting
JP2021530817A (ja) 画像ディスプレイデバイスの位置特定マップを決定および／または評価するための方法および装置
CN107710108B (zh) 内容浏览
WO2020042970A1 (zh) 一种三维建模的方法及其装置
US9392248B2 (en) Dynamic POV composite 3D video system
Wu et al. Efficient VR and AR navigation through multiperspective occlusion management
KR102158324B1 (ko) 점군 정보 생성 장치 및 방법
CN109640070A (zh) 一种立体显示方法、装置、设备及存储介质
US9787939B1 (en) Dynamic viewing perspective of remote scenes
US20200035035A1 (en) Imaging system, display apparatus and method of producing mixed-reality images
KR20180120456A (ko) 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법
JP2022507502A (ja) 拡張現実（ａｒ）のインプリント方法とシステム
CN113079364A (zh) 一种静态对象的立体显示方法、装置、介质及电子设备
CN116057577A (zh) 用于增强现实的地图
CN105611267A (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
CN114371779A (zh) 一种视线深度引导的视觉增强方法
CN111179341B (zh) 一种增强现实设备与移动机器人的配准方法
JP6168597B2 (ja) 情報端末装置
KR101246844B1 (ko) 3ｄ 입체 관제 시스템 및 그 제공방법
KR101473234B1 (ko) 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템
KR101572800B1 (ko) 3차원 공간 모델에 대한 카메라 제어 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230410

R150 Certificate of patent or registration of utility model

Ref document number: 7261904

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150