JP2021190098A

JP2021190098A - 画像前処理方法、装置、電子機器及び記憶媒体

Info

Publication number: JP2021190098A
Application number: JP2021044072A
Authority: JP
Inventors: カンカンペン; Cancan Peng
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-05-29
Filing date: 2021-03-17
Publication date: 2021-12-13
Anticipated expiration: 2041-03-17
Also published as: JP7160495B2; EP3832590A3; US11593908B2; CN111614906B; US20210209721A1; EP3832590A2; CN111614906A

Abstract

【課題】ＡＲナビゲーション技術分野に関する画像前処理方法、装置、電子機器及び記憶媒体を提供する。【解決手段】方法は、カメラプレビューオープニングコマンドに応答して、ＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得し、描画面ウィンドウを介して現在のデータフレームをそれに対応するプレビューテクスチャに変換し、現在のデータフレームに対応するプレビューテクスチャをグラフィックスプロセッサＧＰＵに送信し、ＧＰＵによって現在のデータフレームに対応するプレビューテクスチャを処理し、ＣＰＵによって処理されたプレビューテクスチャをＡＤＡＳに送信する。【効果】ＣＰＵがカメラデータに対する傍受を追加登録する必要がなく、画像前処理を実現し、ＣＰＵリソースを効果的に節約し、前処理速度を向上させる。【選択図】図１

Description

本出願は、コンピュータ応用技術分野に関し、さらにＡＲナビゲーション技術に関し、特に画像前処理方法、装置、電子機器及び記憶媒体に関する。

拡張現実（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ、ＡＲと略称する）は、混合現実とも呼ばれる。それは電子技術によって、仮想情報を実世界に適用し、実環境と仮想オブジェクトを同じ画面または空間にリアルタイムで重ね合わせて同時に存在する。ＡＲは、人間が知覚できる情報とは異なる情報を提供する。それは実世界の情報を表示するだけでなく、仮想情報も同時に表示し、２種類の情報は相互に補完し、重ね合わせる。視覚化の拡張現実では、ユーザはディスプレイを使用して、実世界と仮想グラフィックスを多重合成することができる。ＡＲは、仮想オブジェクトを使用して実シーンを「拡張」表示することを採用する技術であり、仮想現実に比べて、リアリティが強く、モデリング作業量が少ないという利点がある。高度な運転支援システム（ＡｄｖａｎｃｅｄＤｒｉｖｉｎｇＡｓｓｉｓｔａｎｃｅＳｙｓｔｅｍ、ＡＤＡＳと略称する）は、車に取り付けられた様々なセンサ（ミリ波レーダ、レーザレーダ、単眼カメラまたは両眼カメラおよび衛星ナビゲーション）を使用して、車の運転プロセス中にいつでも周囲の環境を感知し、データを収集し、静的および動的なオブジェクトの識別、検出、追跡を行い、ナビゲーションマップデータと組み合わせて、体系的な計算と分析を行うことで、ドライバーに発生する可能性のある危険を事前に感知させ、車の運転の快適性と安全性を効果的に高める。

ＡＲナビゲーションでは、ＡＤＡＳに送信されるデータに対して、通常、カメラで収集されたデータをＣＰＵによって前処理し、その後ＡＤＡＳに送信して関連する画像認識とアルゴリズム処理を行う。ＣＰＵはカメラで収集されたデータを同時にレンダリングする必要があるので、カメラに対するデータの傍受を追加登録する必要があり、すなわち、ＣＰＵはカメラで収集された各フレームのデータを取得し、コールバックでデータのスケーリングと色変換を完了してから、ＡＤＡＳに送信して関連する画像認識とアルゴリズム処理を行う。従来技術は以下のような欠点を有する。ＣＰＵがカメラデータに対する傍受を追加登録する必要があり、これによりメモリの消費が増加し、前処理がＣＰＵで行われ，ＣＰＵリソースの一部を占め、ＣＰＵリソースが限られているため、従来技術の提案ではＡＤＡＳへの送信のタイミングの遅延も引き起こし、ＡＲレンダリング画面の遅れを招き、ユーザ体験に影響を与える。

本出願は、画像前処理方法、装置、電子機器及び記憶媒体を提供して、ＣＰＵがカメラデータに対する傍受を追加登録する必要がなく、画像前処理を実現し、ＣＰＵリソースを効果的に節約し、前処理速度を向上させることができる。

第１の側面において、本出願は、画像前処理方法を提供し、
カメラプレビューオープニングコマンドに応答して、中央処理装置ＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得するステップと、
描画面ウィンドウを介して前記現在のデータフレームをそれに対応するプレビューテクスチャに変換するステップと、
前記現在のデータフレームに対応するプレビューテクスチャをグラフィックスプロセッサＧＰＵに送信し、前記ＧＰＵによって前記現在のデータフレームに対応するプレビューテクスチャを処理し、前記ＣＰＵによって処理されたプレビューテクスチャを高度な運転支援システムＡＤＡＳに送信するステップと、を含む。

第２の側面において、本出願は、画像前処理装置を提供し、前記装置は、取得モジュールと、変換モジュールと、前処理モジュールと、を含み、ここで、
前記取得モジュールは、カメラプレビューオープニングコマンドに応答して、中央処理装置ＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得することに用いられ、
前記変換モジュールは、描画面ウィンドウを介して前記現在のデータフレームをそれに対応するプレビューテクスチャに変換することに用いられ、
前記前処理モジュールは、前記現在のデータフレームに対応するプレビューテクスチャをグラフィックスプロセッサＧＰＵに送信し、前記ＧＰＵによって前記現在のデータフレームに対応するプレビューテクスチャを処理し、前記ＣＰＵによって処理されたプレビューテクスチャをＡＤＡＳに送信することに用いられる。

第３の側面において、本出願の実施例は、電子機器を提供し、
一つまたは複数のプロセッサと、
一つまたは複数のプログラムが記憶されるメモリと、を含み、
前記一つまたは複数のプログラムが前記一つまたは複数のプロセッサによって実行される場合、前記一つまたは複数のプロセッサが本出願の任意の実施例に記載の画像前処理方法を実行する。

第４の側面において、本出願の実施例は、コンピュータプログラムが記憶されている記憶媒体を提供し、前記プログラムが前記プロセッサによって実行される場合、本出願の任意の実施例に記載の画像前処理方法が実行される。
第５の側面において、本出願の実施例は、コンピュータプログラムをさらに提供し、前記コンピュータプログラムにおける命令が実行された場合に、本出願の任意の実施例に記載の画像前処理方法が実行される。

本出願の技術によれば、従来技術におけるＣＰＵがカメラデータに対する傍受を追加登録する必要があるという技術問題を解決し、本出願はＣＰＵがカメラデータに対する傍受を追加登録する必要がなく、画像前処理を実現し、ＣＰＵリソースを効果的に節約し、前処理速度を向上させることができる。

なお、この部分に記載された内容は、本開示の実施例の肝心または重要な特徴を限定することを意図するものではなく、本開示の範囲を限定することを意図するものでもない。本開示の他の特徴は、以下の説明によって容易に理解されやすくなる。

図面は、本技術案をよりよく理解するために使用されており、本出願の限定を構造するものではない。
本出願の実施例一により提供される画像前処理方法の概略フローチャートである。本出願の実施例二により提供される画像前処理方法の概略フローチャートである。本出願の実施例三により提供される画像前処理装置の概略構造図である。本出願の実施例の画像前処理方法を実現するための電子機器のブロック図である。

以下、図面を組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項を含んでおり、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔するために、以下の説明では、周知の機能及び構造の説明を省略する。
実施例一

図１は本出願の実施例一により提供される画像前処理方法のフローチャートであり、当該方法は、画像前処理装置または電子機器によって実行されることができ、当該装置または電子機器は、ソフトウェアおよび/またはハードウェアによって実現することができ、当該装置または電子機器は、ネットワーク通信機能を備えた任意のスマートデバイスに統合することができる。図１に示すように、画像前処理方法は、以下のステップを含むことができる。
Ｓ１０１：カメラプレビューオープニングコマンドに応答して、ＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得する。

本出願の具体的な実施例において、カメラプレビューオープニングコマンドに応答して、電子機器はＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得することができ、ここで、予め作成された描画面ウィンドウはプリセットタイプの描画面ウィンドウであってもよく、このプリセットタイプの描画面ウィンドウはＳｕｒｆａｃｅＴｅｘｔｕｒｅであってもよい。具体的に、電子機器は、スレッド作成関数（ｓｅｔＲｅｎｄｅｒｅｒ）を呼び出すことにより、グラフィックスライブラリ（ＧｒａｐｈｉｃｓＬｉｂｒａｒｙ、ＧＬと略称する）スレッドを作成し、ＧＬスレッドによってオープン関数（Ｓｔａｒｔ）を呼び出して当該ＧＬスレッドのオープングラフィックスライブラリのウィンドウ管理環境を配置し、オープングラフィックスライブラリのウィンドウ管理環境を配置するＧＬスレッドでカメラプレビューのための描画面ウィンドウ（ＳｕｒｆａｃｅＴｅｘｔｕｒｅ）を作成して予め作成された描画面ウィンドウとし、そして予め作成された描画面ウィンドウを呼び出すことにより、カメラで収集された現在のデータフレームを取得する。具体的に、本出願におけるオープングラフィックスライブラリのウィンドウ管理環境はＥＧＬ環境であってもよく、ＥＧＬは、アプリケーションプログラミングインターフェイス（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ、ＡＰＩと略称する）とネイティブウィンドウシステムの間をレンダリングするインターフェイスである。通常、オープングラフィックスライブラリ（ＯｐｅｎＧｒａｐｈｉｃｓＬｉｂｒａｒｙ、ＯｐｅｎＧＬと略称する）はグラフィックスプロセッサ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＧＰＵと略称する）を操作するＡＰＩであり、それはドライバーを介してＧＰＵに関連する命令を送信して、グラフィックレンダリングパイプラインステートマシンの実行状態を制御するが、ローカルウィンドウシステムとのインタラクションに関わる場合、このような中間レイヤが必要であり、プラットフォームに依存しないことが最適である。したがって、ＥＧＬはＯｐｅｎＧＬとネイティブウィンドウシステムの間の橋渡しとするように設計される。

Ｓ１０２：描画面ウィンドウを介して現在のデータフレームをそれに対応するプレビューテクスチャに変換する。

本出願の具体的な実施例において、電子機器は、描画面ウィンドウを介して現在のデータフレームをそれに対応するプレビューテクスチャに変換することができ、ここで、予め作成された描画面ウィンドウはプリセットタイプの描画面ウィンドウであってもよく、このプリセットタイプの描画面ウィンドウはＳｕｒｆａｃｅＴｅｘｔｕｒｅであってもよい。通常、オープングラフィックスライブラリ（ＯｐｅｎＧｒａｐｈｉｃｓＬｉｂｒａｒｙ、ＯｐｅｎＧＬと略称する）はグラフィックスプロセッサ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＧＰＵと略称する）を操作するＡＰＩであり、それはドライバーを介してＧＰＵに関連する命令を送信して、グラフィックレンダリングパイプラインステートマシンの実行状態を制御するが、ローカルウィンドウシステムとのインタラクションに関わる場合、このような中間レイヤが必要であり、プラットフォームに依存しないことが最適である。したがって、ＥＧＬはＯｐｅｎＧＬとネイティブウィンドウシステムの間の橋渡しとするように設計される。本ステップにおいて、電子機器は予め作成された描画面ウィンドウをプリセットタイプのテクスチャに関連することができ、このプリセットタイプはＯＥＳタイプであってもよく、そしてプリセットタイプのテクスチャに関連する描画面ウィンドウを介して、ｕｐｄａｔｅＴｅｘＩｍａｇｅを呼び出して現在のデータフレームをそれに対応するプレビューテクスチャに変換することができる。

Ｓ１０３：現在のデータフレームに対応するプレビューテクスチャをＧＰＵに送信し、ＧＰＵによって現在のデータフレームに対応するプレビューテクスチャを処理し、ＣＰＵによって処理されたプレビューテクスチャをＡＤＡＳに送信する。

本出願の具体的な実施例において、電子機器は、現在のデータフレームに対応するプレビューテクスチャをＧＰＵに送信し、ＧＰＵによって現在のデータフレームに対応するプレビューテクスチャを処理し、ＣＰＵによって処理されたプレビューテクスチャをＡＤＡＳに送信することができる。具体的に、電子機器は、ＧＰＵによって予め設定されたシェーダを呼び出し、ＧＰＵが占有するストレージスペースで現在のデータフレームに対応するプレビューテクスチャの色を変換する、または、ＧＰＵが占有するストレージスペースで現在のデータフレームに対応するプレビューテクスチャのピクセルフォーマットを変換する、または、ＧＰＵが占有するストレージスペースで現在のデータフレームに対応するプレビューテクスチャのサイズをスケーリングすることができる。

本出願の実施例により提供される画像前処理方法は、まずカメラプレビューオープニングコマンドに応答して、ＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得し、次いで描画面ウィンドウを介して現在のデータフレームをそれに対応するプレビューテクスチャに変換し、そして現在のデータフレームに対応するプレビューテクスチャをＧＰＵに送信し、ＧＰＵによって現在のデータフレームに対応するプレビューテクスチャを処理し、ＣＰＵによって処理されたプレビューテクスチャをＡＤＡＳに送信する。つまり、本出願は、描画面ウィンドウを予め作成し、予め作成された描画面ウィンドウを介して現在のデータフレームをそれに対応するプレビューテクスチャに変換し、これによりＧＰＵで現在のデータフレームに対応するプレビューテクスチャを処理し、処理されたプレビューテクスチャをＣＰＵによってＡＤＡＳに送信し、ＡＤＡＳによって処理されたプレビューテクスチャを識別及び検出することができる。既存の画像前処理方法において、通常、ＣＰＵによってカメラで収集されたデータを前処理し、その後ＡＤＡＳに送信して関連する画像認識とアルゴリズム処理を行い、このようにしてＣＰＵがカメラデータに対する傍受を追加登録する必要がある。本出願は、ＧＰＵで現在のデータフレームに対応するプレビューテクスチャを処理し、処理されたプレビューテクスチャをＡＤＡＳに送信するという技術手段を採用するため、従来技術におけるＣＰＵがカメラデータに対する傍受を追加登録する必要があるという技術問題を克服し、ＣＰＵがカメラデータに対する傍受を追加登録する必要がなく、画像前処理を実現し、ＣＰＵリソースを効果的に節約し、前処理速度を向上させるという技術効果を達成し、かつ、本出願の実施例の技術案は、実現が簡単で便利であり、普及しやすく、適用範囲が広い。
実施例二

図２は本出願の実施例二により提供される画像前処理方法のフローチャートである。図２に示すように、画像前処理方法は、以下のステップを含むことができる。
Ｓ２０１：カメラプレビューオープニングコマンドに応答して、ＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得する。

本出願の具体的な実施例において、カメラプレビューオープニングコマンドに応答して、電子機器はＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得することができ、ここで、予め作成された描画面ウィンドウはプリセットタイプの描画面ウィンドウであってもよく、このプリセットタイプの描画面ウィンドウはＳｕｒｆａｃｅＴｅｘｔｕｒｅであってもよい。具体的に、電子機器は、スレッド作成関数（ｓｅｔＲｅｎｄｅｒｅｒ）を呼び出すことにより、グラフィックスライブラリ（ＧｒａｐｈｉｃｓＬｉｂｒａｒｙ、ＧＬと略称する）スレッドを作成し、ＧＬスレッドによってオープン関数（Ｓｔａｒｔ）を呼び出して当該ＧＬスレッドのオープングラフィックスライブラリのウィンドウ管理環境を配置し、オープングラフィックスライブラリのウィンドウ管理環境を配置するＧＬスレッドでカメラプレビューのための描画面ウィンドウ（ＳｕｒｆａｃｅＴｅｘｔｕｒｅ）を作成して予め作成された描画面ウィンドウとし、そして予め作成された描画面ウィンドウを呼び出すことにより、カメラで収集された現在のデータフレームを取得する。具体的に、本出願におけるオープングラフィックスライブラリのウィンドウ管理環境はＥＧＬ環境であってもよく、ＥＧＬは、アプリケーションプログラミングインターフェイス（ＡｐｐｌｉｃａｔｉｏｎＰｒｏｇｒａｍｍｉｎｇＩｎｔｅｒｆａｃｅ、ＡＰＩと略称する）とネイティブウィンドウシステムの間をレンダリングするインターフェイスである。

Ｓ２０２：描画面ウィンドウを介して現在のデータフレームをそれに対応するプレビューテクスチャに変換する。

ＯｐｅｎＧＬは、グラフィックスハードウェアデバイスの特性にアクセスできるソフトウェアライブラリであるグラフィックスアプリケーションプログラミングインターフェイスであり、ＯｐｅｎＧＬは、近代化されたハードウェアに依存しないインターフェイスとして設計されているため、コンピュータのオペレーティングシステムやウィンドウシステムを考慮せずに、さまざまなグラフィックハードウェアシステム上でソフトウェアを介してＯｐｅｎＧＬのインターフェイスを完全に実現することができる。ＯｐｅｎＧＬ自体には、ウィンドウタスクを実行したり、ユーザ入力を処理したりするための関数は含まれておらず、３次元物理モデルを表現したり、画像ファイルを読み取ったりするための操作も提供されていなく、画像をレンダリングするためのＯｐｅｎＧＬプログラムが実行する必要がある主な操作は次のとおりであり、１）ＯｐｅｎＧＬの幾何学的プリミティブからデータを設定して形状を構築し、２）異なるシェーダ（ｓｈａｄｅｒ）を使用して、入力されたプリミティブデータに対して計算操作を実行し、それらの位置、色、およびその他のレンダリング属性を判断し、プリミティブデータの数学的記述を画面位置に対応するピクセルフラグメント（ｆｒａｇｍｅｎｔ）に変換し、このステップはラスタライズ（ｒａｓｔｅｒｉｚａｔｉｏｎ）とも呼ばれる。ＯｐｅｎＧＬフラグメントが最終的に画像としてレンダリングされると、それはピクセルになり、４）ラスタライズプロセスで生成されたフラグメントに対して、フラグメントシェーダ（ｆｒａｇｍｅｎｔｓｈａｄｅｒ）を実行して、このフラグメントの最終的な色と位置を決定する。

ＥＧＬは、ＯｐｅｎＧＬＥＳがＡＰＩとローカルウィンドウシステム（ＮａｔｉｖｅＰｌａｔｆｏｒｍＷｉｎｄｏｗＳｙｓｔｅｍ）の間をレンダリングする中間インターフェイスレイヤであり、主にシステムメーカーによって実現される。ＥＧＬは、デバイスのネイティブウィンドウシステムとの通信、描画面の使用可能なタイプと構成のクエリ、描画面の作成、ＯｐｅｎＧＬＥＳと他のグラフィックレンダリングＡＰＩ間でのレンダリングの同期、およびテクスチャマップの管理などのレンダリングリソースを提供し、ＯｐｅｎＧＬＥＳが現在のデバイスに描画できるようにするためには、ＯｐｅｎＧＬＥＳとデバイスの間の橋渡しとしてＥＧＬが必要である。その動作メカニズムは次のとおりであり、システムのローカルウィンドウと通信し、Ｓｕｒｆａｃｅを描画する有効なタイプと構成をクエリし、描画されたＳｕｒｆａｃｅを作成し、ＯｐｅｎＧＬＥＳのＳｈａｄｅｒ配列データなどのレンダリングリソースを管理するためのＣｏｎｔｅｘｔを作成し、ＯｐｅｎＧＬＥＳでレンダリングされたデータを描画面ウィンドウ（Ｓｕｒｆａｃｅ）に出力し、最終的にＳｕｒｆａｃｅにおけるコンテンツをローカルウィンドウに出力する。ＥＧＬを使用するには、以下の手順に従う。１）ＥＧＬの展示オブジェクトを取得する：ＥＧＬは、ローカルウィンドウを操作するすべてのＡＰＩをカプセル化するタイプＥＧＬＤｉｓｐｌａｙを提供する。したがって、ＥＧＬを使用する場合、最初のステップはＥＧＬＤｉｓｐｌａｙとの接続を作成して初期化することである。２）ＥＧＬがＥＧＬＤｉｓｐｌａｙに正常に接続されたら、ＥＧＬを初期化し、ＥＧＬ初期化関数（ｅｇｌＩｎｉｔｉａｌｉｚｅ）を呼び出してＥＧＬの初期化を完了する必要がある。３）ＥＧＬの初期化が完了すると、レンダリングされるＳｕｒｆａｃｅのタイプと構成を取得することができる。ＥＧＬの構成（ＥＧＬＣｏｎｆｉｇ）には、Ｓｕｒｆａｃｅに関するすべての構成情報を含めることができる。これらの情報には、使用可能な色の数、構成に関連する追加バッファ（深度やテンプレートバッファなど）、Ｓｕｒｆａｃｅのタイプ、及びその他の多くの特徴が含まれることができる。４）ＥＧＬコンテキスト（ＥＧＬＣｏｎｔｅｘｔ）を作成するインスタンス：ＥＧＬＣｏｎｔｅｘｔ構造の内部には、ＯｐｅｎＧＬＥＳ２のすべての状態と必要な操作が含まれている。例えば、それは頂点シェーダとフラグメントシェーダを参照する配列データが含まれている。ＯｐｅｎＧＬＥＳ２が描画できる前に、ＥＧＬＣｏｎｔｅｘｔを作成する必要がある。５）ＥＧＬ描画面ウィンドウ（ＥＧＬＳｕｒｆａｃｅ）を作成するインスタンス：ＥＧＬＣｏｎｆｉｇを作成した後、ＥＧＬＣｏｎｆｉｇに応じてＥＧＬＳｕｒｆａｃｅを作成することができる。ＥＧＬＳｕｒｆａｃｅはメモリ空間であり、ユーザが描画したい情報がまずＥＧＬＳｕｒｆａｃｅに描画する必要がある。６）ＥＧＬＣｏｎｔｅｘｔとＥＧＬＳｕｒｆａｃｅを接続する：上記ステップにより、ＥＧＬＣｏｎｔｅｘｔとＥＧＬＳｕｒｆａｃｅオブジェクトがすでに存在していて、以下は両者を関連付ける必要があり、これにより、ＥＧＬが、ＥＧＬＣｏｎｔｅｘｔからＳｈａｄｅｒデータを読み取り、ＥＧＬＳｕｒｆａｃｅにコンテンツを描画するようにＯｐｅｎＧＬＥＳを制御することができる。

Ｓ２０３：現在のデータフレームに対応するプレビューテクスチャをＧＰＵに送信し、ＧＰＵによって現在のデータフレームに対応するプレビューテクスチャを処理し、ＣＰＵによって処理されたプレビューテクスチャをＡＤＡＳに送信する。

本出願の具体的な実施例において、現在のデータフレームに対応するプレビューテクスチャをＧＰＵに送信し、ＧＰＵによって現在のデータフレームに対応するプレビューテクスチャを処理し、ＣＰＵによって処理されたプレビューテクスチャをＡＤＡＳに送信することができる。具体的に、電子機器は、ＧＰＵによって予め設定されたシェーダを呼び出し、ＧＰＵが占有するストレージスペースで現在のデータフレームに対応するプレビューテクスチャの色を変換する、または、ＧＰＵが占有するストレージスペースで現在のデータフレームに対応するプレビューテクスチャのピクセルフォーマットを変換する、または、ＧＰＵが占有するストレージスペースで現在のデータフレームに対応するプレビューテクスチャのサイズをスケーリングすることができる。さらに、電子機器は、予め設定されたグラフィックバッファによって処理されたプレビューテクスチャをＧＰＵからＣＰＵにコピーし、ＣＰＵによって処理されたプレビューテクスチャをＡＤＡＳに送信することもできる。例えば、電子機器は、ＨａｒｄｗａｒｅＢｕｆｆｅｒによってＧＰＵからＣＰＵへのデータのコピーを行うことができる。

以下は色変換のプロセスについて具体的に説明する。ＡＲ技術は、仮想情報を実世界に適用し、実世界の環境と仮想オブジェクトを同じ画面または空間にリアルタイムで重ね合わせることができるため、ユーザの面白さと遊び性を大幅に向上させることができる。ライブビデオの分野など、一部のアプリケーションシナリオでは、アナウンサのライブインターフェイスをＡＲ技術を使用して展示し、アナウンサとオーディエンスのインタラクションを豊かにすることができる。本出願により提供される色変換の方法は、現在のビデオフレームに対応するテクスチャオブジェクト及び色変換マトリックスを取得するステップと、設定されたシェーダによってテクスチャオブジェクト及び色変換マトリックスを処理し、現在のビデオフレームに対応するＲＧＢデータを生成して、ＲＧＢデータによってレンダリングするステップと、を含むことができる。

以下はピクセルフォーマット変換のプロセスについて具体的に説明する。Ｈ．２６４（デジタルビデオ圧縮フォーマット）コーディングする場合、ＲＧＢフォーマットのピクセルをＹＵＶフォーマットのピクセルに変換する必要がある。まずＲＧＢとＹＵＶについてそれぞれ説明する：ＲＧＢカラーモード（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、赤、緑、青の３色カラーモード）は、工業界のカラースタンダードであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つのカラーチャンネルの変化とそれらの相互の重ね合わせによって異なる色を取得し、ＲＧＢは赤、緑、青の３つのチャンネルを表す色であり、このスタンダードには人間の視力が感知できるすべての色がほぼ含まれており、現在最も広く使われているカラーシステムの１つである。ＹＵＶ（カラーコーディング方法）フォーマットは３つの要素に分けられ、「Ｙ」は明るさ（ＬｕｍｉｎａｎｃｅまたはＬｕｍａ）、つまりグレー値を示し、「Ｕ」と「Ｖ」は色度（ＣｈｒｏｍｉｎａｎｃｅまたはＣｈｒｏｍａ）を示し、映像の色と彩度を説明し、ピクセルの色を指定するために使用される。ＹＵＶフォーマットは主にテレビシステムやアナログビデオ分野で使用され、輝度情報（Ｙ）と色情報（ＵＶ）を分離し、ＵＶ情報なしで完全な画像を表示できるが、白黒であり、このような設計は、カラーテレビと白黒テレビの互換性の問題をよく解決する。且つ、ＹＵＶはＲＧＢのように３つの独立したビデオ信号を同時に伝送することを要求しないため、ＹＵＶフォーマットでデータを伝送するために占有される帯域幅は極めて少ない。ＹＵＶコードストリームのメモリフォーマットは、そのサンプリング方式と密接に関連しており、主流のサンプリング方式は、ＹＵＶ４：４：４と、ＹＵＶ４：２：２と、ＹＵＶ４：２：０と、３種類の方式を有する。ＹＵＶフォーマットには、ｐｌａｎａｒ平面フォーマットとｐａｃｋｅｄパックフォーマットの２つのタイプがある。ｐｌａｎａｒのＹＵＶフォーマットに対して、まずすべてのピクセルドットのＹを連続的に記憶し、次いですべてのピクセルドットのＵを記憶し、そしてすべてのピクセルドットのＶを記憶する。ｐａｃｋｅｄのＹＵＶフォーマットに対して、各ピクセルドットのＹ、Ｕ、Ｖは連続的にインターリーブされて記憶される。ＲＧＢフォーマットのピクセルをＹＵＶフォーマットのピクセルに変換してＨ．２６４コーディングする場合、相関アルゴリズムを使用してコンピュータのＣＰＵで実行する必要がある。ＣＰＵはコンピュータのタスクコアであるため、ＣＰＵはピクセルフォーマット変換を行うと同時に、必ず他のタスクを行い、つまり、ピクセルフォーマット変換のデータ伝送帯域幅がＣＰＵ上で最大に達することは困難であり、それによってピクセルフォーマット変換の計算プロセスが延長され、ピクセルフォーマット変換の変換効率が低下する。本出願は、ＧＰＵで画像のピクセルフォーマットをＡＲＧＢからＮＶ１２に変換することができ、本発明は、ピクセルフォーマット変換の計算プロセスを短縮し、変換効率を向上させることができる。本出願により提供されるピクセルフォーマット変換の方法は、グラフィックプログラミングインターフェイスの２次元テクスチャインターフェイスで、８ビットピクセルフォーマットのＹ平面ストレージテクスチャと１６ビットピクセルフォーマットのＵＶ平面ストレージテクスチャを作成するステップと、変換が必要なＡＲＧＢストレージテクスチャをＧＰＵに入力し、ＧＰＵがＨＬＳＬ言語によって、ＡＲＧＢストレージテクスチャにおける画像のピクセルフォーマットをＡＲＧＢからＮＶ１２に変換した後、ＮＶ１２ピクセルフォーマットの画像のＹ平面をＹ平面ストレージテクスチャに割り当て、ＮＶ１２ピクセルフォーマットの画像のＵＶ平面をＵＶ平面ストレージテクスチャに割り当てるステップと、を含むことができる。

以下はサイズスケーリングのプロセスについて具体的に説明する。一般的に、携帯電話やコンピュータクライアントプログラムでは、ウィンドウコンポーネントの表示領域は直角矩形領域であり、コンピュータプログラムは、矩形領域の頂点や長さと幅を定義することによって、直角矩形の表示領域を決定できるが、一部のアプリケーションシナリオでは、オペレーティングシステムやアプリケーションページのテーマスタイルに適合させるには、ビデオ展示領域を角丸矩形の外観にするように設計する必要があり、従来技術の一般的な方法は、ＣＰＵを使用してビデオフレームの角をカットすることである。角丸領域に対して、まず角丸領域に複数の三角形を生成し、生成された複数の三角形の底辺で角丸を近似する必要があり、三角形の数が少ないと、視覚的にギザギザのエッジパターンが現れ、三角形の数が多いほど、角丸が滑らかになり、視覚的にギザギザのパターンが現れない。そのため、角丸矩形の角丸領域でギザギザのパターンが現れないことを防止して、より良い視覚効果を達成するために、従来技術において、通常、ＣＰＵリソースを使用してより多くの三角形を生成し、これによってＣＰＵの使用率が非常に消費される。角丸マトリックスの画像展示領域を実現し、または任意の形状の画像展示領域を実現し、且つより少ないプロセッサとメモリの使用量を保証し、コンピュータリソースの使用率を向上させるために、本出願により提供されるサイズスケーリングの方法は、画像展示待ち領域のテクスチャ領域と頂点座標を取得するステップと、グラフィックプログラムインターフェイスを呼び出して、頂点座標をＧＰＵの頂点シェーダに入力するステップと、頂点シェーダに対応するピクセルシェーダを取得するステップと、ターゲット画像における位置がテクスチャ領域に属するピクセルドットのピクセル値をサンプリングし、ピクセルシェーダによってピクセル値をテクスチャ領域における対応する位置にレンダリングするステップと、を含むことができる。

Ｓ２０４：ターゲット画面に関連付けられた予め作成されたコンポーネントによって、現在のデータフレームに対応するプレビューテクスチャをターゲット画面に描画する。

本出願の具体的な実施例において、電子機器は、ターゲット画面に関連付けられた予め作成されたコンポーネントによって、現在のデータフレームに対応するプレビューテクスチャをターゲット画面に描画することができ、ここで、ターゲット画面に関連付けられたコンポーネントはＳｕｒｆａｃｅＶｉｅｗであってもよい。具体的に、電子機器は、ターゲット画面に関連付けられたコンポーネントにおける描画面ウィンドウを予め作成された描画面ウィンドウとして設定し、そしてその描画面ウィンドウを予め作成された描画面ウィンドウとして設定するコンポーネントによって、現在のデータフレームに対応するプレビューテクスチャをターゲット画面に描画することができる。さらに、電子機器は、ターゲット画面に対してターゲット画面のＳｕｒｆａｃｅＶｉｅｗに関連付けられるＥＧＬＳｕｒｆａｃｅを作成し、そしてターゲット画面のＳｕｒｆａｃｅＶｉｅｗに関連付けられるＥＧＬＳｕｒｆａｃｅによって、現在のデータフレームに対応するプレビューテクスチャをターゲット画面に描画することができる。具体的に、電子機器は、ターゲット画面のＳｕｒｆａｃｅＶｉｅｗに関連付けられるＥＧＬＳｕｒｆａｃｅのＳｕｒｆａｃｅを予め作成されたＳｕｒｆａｃｅＴｅｘｔｕｒｅとして設定し、そしてそのＳｕｒｆａｃｅを予め作成されたＳｕｒｆａｃｅＴｅｘｔｕｒｅのＥＧＬＳｕｒｆａｃｅとして設定し、現在のデータフレームに対応するプレビューテクスチャをターゲット画面に描画することができる。例えば、ターゲット画面に対して、電子機器は、まずターゲット画面のＳｕｒｆａｃｅＶｉｅｗに関連付けられるＥＧＬＳｕｒｆａｃｅを作成し、ターゲット画面のＳｕｒｆａｃｅＶｉｅｗに関連付けられるＥＧＬＳｕｒｆａｃｅのＳｕｒｆａｃｅを予め作成されたＳｕｒｆａｃｅＴｅｘｔｕｒｅとして設定し、そしてＧＬスレッドにおけるＳｕｒｆａｃｅＴｅｘｔｕｒｅによって現在のデータフレームを取得し、ｕｐｄａｔｅＴｅｘＩｍａｇｅを読み取ることにより現在のデータフレームに対応するプレビューテクスチャを取得し、ＯｐｅｎＧＬによって現在のデータフレームに対応するプレビューテクスチャをターゲット画面１に描画する。具体的に、ＳｕｒｆａｃｅＶｉｅｗはビュー構造階層に埋め込まれたＳｕｒｆａｃｅを提供することができる。プログラマーはこのＳｕｒｆａｃｅのフォーマットを制御することができる。ＳｕｒｆａｃｅＶｉｅｗは、画面上にＳｕｒｆａｃｅを正しく配置する責任があり、ＳｕｒｆａｃｅＶｉｅｗはホストウィンドウから分離された独自のＳｕｒｆａｃｅがある。ＳｕｒｆａｃｅＴｅｘｔｕｒｅとＳｕｒｆａｃｅＶｉｅｗの違いは、画像ストリームに対する処理を直接表示するのではなく、ＧＬ外部テクスチャに変換するため、画像ストリームデータの二次処理（カメラフィルターやデスクトップエフェクトなど）に使用することができる。具体的に、ＳｕｒｆａｃｅＴｅｘｔｕｒｅは画像ストリーム（カメラプレビュー、ビデオデコード、ＧＬ描画シーンなどから）からフレームデータを取得することができ、ｕｐｄａｔｅＴｅｘＩｍａｇｅを読み取る場合、コンテンツストリーム内の最新の画像に応じて、ＳｕｒｆａｃｅＴｅｘｔｕｒｅに対応するＧＬテクスチャオブジェクトを更新し、次に通常のＧＬテクスチャを操作するように操作できるようになる。

なお、本出願の具体的な実施例において、ステップ２０４は、ステップ２０３の実行が完了した後に実行されてもよいし、またはステップ２０３と同時に実行されてもよく、すなわち、本出願は、レンダリング操作および前処理操作の実行順序を制限しない。

好ましく、本出願により提供される画像前処理方法は、実シーンを仮想物体で「強調」表示する技術を採用したＡＲナビゲーションシーンに適用することができ、ＡＲは、仮想オブジェクトを使用して実シーンを「拡張」表示することを採用する技術であり、仮想現実に比べて、リアリティが強く、モデリング作業量が少ないという利点がある。本出願により提供される技術案によれば、カメラのハードウェア抽象化レイヤにインターフェイスを追加するだけで、従来技術におけるカメラデータを受信する描画面ウィンドウをシームレスに置き換え、カメラデータの迅速な前処理を完了することができる。

本出願の実施例により提供される画像前処理方法は、まずカメラプレビューオープニングコマンドに応答して、ＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得し、次いで描画面ウィンドウを介して現在のデータフレームをそれに対応するプレビューテクスチャに変換し、そして現在のデータフレームに対応するプレビューテクスチャをＧＰＵに送信し、ＧＰＵによって現在のデータフレームに対応するプレビューテクスチャを処理し、ＣＰＵによって処理されたプレビューテクスチャをＡＤＡＳに送信する。つまり、本出願は、描画面ウィンドウを予め作成し、予め作成された描画面ウィンドウを介して現在のデータフレームをそれに対応するプレビューテクスチャに変換し、これによりＧＰＵで現在のデータフレームに対応するプレビューテクスチャを処理し、処理されたプレビューテクスチャをＣＰＵによってＡＤＡＳに送信し、ＡＤＡＳによって処理されたプレビューテクスチャを識別及び検出することができる。既存の画像前処理方法において、通常、ＣＰＵによってカメラで収集されたデータを前処理し、その後ＡＤＡＳに送信して関連する画像認識とアルゴリズム処理を行い、このようにしてＣＰＵがカメラデータに対する傍受を追加登録する必要がある。本出願は、ＧＰＵで現在のデータフレームに対応するプレビューテクスチャを処理し、処理されたプレビューテクスチャをＡＤＡＳに送信するという技術手段を採用するため、従来技術におけるＣＰＵがカメラデータに対する傍受を追加登録する必要があるという技術問題を克服し、ＣＰＵがカメラデータに対する傍受を追加登録する必要がなく、画像前処理を実現し、ＣＰＵリソースを効果的に節約し、前処理速度を向上させるという技術効果を達成し、かつ、本出願の実施例の技術案は、実現が簡単で便利であり、普及しやすく、適用範囲が広い。
実施例三

図３は本出願の実施例三により提供される画像前処理装置の概略構造図である。図３に示すように、前記装置３００は、取得モジュール３０１と、変換モジュール３０２と、前処理モジュール３０３と、を含み、ここで、
前記取得モジュール３０１は、カメラプレビューオープニングコマンドに応答して、中央処理装置ＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得することに用いられ、
前記変換モジュール３０２は、描画面ウィンドウを介して前記現在のデータフレームをそれに対応するプレビューテクスチャに変換することに用いられ、
前記前処理モジュール３０３は、前記現在のデータフレームに対応するプレビューテクスチャをグラフィックスプロセッサＧＰＵに送信し、前記ＧＰＵによって前記現在のデータフレームに対応するプレビューテクスチャを処理し、前記ＣＰＵによって処理されたプレビューテクスチャをＡＤＡＳに送信することに用いられる。

さらに、前記変換モジュール３０２は、具体的に、前記予め作成された描画面ウィンドウをプリセットタイプのテクスチャに関連し、前記プリセットタイプのテクスチャに関連する描画面ウィンドウを介して、前記現在のデータフレームをそれに対応するプレビューテクスチャに変換することに用いられる。

さらに、前記前処理モジュール３０３は、具体的に、前記ＧＰＵによって予め設定されたシェーダを呼び出し、前記ＧＰＵが占有するストレージスペースで前記現在のデータフレームに対応するプレビューテクスチャの色を変換する、または、前記ＧＰＵが占有するストレージスペースで前記現在のデータフレームに対応するプレビューテクスチャのピクセルフォーマットを変換する、または、前記ＧＰＵが占有するストレージスペースで前記現在のデータフレームに対応するプレビューテクスチャのサイズをスケーリングすることに用いられる。

さらに、前記前処理モジュール３０３は、具体的に、予め設定されたグラフィックバッファによって前記処理されたプレビューテクスチャを前記ＧＰＵから前記ＣＰＵにコピーし、前記ＣＰＵによって前記処理されたプレビューテクスチャを前記ＡＤＡＳに送信することに用いられる。

さらに、前記装置は、ターゲット画面に関連付けられた予め作成されたコンポーネントによって、前記現在のデータフレームに対応するプレビューテクスチャを前記ターゲット画面に描画するための描画モジュール３０４（図示しない）をさらに含む。

さらに、前記描画モジュール３０４は、具体的に、前記ターゲット画面に関連付けられたコンポーネントにおける描画面ウィンドウを前記予め作成された描画面ウィンドウとして設定し、
その描画面ウィンドウを前記予め作成された描画面ウィンドウとして設定するコンポーネントによって、前記現在のデータフレームに対応するプレビューテクスチャを前記ターゲット画面に描画することに用いられる。

さらに、前記取得モジュール３０１は、スレッド作成関数を呼び出すことにより、グラフィックスライブラリスレッドを作成し、前記グラフィックスライブラリスレッドによってオープン関数を呼び出して前記グラフィックスライブラリスレッドのオープングラフィックスライブラリのウィンドウ管理環境を配置し、前記オープングラフィックスライブラリのウィンドウ管理環境を配置するグラフィックスライブラリスレッドでカメラプレビューのための描画面ウィンドウを作成して前記予め作成された描画面ウィンドウとすることにさらに用いられる。

上記画像前処理装置は、本出願の任意の実施例で提供される方法を実行することができ、実行方法に応じる機能モジュールと有益な効果を備えている。本実施例で詳細に説明されていない技術的詳細は、本出願の任意の実施例で提供される画像前処理方法を参照することができる。

本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。

図４に示すように、それは本出願の実施例に係る画像前処理方法の電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータなどの様々な形式のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形式のモバイルデバイスを表すこともできる。本明細書で示されるユニット、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び／又は要求される本出願の実現を制限することを意図したものではない。

図４に示すように、当該電子機器は、一つ又は複数のプロセッサ４０１と、メモリ４０２と、高速インターフェイスと低速インターフェイスを含む各ユニットを接続するためのインターフェイスと、を含む。各ユニットは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、外部入力／出力装置（インターフェイスに結合されたディスプレイデバイスなど）にＧＵＩの図形情報をディスプレイするためにメモリに記憶されている命令を含む、電子機器内に実行される命令を処理することができる。他の実施方式では、必要であれば、複数のプロセッサ及び／又は複数のバスを、複数のメモリと複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、部分的な必要な操作（例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする）を提供することができる。図４では、一つのプロセッサ４０１を例とする。

メモリ４０２は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。その中、前記メモリには、少なくとも一つのプロセッサによって実行される命令を記憶して、前記少なくとも一つのプロセッサが本出願により提供される画像前処理方法を実行することができるようにする。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータが本出願により提供される画像前処理方法を実行するためのコンピュータ命令を記憶する。

メモリ４０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例における画像前処理方法に対応するプログラム命令／モジュール（例えば、図３に示す取得モジュール３０１、変換モジュール３０２及び前処理モジュール３０３）ように、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶するために用いられる。プロセッサ４０１は、メモリ４０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アクティベーション及びデータ処理を実行し、すなわち上記の方法の実施例における画像前処理方法を実現する。

メモリ４０２は、ストレージプログラム領域とストレージデータ領域とを含むことができ、その中、ストレージプログラム領域は、オペレーティングシステム、少なくとも一つの機能に必要なアクティベーションプログラムを記憶することができ、ストレージデータ領域は、電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ４０２は、高速ランダム存取メモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも一つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ４０２は、プロセッサ４０１に対して遠隔に設置されたメモリを含むことができ、これらの遠隔メモリは、ネットワークを介して電子機器に接続されることができる。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定しない。

画像前処理方法の電子機器は、入力装置４０３と出力装置４０４とをさらに含むことができる。プロセッサ４０１、メモリ４０２、入力装置４０３、及び出力装置４０４は、バス又は他の方式を介して接続することができ、図４では、バスを介して接続することを例とする。

入力装置４０３は、入力された数字又は文字情報を受信することができ、及び電子機器のユーザ設置及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、指示杆、一つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置４０４は、ディスプレイデバイス、補助照明デバイス（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定しない。いくつかの実施方式では、ディスプレイデバイスは、タッチスクリーンであってもよい。
本出願の実施例によれば、コンピュータプログラムが提供される。当該コンピュータプログラムにおける命令が実行された場合に、本出願の実施例の画像前処理方法が実行される。

本明細書で説明されるシステムと技術の様々な実施方式は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳIＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施方式は、一つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも一つの入力装置、及び少なくとも一つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも一つの入力装置、及び当該少なくとも一つの出力装置に伝送することができる。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアクティベーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令、高レベルのプロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することを含む。本明細書に使用されるように、用語「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。用語「機械読み取り可能な信号」は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供するために用いられることもでき、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドユニットを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアユニットを含むコンピューティングシステム（例えば、アクティベーションサーバー）、又はフロントエンドユニットを含むコンピューティングシステム（例えば、グラフィカルユーザインターフェイス又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインターフェイス又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施方式とインタラクションする）、又はこのようなバックエンドユニットと、ミドルウェアユニットと、フロントエンドユニットの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのユニットを相互に接続されることができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットとを含む。

コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。

本出願の実施例の技術案によれば、まずカメラプレビューオープニングコマンドに応答して、ＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得し、次いで描画面ウィンドウを介して現在のデータフレームをそれに対応するプレビューテクスチャに変換し、そして現在のデータフレームに対応するプレビューテクスチャをＧＰＵに送信し、ＧＰＵによって現在のデータフレームに対応するプレビューテクスチャを処理し、ＣＰＵによって処理されたプレビューテクスチャをＡＤＡＳに送信する。つまり、本出願は、描画面ウィンドウを予め作成し、予め作成された描画面ウィンドウを介して現在のデータフレームをそれに対応するプレビューテクスチャに変換し、これによりＧＰＵで現在のデータフレームに対応するプレビューテクスチャを処理し、処理されたプレビューテクスチャをＣＰＵによってＡＤＡＳに送信し、ＡＤＡＳによって処理されたプレビューテクスチャを識別及び検出することができる。既存の画像前処理方法において、通常、ＣＰＵによってカメラで収集されたデータを前処理し、その後ＡＤＡＳに送信して関連する画像認識とアルゴリズム処理を行い、このようにしてＣＰＵがカメラデータに対する傍受を追加登録する必要がある。本出願は、ＧＰＵで現在のデータフレームに対応するプレビューテクスチャを処理し、処理されたプレビューテクスチャをＡＤＡＳに送信するという技術手段を採用するため、従来技術におけるＣＰＵがカメラデータに対する傍受を追加登録する必要があるという技術問題を克服し、ＣＰＵがカメラデータに対する傍受を追加登録する必要がなく、画像前処理を実現し、ＣＰＵリソースを効果的に節約し、前処理速度を向上させるという技術効果を達成し、かつ、本出願の実施例の技術案は、実現が簡単で便利であり、普及しやすく、適用範囲が広い。

上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。

上記の具体的な実施方式は、本出願に対する保護範囲の制限を構成するものではない。当業者は、設計要求と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本出願の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれなければならない。

Claims

画像前処理方法であって、
カメラプレビューオープニングコマンドに応答して、中央処理装置ＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得するステップと、
描画面ウィンドウを介して前記現在のデータフレームをそれに対応するプレビューテクスチャに変換するステップと、
前記現在のデータフレームに対応するプレビューテクスチャをグラフィックスプロセッサＧＰＵに送信し、前記ＧＰＵによって前記現在のデータフレームに対応するプレビューテクスチャを処理し、前記ＣＰＵによって処理されたプレビューテクスチャを高度な運転支援システムＡＤＡＳに送信するステップと、
を含む、
ことを特徴とする画像前処理方法。
前記描画面ウィンドウを介して前記現在のデータフレームをそれに対応するプレビューテクスチャに変換するステップは、
前記予め作成された描画面ウィンドウをプリセットタイプのテクスチャに関連するステップと、
前記プリセットタイプのテクスチャに関連する描画面ウィンドウを介して、前記現在のデータフレームをそれに対応するプレビューテクスチャに変換するステップと、
を含む、
ことを特徴とする請求項１に記載の方法。
前記ＧＰＵによって前記現在のデータフレームに対応するプレビューテクスチャを処理するステップは、
前記ＧＰＵによって予め設定されたシェーダを呼び出し、前記ＧＰＵが占有するストレージスペースで前記現在のデータフレームに対応するプレビューテクスチャの色を変換するステップ、または、前記ＧＰＵが占有するストレージスペースで前記現在のデータフレームに対応するプレビューテクスチャのピクセルフォーマットを変換するステップ、または、前記ＧＰＵが占有するストレージスペースで前記現在のデータフレームに対応するプレビューテクスチャのサイズをスケーリングするステップを含む、
ことを特徴とする請求項１に記載の方法。
前記ＣＰＵによって処理されたプレビューテクスチャをＡＤＡＳに送信するステップは、
予め設定されたグラフィックバッファによって前記処理されたプレビューテクスチャを前記ＧＰＵから前記ＣＰＵにコピーし、前記ＣＰＵによって前記処理されたプレビューテクスチャを前記ＡＤＡＳに送信するステップを含む、
ことを特徴とする請求項１に記載の方法。
ターゲット画面に関連付けられた予め作成されたコンポーネントによって、前記現在のデータフレームに対応するプレビューテクスチャを前記ターゲット画面に描画するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
ターゲット画面に関連付けられた予め作成されたコンポーネントによって、前記現在のデータフレームに対応するプレビューテクスチャを前記ターゲット画面に描画するステップは、
前記ターゲット画面に関連付けられたコンポーネントにおける描画面ウィンドウを前記予め作成された描画面ウィンドウとして設定するステップと、
その描画面ウィンドウを前記予め作成された描画面ウィンドウとして設定するコンポーネントによって、前記現在のデータフレームに対応するプレビューテクスチャを前記ターゲット画面に描画するステップと、
を含む、
ことを特徴とする請求項５に記載の方法。
前記ＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得する前に、
スレッド作成関数を呼び出すことにより、グラフィックスライブラリスレッドを作成し、前記グラフィックスライブラリスレッドによってオープン関数を呼び出して前記グラフィックスライブラリスレッドのオープングラフィックスライブラリのウィンドウ管理環境を配置するステップと、
前記オープングラフィックスライブラリのウィンドウ管理環境を配置するグラフィックスライブラリスレッドでカメラプレビューのための描画面ウィンドウを作成して前記予め作成された描画面ウィンドウとするステップと、
をさらに含む、
ことを特徴とする請求項１に記載の方法。
画像前処理装置であって、
取得モジュールと、変換モジュールと、前処理モジュールと、を含み、
前記取得モジュールは、カメラプレビューオープニングコマンドに応答して、中央処理装置ＣＰＵによって予め作成された描画面ウィンドウを呼び出して、カメラで収集された現在のデータフレームを取得することに用いられ、
前記変換モジュールは、描画面ウィンドウを介して前記現在のデータフレームをそれに対応するプレビューテクスチャに変換することに用いられ、
前記前処理モジュールは、前記現在のデータフレームに対応するプレビューテクスチャをグラフィックスプロセッサＧＰＵに送信し、前記ＧＰＵによって前記現在のデータフレームに対応するプレビューテクスチャを処理し、前記ＣＰＵによって処理されたプレビューテクスチャをＡＤＡＳに送信することに用いられる、
ことを特徴とする画像前処理装置。
前記変換モジュールは、具体的に、前記予め作成された描画面ウィンドウをプリセットタイプのテクスチャに関連し、前記プリセットタイプのテクスチャに関連する描画面ウィンドウを介して、前記現在のデータフレームをそれに対応するプレビューテクスチャに変換することに用いられる、
ことを特徴とする請求項８に記載の装置。
前記前処理モジュールは、具体的に、前記ＧＰＵによって予め設定されたシェーダを呼び出し、前記ＧＰＵが占有するストレージスペースで前記現在のデータフレームに対応するプレビューテクスチャの色を変換する、または、前記ＧＰＵが占有するストレージスペースで前記現在のデータフレームに対応するプレビューテクスチャのピクセルフォーマットを変換する、または、前記ＧＰＵが占有するストレージスペースで前記現在のデータフレームに対応するプレビューテクスチャのサイズをスケーリングすることに用いられる、
ことを特徴とする請求項８に記載の装置。
前記前処理モジュールは、具体的に、予め設定されたグラフィックバッファによって前記処理されたプレビューテクスチャを前記ＧＰＵから前記ＣＰＵにコピーし、前記ＣＰＵによって前記処理されたプレビューテクスチャを前記ＡＤＡＳに送信することに用いられる、
ことを特徴とする請求項８に記載の装置。
ターゲット画面に関連付けられた予め作成されたコンポーネントによって、前記現在のデータフレームに対応するプレビューテクスチャを前記ターゲット画面に描画するための描画モジュールをさらに含む、
ことを特徴とする請求項８に記載の装置。
前記描画モジュールは、具体的に、前記ターゲット画面に関連付けられたコンポーネントにおける描画面ウィンドウを前記予め作成された描画面ウィンドウとして設定し、
その描画面ウィンドウを前記予め作成された描画面ウィンドウとして設定するコンポーネントによって、前記現在のデータフレームに対応するプレビューテクスチャを前記ターゲット画面に描画することに用いられる、
ことを特徴とする請求項１２に記載の装置。
前記取得モジュールは、スレッド作成関数を呼び出すことにより、グラフィックスライブラリスレッドを作成し、前記グラフィックスライブラリスレッドによってオープン関数を呼び出して前記グラフィックスライブラリスレッドのオープングラフィックスライブラリのウィンドウ管理環境を配置し、前記オープングラフィックスライブラリのウィンドウ管理環境を配置するグラフィックスライブラリスレッドでカメラプレビューのための描画面ウィンドウを作成して前記予め作成された描画面ウィンドウとすることにさらに用いられる、
ことを特徴とする請求項８に記載の装置。
電子機器であって、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサと通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも一つのプロセッサによって実行可能な命令が記憶されており、前記命令が前記少なくとも一つのプロセッサによって実行される場合、前記少なくとも一つのプロセッサが請求項１〜７のいずれかに記載の方法を実行する、
ことを特徴とする電子機器。
コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令が実行される場合、請求項１〜７のいずれかに記載の方法が実行される、
ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
コンピュータプログラムであって、
前記コンピュータプログラムにおける命令が実行された場合に、請求項１〜７のいずれかに記載の方法が実行される、
ことを特徴とするコンピュータプログラム。