JP2021068367A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】高フレームレートを維持した表示が可能となる。【解決手段】画像処理装置は、３次元描画コマンドに基づいて３次元描画データを生成する３次元画像処理装置と、３次元描画コマンドを２次元描画コマンドに変換するコマンド変換装置と、変換された２次元描画コマンドに基づいて２次元描画データを生成する２次元画像処理装置と、３次元画像処理装置の負荷が高い場合は、３次元描画データの代わりに２次元描画データを表示する表示制御装置と、を有する。【選択図】図３

Description

本発明は画像処理装置及び画像処理方法に関し、特に車載用画像処理装置及び画像処理方法に関する。

自動車のメータークラスター（車速、エンジン回転数、燃料の残量等）は、従来の機械式のメーターを使った表示から、液晶ディスプレイを使って表示する、所謂、デジタルメータークラスターに置き換わりつつある。

メータークラスター用で使用される液晶ディスプレイの大型化と高解像度化に伴い、画像処理装置の処理負荷が増大している。また、デジタルメータークラスターの進歩により、２次元（２Ｄ）だけでなく３次元（３Ｄ）表示や、高フレームレートでの表示が要求され、画像処理装置の処理負荷が更に増大している。

特許文献１には、画像処理装置の高速化のため、ＧＰＵ（グラフィックス・プロセッシング・ユニット）などのハードウェアアクセラレータに関する技術が開示されている。

特開２０１０−１７６６０８号公報

メータークラスターにおいては、例えば６０ＦＰＳ（Ｆｒａｍｅｓ Ｐｅｒ Ｓｅｃｏｎｄ）といった高いフレームレートの描画性能が要求される。３Ｄ、高フレームレート、高解像度で描画を行う場合、画像処理装置には高負荷がかかる。この場合、画像処理装置の処理スピードが下がり、要求されたフレームレートを満たせなくなることがある。車載のメータークラスターでは、リアルタイムな情報表示が要求されるため、高フレームレートを維持可能な技術が要求される。

その他の課題および新規な特徴は、本明細書および図面の記載から明らかになる。

一実施の形態に係る画像処理装置は、３次元描画コマンドに基づいて３次元描画データを生成する３次元画像処理装置と、３次元描画コマンドを２次元描画コマンドに変換するコマンド変換装置と、変換された２次元描画コマンドに基づいて２次元描画データを生成する２次元画像処理装置と、３次元画像処理装置の負荷が高い場合は、３次元描画データの代わりに２次元描画データを表示する表示制御装置と、を有する。

一実施の形態に係る画像処理装置では、高フレームレートを維持した表示が可能となる。

図１は実施の形態１に係る画像処理装置のブロック図である。 図２は実施の形態１に係るメータークラスターの表示例である。 図３は実施の形態１に係る画像処理装置の機能ブロック図である。 図４は実施の形態１に係る画像処理装置の動作を説明するフローチャートである。 図５は実施の形態２に係る画像処理装置の機能ブロック図である。 図６は実施の形態２に係る画像処理装置の動作を説明するフローチャートである。 図７は実施の形態３に係る画像処理装置の機能ブロック図である。 図８は実施の形態３に係る画像処理装置の機能ブロック図である。

以下、一実施の形態に係る半導体装置について、図面を参照して詳細に説明する。なお、明細書および図面において、同一の構成要件または対応する構成要件には、同一の符号を付し、重複する説明は省略する。また、図面では、説明の便宜上、構成を省略または簡略化している場合もある。また、各実施の形態の少なくとも一部は、互いに任意に組み合わされてもよい。

［実施の形態１］
（画像処理装置の構成）
図１は、実施の形態１に係る画像処理装置１００の構成を示すブロック図である。

図１に示されるように、画像処理装置１００は、ＣＰＵ１０１、ディスプレイ１０２、メモリ１０３、３次元（３Ｄ）グラフィックス用ＧＰＵ１０７、２次元（２Ｄ）グラフィックス用ＧＰＵ１０８を有する。メモリ１０３は、描画プログラム１０４、コマンドバッファ１０５、フレームバッファ１０６で構成される。メモリの一部は不揮発性メモリであってもよい。

図２は、メータークラスターの表示例である。液晶などのディスプレイにスピードメーター２０１、エンジン回転速度計（タコメーター）２０２、警告灯２０３、背景などが表示される。なお、図２では各部品を２Ｄのイメージで表示しているが、実際には３Ｄで表示されるものである。また、メータークラスター内に車載カメラの映像を組み込む場合もある。例えば、リアビューカメラ、サイドビューカメラ、アラウンドビューカメラなどである。カメラからの映像に、車体を示すグラフィックスや、車の進行方向を予測するガイドラインなどのグラフィックスが合成されて表示されることもある。

図１を用いて各ブロックの概略を説明する。ＣＰＵ１０１は、描画プログラム１０４を実行することで、ディスプレイ１０２に表示すべき部品の描画コマンドを生成する。例えば、スピードメーター２０１やエンジン回転速度計２０２の形状、警告灯の表示を行うための３Ｄ描画コマンドを生成する。生成された３Ｄ描画コマンドは、コマンドバッファ１０５に格納される。

３Ｄグラフィックス用ＧＰＵ１０７（３次元画像処理装置とも呼ぶ）は、生成された３Ｄ描画コマンドに基づいて、ディスプレイ１０２に表示すべき部品の描画データを生成する。生成された描画データはフレームバッファ１０６に格納される。ディスプレイ１０２には、フレームバッファ１０６に格納された描画データが表示される。

２Ｄグラフィックス用ＧＰＵ１０８（２次元画像処理装置とも呼ぶ）も同様に、生成された２Ｄ描画コマンドに基づいて、ディスプレイ１０２に表示すべき部品の描画データを生成する。生成された描画データはフレームバッファ１０６に格納される。ここで、本実施の形態１では、２Ｄ描画コマンドの生成方法に特徴がある。詳細は後述する。

以上の基本的な動作が、例えば６０ＦＰＳであれば、１秒間に６０回実行されることが求められる。ＣＰＵ１０１や３Ｄグラフィックス用ＧＰＵ１０７が高負荷の状態になると、６０ＦＰＳを満たせなくなる可能性がある。

（画像処理装置の動作）
次に本実施の形態１に係る画像処理装置の動作について説明する。図３は、描画プログラム１０４の機能を説明するためのブロック図である。図４は、画像処理装置１００の動作を説明するためのフローチャートである。描画制御部３０１は、１フレームの描画データ生成と表示を１つの単位として動作する（ステップＳ１）。描画制御部３０１は、１フレーム内で描画対象となる部品（スピードメーター等）について、３次元描画コマンド生成装置としての３Ｄ描画コマンド生成部３０２に描画指示を出す（ステップＳ２）。

３Ｄ描画コマンド生成部３０２は、描画制御部３０１からの指示に基づいて、描画対象部品用の３Ｄ描画コマンドを生成する（ステップＳ３）。生成された３Ｄ描画コマンド３０３は、コマンドバッファ１０５に格納される（ステップＳ４）。ここで、３Ｄ描画コマンド生成部３０２は、生成した３Ｄ描画コマンドに対して優先度を付与する。優先度は、表示対象の部品が、メータークラスターにとって重要な表示かどうかで予め決められる。例えば、車速やエンジン回転速度は重要な情報であるため、スピードメーターやエンジン回転速度計を描画するための３Ｄ描画コマンドには優先度情報が設定される。一方、メータークラスターの背景などは重要度が低いため、背景描画用の３Ｄ描画コマンドには優先度情報が設定されない。

３Ｄ描画コマンド処理部３０４は、生成された３Ｄ描画コマンド３０３に基づいてディスプレイ１０２に表示する部品の３Ｄ描画データを生成する（ステップＳ５）。３Ｄ描画データを生成する際、３Ｄ描画コマンド処理部２０４は、３Ｄグラフィックス用ＧＰＵ１０７を使用する。生成された３Ｄ描画データはフレームバッファ１０６に格納される（ステップＳ６）。本実施の形態１では、フレームバッファ１０６は複数用意されており、３Ｄ描画データが格納されるフレームバッファ１０６は、第１のフレームバッファとしてのフレームバッファ０とする。

コマンド変換装置としての３Ｄ−２Ｄコマンド変換部３０５は、本実施の形態１の特徴となるブロックである。３Ｄ−２Ｄコマンド変換部３０５は、まず、生成された３Ｄ描画コマンド３０３の優先度情報を確認する（ステップＳ７）。生成された３Ｄ描画コマンド３０３に優先度情報が設定されている場合は、生成された３Ｄ描画コマンド３０３を２Ｄ描画コマンド３０６に変換する（ステップＳ８）。変換された２Ｄ描画コマンド３０６は、コマンドバッファ１０５に格納される（ステップＳ９）。生成された３Ｄ描画コマンド３０３に優先度情報が設定されていない場合は、３Ｄ−２Ｄコマンド変換部３０５は、２Ｄ描画コマンドへの変換は行わない。

３Ｄコマンドから２Ｄコマンドへの変換は、変換テーブルを用いて行う。変換テーブルには、３Ｄコマンドに対応する２Ｄコマンドが登録されている。変換テーブルは、不揮発性メモリに格納される。

２Ｄ描画コマンド処理部３０７は、変換された２Ｄ描画コマンド３０６に基づいてディスプレイに表示する部品の２Ｄ描画データを生成する（ステップＳ１０）。２Ｄ描画データを生成する際、２Ｄ描画コマンド３０６は、２Ｄグラフィックス用ＧＰＵ１０８を使用する。生成された２Ｄ描画データはフレームバッファ１０６に格納される（ステップＳ１１）。ここで、２Ｄ描画データが格納されるフレームバッファ１０６は、第２のフレームバッファとしてのフレームバッファ１とする。

描画制御部３０１は、１フレームに関わる３Ｄ描画データ、２Ｄ描画データができたら、表示制御装置としての表示制御部３０８に描画データのディスプレイ１０２への表示を指示する（ステップＳ１のＹ）。

表示制御部３０８は、描画制御部３０１から描画指示を受けると、フレームバッファ０に格納されている３Ｄ描画データとフレームバッファ１に格納されている２Ｄ描画データのどちらか一方を選択し、ディスプレイ１０２に表示する。表示制御部３０８は、フレームバッファ０とフレームバッファ１の選択を負荷検出部３０９が有する３Ｄ描画コマンド処理部３０４の処理負荷情報で決定する（ステップＳ１２）。３Ｄ描画コマンド処理部３０４の処理負荷が低い場合はフレームバッファ０を選択し、処理負荷が高い場合は、フレームバッファ１を選択する。表示制御部３０８は、選択されたフレームバッファ０または１をディスプレイ１０２に表示する（ステップＳ１３、Ｓ１４）。すなわち、３Ｄ描画コマンド処理部３０４の処理負荷が低い場合は、メータークラスターが３Ｄで表示され、処理負荷が高い場合は、メータークラスターの中で優先度の高い部品が２Ｄで表示されることになる。

負荷検出部３０９は、３Ｄ描画コマンド処理部３０４の処理負荷を検出する。具体的には、ＣＰＵ１０１の使用率や、３Ｄグラフィックス用ＧＰＵ１０７の使用率から処理負荷を検出する。検出された処理負荷は、上述した通り、表示制御部３０８に送信される。

（効果）
以上のように、本実施の形態１に係る画像処理装置１００では、３Ｄグラフィックスの処理負荷が高負荷と判断された時点で、フレーム毎に２Ｄグラフィックス表示に切り替えることが可能となる。これにより、要求される高フレームレートを維持した表示が可能となる。また、表示対象部品ごとに優先度を設定し、優先度が設定された部品に対して２Ｄグラフィックス用の描画データを生成している。これにより、２Ｄグラフィックスの処理が高負荷になることを避けることができ、高フレームレートの表示を維持することがより確実となる。

［実施の形態２］
（画像処理装置の構成）
実施の形態２に係る画像処理装置の構成は図１と同様である。本実施の形態２では、描画プログラムの機能が実施の形態１と異なる。図５は、本実施の形態２に係る描画プログラム１０４ａの機能を説明するためのブロック図である。実施の形態１との違いは、エラー検出部３１０が追加されていることである。

エラー検出部３１０は、３Ｄ描画コマンド処理部３０４の動作状態を監視する。具体的には、３Ｄグラフィックス用ＧＰＵ１０７は、処理中にエラーが発生した場合は、割り込み信号を出力してＣＰＵ１０１にエラーを通知する。エラー検出部３１０は、この割り込み信号をもとにエラーの発生を検出することができる。

表示制御部３０８は、フレームバッファ０とフレームバッファ１の選択を、負荷検出部３０９が有する処理負荷情報だけでなく、エラー検出部３１０が有するエラー情報も考慮して行う。

（画像処理装置の動作）
次に本実施の形態２に係る画像処理装置の動作について説明する。

図６は、実施の形態２に係る画像処理装置の動作を説明するためのフローチャートである。実施の形態１との違いは、ステップＳ１２がステップＳ１２ａに変更されていることである。ステップＳ１１までは実施の形態１と同様であるため説明は省略する。

表示制御部３０８は、描画制御部３０１から描画指示を受けると、フレームバッファ０に格納されている３Ｄ描画データとフレームバッファ１に格納されている２Ｄ描画データのどちらか一方を選択し、ディスプレイ１０２に表示する。表示制御部３０８は、フレームバッファ０とフレームバッファ１の選択を、負荷検出部３０９が有する３Ｄ描画コマンド処理部３０４の処理負荷情報と、エラー検出装置としてのエラー検出部３１０が有するエラー情報とで決定する（ステップＳ１２ａ）。３Ｄ描画コマンド処理部３０４の処理負荷が低く、かつ、エラーが発生していなければフレームバッファ０を選択する。３Ｄ描画コマンド処理部３０４の処理負荷が高い、またはエラーが発生していた場合は、フレームバッファ１を選択する。表示制御部３０８は、選択されたフレームバッファ０または１をディスプレイ１０２に表示する（ステップＳ１３、Ｓ１４）。すなわち、３Ｄ描画コマンド処理部３０４の処理負荷が低く、かつエラーが発生していなければ、メータークラスターが３Ｄで表示され、処理負荷が高い、またはエラーが発生している場合は、メータークラスターの中で優先度の高い部品が２Ｄで表示されることになる。

（効果）
以上のように、本実施の形態２に係る画像処理装置では、実施の形態１の効果に加え、３Ｄグラフィックスの処理中にエラーが発生した場合でも、高フレームレートでの表示を維持することが可能となる。

［実施の形態３］
（画像処理装置の構成）
実施の形態３に係る画像処理装置の構成は図１と同様である。本実施の形態３では、描画プログラムの機能が実施の形態１、２とは異なる。図７は、本実施の形態３に係る描画プログラム１０４ｂの機能を説明するためのブロック図である。実施の形態２との違いは、表示時間測定部３１１が追加されていることである。

表示時間測定部３１１は、表示制御部３０８が２Ｄ描画データをディスプレイ１０２に表示したら、２Ｄ描画データを表示したことを示すフラグをセットする。また、２Ｄ描画データを表示した時間が計測される。計測する単位は秒でもよいし、フレーム数でもよい。計測時間が所定時間を超えたら、フラグはリセットされ、２Ｄ描画データを表示した時間の計測を停止する。

表示制御部３０８は、３Ｄ描画コマンド処理部３０４の負荷とエラー情報だけでなく、２Ｄ描画データをディスプレイ１０２に表示した時間に応じて、３Ｄ描画データ、または２Ｄ描画データをディスプレイ１０２に表示する。

（画像処理装置の動作）
次に本実施の形態３に係る画像処理装置の動作について説明する。

図８は、実施の形態３に係る画像処理装置の動作を説明するためのフローチャートである。実施の形態２との違いは、ステップＳ１５とＳ１６が追加されていることである。ステップＳ１２ａまでは実施の形態２と同様であるため説明は省略する。

Ｎフレーム目（Ｎは１以上の整数）の表示の時、表示制御部３０８が２Ｄ描画データを選択し、２Ｄ描画データを表示した場合で説明する。表示時間計測装置としての表示時間測定部３１１は、フラグをセットし、２Ｄ描画データが表示された時間の測定を開始する（ステップＳ１５）。

（Ｎ＋１）以降のフレームで、表示制御部３０８が３Ｄ描画データを選択した場合、表示制御部３０８は、表示時間測定部３１１が有する測定時間を確認する（ステップＳ１６）。表示時間測定部３１１が有する測定時間、すなわち２Ｄ描画データの表示時間が所定値を超えていた場合は、表示制御部３０８は、フレームバッファ０の３Ｄ描画データをディスプレイ１０２に表示する。この場合、表示時間測定部３１１はフラグをリセットし、２Ｄ描画データが表示された時間の測定を停止する。２Ｄ描画データの表示時間が所定値を超えていない場合は、表示制御部３０８は、フレームバッファ１の２Ｄ描画データをディスプレイ１０２に表示する。この場合、表示時間測定部３１１は、２Ｄ描画データが表示された時間の測定を継続する。

ここで、所定値がＭ（Ｍは１以上の整数）フレームだとする。Ｎフレーム〜（Ｎ＋Ｍ−１）フレームは、ステップＳ１２ａの選択によらず、２Ｄ描画データがディスプレイ１０２に表示されることになる。（Ｎ＋Ｍ−１）フレーム時に、表示時間測定部３１１のフラグはリセットされるため、（Ｎ＋Ｍ）フレーム目は、ステップＳ１２ａで選択された３Ｄ描画データまたは２Ｄ描画データが表示されることになる。

（効果）
以上のように、本実施の形態３に係る画像処理装置では、実施の形態１、２の効果に加え、２Ｄ描画データの表示を所定時間維持することが可能となる。実施の形態１と２では、３Ｄ描画コマンド処理部３０４の処理負荷が高くなったり低くなったりを繰り返すと、３Ｄ表示と２Ｄ表示とが頻繁に切り替わってしまう。このような表示は画像をみているユーザには好ましくない。本実施の形態３では、３Ｄ表示と２Ｄ表示とが頻繁に切り替わるような表示を軽減することが可能となる。

なお、本発明は、上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更され得る。

１００ 画像処理装置
１０１ ＣＰＵ
１０２ ディスプレイ
１０３ メモリ
１０４、１０４ａ、１０４ｂ 描画プログラム
１０５ コマンドバッファ
１０６ フレームバッファ
１０７ ３Ｄグラフィックス用ＧＰＵ（３次元画像処理装置）
１０８ ２Ｄグラフィックス用ＧＰＵ（２次元画像処理装置）
２０１ スピードメーター
２０２ エンジン回転速度計
２０３ 警告灯
３０１ 描画制御部
３０２ ３Ｄ描画コマンド生成部（３次元描画コマンド生成装置）
３０３ ３Ｄ描画コマンド
３０４ ３Ｄ描画コマンド処理部
３０５ ３Ｄ−２Ｄコマンド変換部（コマンド変換装置）
３０６ ２Ｄ描画コマンド
３０７ ２Ｄ描画コマンド処理部
３０８ 表示制御部（表示制御装置）
３０９ 負荷検出部
３１０ エラー検出部（エラー検出装置）
３１１ 表示時間測定部（表示時間計測装置）

Claims (14)

1. ３次元描画コマンドに基づいて３次元描画データを生成する３次元画像処理装置と、
   前記３次元描画コマンドを２次元描画コマンドに変換するコマンド変換装置と、
   前記変換された２次元描画コマンドに基づいて２次元描画データを生成する２次元画像処理装置と、
   前記３次元画像処理装置の負荷が高い場合は、前記３次元描画データの代わりに前記２次元描画データを表示する表示制御装置と、
   を有する画像処理装置。
2. 前記コマンド変換装置は、前記３次元描画コマンドに設定される優先度に基づいて、前記２次元描画コマンドに変換する、
   請求項１に記載の画像処理装置。
3. 前記３次元描画データを格納する第１のフレームバッファと、
   前記２次元描画データを格納する第２のフレームバッファと、を更に有し、
   前記表示制御装置は、フレーム毎に前記３次元画像処理装置の負荷を判断し、前記３次元画像処理装置の負荷が高い場合は、前記３次元描画データの代わりに前記２次元描画データを表示する、
   請求項２に記載の画像処理装置。
4. 前記３次元画像処理装置のエラーを検出するエラー検出装置を更に有し、
   前記エラー検出装置がエラーを検出した場合は、前記表示制御装置は、前記３次元描画データの代わりに前記２次元描画データを表示する、
   請求項３に記載の画像処理装置。
5. 前記２次元描画データが表示された時間を計測する表示時間計測装置を更に有し、
   前記計測された時間が所定値以内の場合は、前記表示制御装置は、前記３次元描画データの代わりに前記２次元描画データを表示する、
   請求項４に記載の画像処理装置。
6. 描画対象に応じて前記３次元描画コマンドを生成する３次元描画コマンド生成装置を更に有する、
   請求項３に記載の画像処理装置。
7. 前記３次元描画コマンドと前記２次元描画コマンドとの対応を示す変換テーブルを更に有する、
   請求項３に記載の画像処理装置。
8. 前記３次元描画コマンドと前記２次元描画コマンドは、メータークラスター描画用のコマンドである、
   請求項５に記載の画像処理装置。
9. ３次元描画コマンドに基づいて、３次元画像処理装置に３次元描画データを生成させるステップと、
   前記３次元描画コマンドを２次元描画コマンドに変換するステップと、
   前記２次元描画コマンドに基づいて、２次元画像処理装置に２次元描画データを生成させるステップと、
   前記３次元画像処理装置の負荷が高い場合は、前記３次元描画データの代わりに前記２次元描画データを表示するステップと、
   を有する画像処理方法。
10. 前記変換は、前記３次元描画コマンドに設定される優先度に基づいて行われる、
    請求項９に記載の画像処理方法。
11. 前記３次元画像処理装置の負荷をフレーム毎に判断する、
    請求項１０に記載の画像処理方法。
12. 前記３次元画像処理装置のエラーを検出するステップと、
    前記３次元画像処理装置のエラーが検出された場合は、前記３次元描画データの代わりに前記２次元描画データを表示するステップと、を更に有する
    請求項１１に記載の画像処理方法。
13. 前記２次元描画データが表示された時間を計測するステップと、
    前記計測された時間が所定値以内の場合は、前記３次元描画データの代わりに前記２次元描画データを表示するステップと、を更に有する
    請求項１２に記載の画像処理方法。
14. 前記３次元描画コマンドから前記２次元描画コマンドへの変換は、前記３次元描画コマンドと前記２次元描画コマンドとの対応を示す変換テーブルを使って行われる、
    請求項１１に記載の画像処理方法。

Images