JP2020507244A

JP2020507244A - 画像円滑性向上方法および装置

Info

Publication number: JP2020507244A
Application number: JP2019536838A
Authority: JP
Inventors: 潘明東
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2017-09-08
Filing date: 2018-09-10
Publication date: 2020-03-05
Anticipated expiration: 2038-09-10
Also published as: CN109474768A; JP6894976B2; WO2019047956A1; EP3681143A4; EP3681143A1; KR20190117635A

Abstract

本開示は、画像円滑性向上方法および装置を提供する。前記方法は、ディスプレイから垂直同期信号が送信されてきたときに、現在フレームデータの処理を開始することと、垂直同期信号の周期内に現在フレームデータの処理が完了していない場合、所定の延長期間に現在フレームデータの処理を継続することと、前記所定の延長期間にも現在フレームデータの処理が完了していない場合、現在フレームデータの処理を破棄し、前記ディスプレイに前フレーム画像を表示し続けることとを含む。【選択図】図３

Description

本開示は、端末技術分野に関するが、これに限定されない。

現在、電子機器（例えば、携帯電話）において、処理チップとスクリーンとの間では、基本的にＭＩＰＩ（ＭｏｂｉｌｅＩｎｄｕｓｔｒｙＰｒｏｃｅｓｓｏｒＩｎｔｅｒｆａｃｅ）インタフェースの伝送プロトコルを採用し、プロトコルの規定により、ビデオモード（ｖｉｄｅｏｍｏｄｅ）およびコマンドモード（ｃｍｄｍｏｄｅ）という２つのモードに分けて伝送することができ、この２つのモードにおいて、垂直同期信号（ｖｅｒｔｉｃａｌｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ、ＶＳｙｎｃ）の発生方式も異なる。ｖｉｄｅｏｍｏｄｅ伝送方式を採用する場合、ＶＳｙｎｃ同期信号は、電子機器の処理チップから発せられる。６０ｆｐｓのリフレッシュレートで計算すれば、約１６．７ミリ秒毎に１つのＶＳｙｎｃが発生し、すなわち、電子機器の処理チップは、表示する画像の処理をこの期間に完了し、スクリーンに送って表示させる必要がある。しかし、チップの性能の問題やマルチタスクの場合のリソース競合の問題から、１６．７ミリ秒内に１フレームの画像の処理を完了できない場合があり、この時、処理チップは、前フレーム画像を再びスクリーンに送信して表示させ、すなわち、前フレーム画像を繰り返し表示させ、この時、ユーザは、明らかな表示遅延を感じる。このような表示遅延問題に対する有効な解決策は、いまのところ提案されていない。

本開示の実施例によれば、ディスプレイからＶＳｙｎｃが送信されてきたときに、現在フレームデータの処理を開始することと、ＶＳｙｎｃの周期内に現在フレームデータの処理が完了していない場合、所定の延長期間に現在フレームデータの処理を継続することと、前記所定の延長期間にも現在フレームデータの処理が完了していない場合、現在フレームデータの処理を破棄し、前記ディスプレイに前フレーム画像を表示し続けることとを含む、画像円滑性向上方法を提供する。

本開示の実施例によれば、ディスプレイからＶＳｙｎｃが送信されてきたときに、現在フレームデータの処理を開始するように構成されるトリガモジュールと、ＶＳｙｎｃの周期内に現在フレームデータの処理が完了していない場合、所定の延長期間に現在フレームデータの処理を継続するように構成される延長モジュールと、前記所定の延長期間にも現在フレームデータの処理が完了していない場合、現在フレームデータの処理を破棄し、前記ディスプレイに前フレーム画像を表示し続けるように構成される検出モジュールと、を備える画像円滑性向上装置を提供する。

本開示の実施例によれば、ディスプレイと、コンピュータプログラムが記憶されたメモリと、前記コンピュータプログラムを実行する際に、本開示による画像円滑性向上方法を実行するプロセッサとを備える電子機器を提供する。

プロセッサによって実行されると、前記プロセッサが本開示による画像円滑性向上方法を実行するコンピュータプログラムが記憶されるコンピュータ可読記憶媒体。

本開示の他の特徴および利点は、以下の明細書において説明し、且つ、部分的には明細書から明らかになる、または本開示の実施により理解される。本開示の目的および他の利点は、明細書、特許請求の範囲、および図面に特別に指摘された構造によって実現および取得することができる。

図面は、本開示の技術案の更なる理解を提供するために使用され、明細書の一部を構成し、本開示の実施例とともに本開示の技術案を解釈するために使用されるが、本開示の技術案を限定するものではない。

関連技術におけるＣＰＵ、ＧＰＵの画像処理とＶＳｙｎｃの同期の例を示す図である。関連技術におけるＣＰＵ、ＧＰＵの画像処理とＶＳｙｎｃの同期の例を示す図である。本開示の実施例による画像円滑性向上方法のフローチャートである。本開示の実施例によるＶＳｙｎｃが延長する例を示す図である。本開示の実施例による画像円滑性向上装置の構造模式図である。本開示の実施例による電子機器の例示的な構造模式図である。本開示の実施例による画像円滑性向上方法の例のフローチャートである。

本発明の目的、技術案、および利点をより明確にするために、以下、図面を参照しながら、本発明の実施例について詳細に説明する。なお、矛盾しない限り、本開示における実施例および実施例における特徴は、互いに任意に組み合わせることができる。

図面のフローチャートに示すステップは、１組のコンピュータ実行可能命令のようなコンピュータシステムにおいて実行されてもよい。また、フローチャートに論理的な順序が示されたが、場合によって、ここでの順序とは異なる順序で図示または説明されるステップを実行してもよい。

図１および図２は、関連技術におけるＣＰＵ、ＧＰＵの画像処理とＶＳｙｎｃの同期の例を示す図である。

図１に示すように、中央処理ユニット（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＣＰＵ）、グラフィック処理ユニット（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ、ＧＰＵ）がＶＳｙｎｃの１周期内に１フレームデータの処理を完了すれば、該フレームの画像はスクリーンに正常に表示され、表示遅延が現れない。図２に示すように、ＶＳｙｎｃの１周期内にＣＰＵ、ＧＰＵが１フレームデータの処理を完了できないと、該フレームの画像はスクリーンに正常に表示できず、表示遅延が現れる。

この表示遅延に対し、本発明は、ＶＳｙｎｃの周期をリアルタイムに調整することにより、ＣＰＵ、ＧＰＵがＶＳｙｎｃの１周期内に１フレームデータの処理を完了できることを確保し、これにより、表示遅延を回避し、表示円滑性を効果的に向上させる技術案を提供する。

本発明の実施例によれば、ある画像処理中に、ＶＳｙｎｃの同期周期（例えば、１６．７ミリ秒）内に、ＣＰＵおよびＧＰＵのフレームデータ処理が完了していない場合、ＶＳｙｎｃの同期周期を１〜２ミリ秒延長することで、ＣＰＵとＧＰＵがＶＳｙｎｃの同期周期内にこの画面のフレームデータの処理を完了できるようにし、スクリーンが画面を正常に表示できることを確保し、システム円滑性を向上させる。本開示の実施例は、リアルタイム性の要求がそれほど高くないが、ビデオファイルを再生するシーンのような、表示効果の要求が高いシーンに適用する。

本開示の技術案は、動画の再生または画像の表示をサポートする電子機器によって実現され得る。該電子機器は、様々な形態で実施され得る。例えば、該電子機器は、携帯電話、タブレットコンピュータ、ノートブックコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ、ＰＤＡ）、ポータブルメディアプレーヤ（ＰｏｒｔａｂｌｅＭｅｄｉａＰｌａｙｅｒ、ＰＭＰ）、ナビゲーション装置、ウェアラブルデバイス、スマートブレスレット、歩数計等のようなモバイル端末、およびデジタルＴＶ、デスクトップコンピュータ等のような固定端末であってもよいが、これらに限定しない。

以下、本開示の技術案の実現形態について詳細に説明する。

図３は、本開示の実施例による画像円滑性向上方法のフローチャートである。

図３に示すように、本開示の実施例による画像円滑性向上方法は、ステップ３０１〜３０３を含んでもよい。

ステップ３０１において、ディスプレイからＶＳｙｎｃが送信されてきたときに、現在フレームデータの処理を開始する。

ステップ３０２において、ＶＳｙｎｃの周期内に現在フレームデータの処理が完了していない場合、所定の延長期間に現在フレームデータの処理を継続する。

ステップ３０３において、所定の延長期間にも現在フレームデータの処理が完了していない場合、現在フレームデータの処理を破棄し、前記ディスプレイに前フレーム画像を表示し続ける。

実際の応用において、ディスプレイの表示過程と電子機器システムのビデオコントローラとを同期させるために、１フレームの画面の描画が完了し、次のフレームを描画する準備ができる前に、ディスプレイはＶＳｙｎｃを発する。通常、ディスプレイは、一定の頻度でリフレッシュし、このリフレッシュレートはＶＳｙｎｃの発生頻度である。

本発明の実施例によれば、ＶＳｙｎｃの周期を所定期間だけ延長させる方法には、様々な方法があり得る。一実現形態では、タイマを設定することによってＶＳｙｎｃの周期を延長させることができる。例えば、各フレームのデータの処理を開始する際に、プロセッサにタイマを設け、タイマに設定される期間は、ＶＳｙｎｃの周期と所定期間との和（例えば、ＶＳｙｎｃの周期が１６．７ミリ秒であり、所定期間が２ミリ秒である場合、設定される期間は１６．７＋２ミリ秒である）であってもよい。ＶＳｙｎｃが送信されてきたときに、タイマがトリガされて計時が開始され、タイマが設定期間に達しても現在フレームデータの処理が完了していない場合、プロセッサは該フレームデータの処理を破棄し、ディスプレイに割込信号を送信し、ディスプレイに直前フレーム画面を表示し続けさせ、タイマの計時が設定期間に達していない時に、プロセッサは、処理が完了するまで現在フレームデータの処理を継続する。

本発明の実施例によれば、前記所定の延長期間は、１ミリ秒〜２ミリ秒であってもよい。もちろん、前記所定期間は、他の値に設定されてもよく、これについて、本開示は限定しない。

図４は、本開示の実施例によるＶＳｙｎｃが延長する例を示す図である。

図４に示すように、本実施例の上記処理を採用すると、あるフレームデータの処理がＶＳｙｎｃの周期と同期できない場合、処理時間を適当に延長することにより、ＣＰＵおよびＧＰＵは、延長された処理時間内に現在フレームデータの処理を完了することができ、スクリーンが画面を正常に表示できることを確保する。

フレームデータの処理は、ＣＰＵによって、現在フレームデータの表示内容を計算し、計算が完了した後に前記ＧＰＵに送出することと、ＧＰＵによって、変換処理、合成処理、レンダリング処理を実行した後に、レンダリング結果を前記フレームバッファ領域に送出することと、ビデオコントローラによって、前記フレームバッファ領域から前記レンダリング結果を読み取り、前記ディスプレイにロードすることと、を含む。

図５は、本開示の実施例による画像円滑性向上装置の構造模式図である。

図５に示すように、本開示による画像円滑性向上装置は、トリガモジュール５１、延長モジュール５２、および検出モジュール５３を備えてもよい。

トリガモジュール５１は、ディスプレイからＶＳｙｎｃが送信されてきたときに、現在フレームデータの処理を開始するように構成される。

延長モジュール５２は、ＶＳｙｎｃの周期内に現在フレームデータの処理が完了していない場合、所定の延長期間に現在フレームデータの処理を継続するように構成される。

検出モジュール５３は、延長した所定期間にも現在フレームデータの処理が完了していない場合、現在フレームデータの処理を破棄し、前記ディスプレイに前フレーム画像を表示し続けるように構成される。

本開示の実施例による画像円滑性向上装置は、タイマを更に備えてもよい。タイマの設定期間は、ＶＳｙｎｃの周期と前記所定の延長期間との和である。タイマは、垂直同期信号が送信されてきたタイミングから計時を開始し、タイマの計時が設定期間に達していなければ、トリガモジュール５１または延長モジュール５２は、現在フレームデータの処理が完了するまで現在フレームデータの処理を継続する。

本開示の実施例によれば、前記タイマの計時が設定期間に達しても現在フレームデータの処理が完了していない場合、検出モジュール５３は現在フレームデータの処理を破棄し、前記ディスプレイに直前のフレーム画像を表示し続け、タイマの計時が設定期間に達する前に現在フレームデータの処理が完了した場合、ディスプレイに現在フレームデータに対応する画像を表示させる。

本発明の実施例によれば、所定の延長期間は、１ミリ秒〜２ミリ秒であってもよい。もちろん、所定期間は、他の値に設定されてもよく、これについて、本開示は限定しない。

本開示の実施例による画像円滑性向上装置は、ＣＰＵと、ＧＰＵと、フレームバッファ領域と、ビデオコントローラとを更に備えてもよい。ＣＰＵは、現在フレームデータの表示内容を計算し、計算が完了した後にＧＰＵに送出する。ＧＰＵは、変換処理、合成処理、レンダリング処理を実行した後、レンダリング結果をフレームバッファ領域に送出する。ビデオコントローラは、フレームバッファ領域からレンダリング結果を読み取り、ディスプレイにロードする。

実際の応用において、本実施例の上記各モジュールは、それぞれソフトウェア、ハードウェア、あるいは両者の組み合わせであってもよい。例えば、上記各モジュールは、電子機器（例えば、携帯電話）内のＣＰＵによって実現されてもよい。実際の応用において、本実施例の上記装置は、動画の再生または画像の表示をサポートする電子機器に適用することができる。

図６は、本開示の実施例による電子機器の例示的な構造模式図である。

図６に示すように、本発明の実施例による電子装置は、ディスプレイと、メモリと、プロセッサ（例えば、ＣＰＵおよびＧＰＵ）とを備えることができる。メモリにコンピュータプログラムが記憶され、プロセッサが前記コンピュータプログラムを実行すると、プロセッサは本開示の各実施例による画像円滑性向上方法を実行する。

一実現形態において、電子機器は、図６に示すように、ビデオコントローラおよびバスを更に備えてもよいが、それらに限定されない。ＣＰＵ、ＧＰＵ、メモリは、バスを介して互いに通信可能に接続される。ＣＰＵは、表示内容を計算してＧＰＵに送出することを担当し、ＧＰＵは、レンダリング等の処理を行い、レンダリングが完了した後にレンダリング結果をフレームバッファ領域に投入することを担当し、ビデオコントローラは、ＧＰＵの制御の下で、ＶＳｙｎｃに従ってフレームバッファ領域のデータを行ごとに読み取り、可能なデジタルアナログ変換を経てディスプレイに伝送して表示させることを担当する。

本開示の実施例は、プロセッサによって実行されると、前記プロセッサが本開示の実施例による画像円滑性向上方法を実行するコンピュータプログラムが記憶される、コンピュータ可読記憶媒体を更に提供する。

実際の応用において、該コンピュータ可読記憶媒体は、本開示による電子機器に適用され得る。

以下、上記各実施例の例示的な実現形態について詳細に説明する。なお、以下の各例は任意に組み合わせることができる。且つ、実際の応用において、上記各実施例は、他の実現形態を有してもよく、以下の例における各フロー、実行手順等は、実際の応用に応じて調整されてもよい。

本例において、ディスプレイのリフレッシュ頻度が６０ｆｐｓである場合を例とし、画像円滑性向上実現フローについて詳細に説明する。

図７は、本開示の実施例による画像円滑性向上方法の一例のフローチャートである。

図７に示すように、本例によるフローは、ステップ７０１〜７０８を含んでもよい。

ステップ７０１において、ディスプレイは第Ｎフレーム画面を描画し終えて表示させる。

ステップ７０２において、第Ｎ＋１フレーム画面を準備する前に、ディスプレイはＶＳｙｎｃを発する。

ステップ７０３において、ＶＳｙｎｃが送信されてきたときに、第Ｎ＋１フレームデータの処理を開始する。

ステップ７０４において、ＶＳｙｎｃの周期（すなわち、１６．７ｍｓ）内に第Ｎ＋１フレームデータの処理が完了したか否かを判定する。処理が完了すれば、ステップ７０７を実行し、処理が完了していなければ、ステップ７０５に進む。

ステップ７０５において、延長期間（例えば、２ｍｓ）内に、第Ｎ＋１フレームデータの処理を継続する。

ステップ７０６において、延長期間（例えば、２ｍｓ）内に第Ｎ＋１フレームデータの処理が完了したか否かを判定する。処理が完了すれば、ステップ７０７を実行し、処理が完了していなければ、ステップ７０８を実行する。

ステップ７０７において、ディスプレイは、第Ｎ＋１フレーム画像を表示させる。

ステップ７０８において、第Ｎ＋１フレームデータの処理を破棄し、第Ｎフレーム画面を表示し続ける。

当業者であれば、上記方法におけるステップの全てまたは一部は、読み取り専用メモリ、磁気ディスク、または光ディスク等のコンピュータ可読記憶媒体に記憶され得るプログラムにより、関連するハードウェア（例えば、プロセッサ）を命令して完成できることを理解できる。好ましくは、上述の実施例におけるステップの全部または一部は、１つまたは複数の集積回路を使用して実現されてもよい。それに対応し、上記実施例における各モジュール／ユニットはハードウェアとして実現されてもよく、例えば、集積回路によって対応する機能を実現し、ソフトウェア機能モジュールとして実現してもよく、例えば、プロセッサによってメモリに記憶されたプログラム／命令を実行することで、対応する機能を実現する。本開示は、いかなる特定の形態のハードウェアとソフトウェアの組み合わせに限定されない。

以上、本開示の基本的な原理および主な特徴、並びに本開示の利点を表示して説明した。本発明は、上記実施例に限定されるものではなく、上記実施例および明細書は、本開示の原理を説明するためのものに過ぎず、本発明の精神および範囲から逸脱しない前提で、本発明は様々な変更および修正が可能であり、これらの変更および修正はいずれも特許請求の範囲内に含まれる。

Claims

ディスプレイから垂直同期信号が送信されてきたときに、現在フレームデータの処理を開始することと、
垂直同期信号の周期内に現在フレームデータの処理が完了していない場合、所定の延長期間に現在フレームデータの処理を継続することと、
前記所定の延長期間にも現在フレームデータの処理が完了していない場合、現在フレームデータの処理を破棄し、前記ディスプレイに前フレーム画像を表示し続けることと、を含む、
画像円滑性向上方法。
タイマを設け、前記タイマの設定期間は前記垂直同期信号周期と前記所定の延長期間との和であり、前記タイマは、垂直同期信号が送信されてきたタイミングから計時を開始し、前記タイマの計時が設定期間に達していない時に、現在フレームデータの処理が完了するまで現在フレームデータの処理を継続する、
請求項１に記載の方法。
前記タイマの計時が設定期間に達しても現在フレームデータの処理が完了していない場合、現在フレームデータの処理を破棄し、前記ディスプレイに前フレーム画像を表示し続け、
前記タイマの計時が設定期間に達する前に現在フレームデータの処理が完了した場合、前記ディスプレイに現在フレームデータに対応する画像を表示させる、
請求項２記載の方法。
前記所定の延長期間は、１〜２ミリ秒である、
請求項１から３のいずれか１項に記載の方法。
現在フレームデータを処理することは、
中央処理ユニットによって、前記現在フレームデータの表示内容を計算し、計算が完了した後に前記グラフィック処理ユニットに送出することと、
グラフィック処理ユニットによって、変換処理、合成処理、レンダリング処理を実行した後に、レンダリング結果をフレームバッファ領域に送出することと、
ビデオコントローラによって、前記フレームバッファ領域から前記レンダリング結果を読み取り、前記ディスプレイにロードすることと、を含む、
請求項１に記載の方法。
ディスプレイから垂直同期信号が送信されてきたときに、現在フレームデータの処理を開始するように構成されるトリガモジュールと、
垂直同期信号の周期内に現在フレームデータの処理が完了していない場合、所定の延長期間に現在フレームデータの処理を継続するように構成される延長モジュールと、
前記所定の延長期間にも現在フレームデータの処理が完了していない場合、現在フレームデータの処理を破棄し、前記ディスプレイに前フレーム画像を表示し続けるように構成される検出モジュールと、を備える、
画像円滑性向上装置。
設定期間が前記垂直同期信号周期と前記所定の延長期間との和であり、垂直同期信号が送信されてきたタイミングから計時を開始し、計時がその設定期間に達していない時に、前記トリガモジュールまたは前記延長モジュールは、現在フレームデータの処理が完了するまで現在フレームデータの処理を継続するようにするタイマを更に備える、
請求項６に記載の装置。
前記タイマの計時が設定期間に達しても現在フレームデータの処理が完了していない場合、前記検出モジュールは現在フレームデータの処理を破棄し、前記ディスプレイに前フレーム画像を表示し続け、
前記タイマの計時が設定期間に達する前に現在フレームデータの処理が完了した場合、前記ディスプレイに現在フレームデータに対応する画像を表示させる、
請求項７に記載の装置。
前記所定の延長期間は、１〜２ミリ秒である、
請求項６から８のいずれか１項に記載の装置。
中央処理ユニットと、グラフィック処理ユニットと、フレームバッファ領域と、ビデオコントローラとを更に備え、
前記中央処理ユニットは、現在フレームデータの表示内容を計算し、計算が完了した後に前記グラフィック処理ユニットに送出し、
前記グラフィック処理ユニットは、変換処理、合成処理、レンダリング処理を実行した後、レンダリング結果を前記フレームバッファ領域に送出し、
前記ビデオコントローラは、前記フレームバッファ領域から前記レンダリング結果を読み取り、前記ディスプレイにロードする、
請求項６に記載の装置。
ディスプレイと、メモリと、プロセッサとを備える電子機器であって、
前記メモリにコンピュータプログラムが記憶され、
前記プロセッサは、前記コンピュータプログラムを実行する際に、請求項１から５のいずれか１項に記載の画像円滑性向上方法を実行する、
電子機器。
プロセッサに実行されると、前記プロセッサが請求項１から請求項５のいずれか１項に記載の画像円滑性向上方法を実行するコンピュータプログラムが記憶される、
コンピュータ可読記憶媒体。