JP2019049692A - 表示可視性を適応させる方法および装置 - Google Patents

表示可視性を適応させる方法および装置 Download PDF

Info

Publication number
JP2019049692A
JP2019049692A JP2018123093A JP2018123093A JP2019049692A JP 2019049692 A JP2019049692 A JP 2019049692A JP 2018123093 A JP2018123093 A JP 2018123093A JP 2018123093 A JP2018123093 A JP 2018123093A JP 2019049692 A JP2019049692 A JP 2019049692A
Authority
JP
Japan
Prior art keywords
image
ambient illumination
illumination level
level
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018123093A
Other languages
English (en)
Inventor
ヘリエ,ピエール
Hellier Pierre
マルクワント,グウェナエル
Marquant Gwenaelle
シャマレット,クリステル
Chamaret Christel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2019049692A publication Critical patent/JP2019049692A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003Display of colours
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/02Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264Details of driving circuits
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/066Adjustment of display parameters for control of contrast
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0666Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/14Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

【課題】環境照度が変化する状況において、環境光のレベルに従って画像のコントラストを適応させる方法を提供する。【解決手段】環境照度レベルを測定するS10こと、画像を表す信号の低周波部に対して環境照度レベルによって決まる伝達関数を適用することにより低周波部を修正すること、信号の修正された低周波部を信号の高周波部と組み合わせることにより画像を調整するS12こと、および、表示装置での表示用に調整した画像を提供S14することにより画像の表示可視性を適応させること、を含む。【選択図】図1

Description

本開示は、視認条件が変化する中での画像表示の領域に関する。
たとえば好天時の屋外環境等の明るい条件においては、画像の可視表示が課題である。いくつかの既知の方法では、表示画面の輝度を高くすることにより、非常に明るい条件下での表示画像の可視性を向上させるように提案している。これらの技術は、高品質画像の可視性を向上させるものの、低品質画像に対しては必ずしも十分に機能しない。たとえば、画像がノイズまたは不鮮明エリアを含む場合は、輝度を高くしても画像の全体的な可視性は向上しない。照明条件が変化する中でより広範囲の画像の可視性を向上させる新たな方法が求められている。
環境照度が変化する状況において、際立った着想は、環境光のレベルに従って画像のコントラストを適応させることにより、画像を調整することである。コントラストを強くすると、表示物をより区別しやすくなることが知られており、全体的な画像品質に何らかの影響がある。環境光が強くなるにつれてコントラスト増強レベルを高くすると、高レベルの環境光中で表示物を区別しやすい状態を保つことができるため都合が良いものの、品質が全体的に損なわれ、高レベルの環境光中での知覚が低下する。
このため、画像の表示可視性を適応させる方法が開示される。この方法は、
環境照度レベルを測定すること、
画像を表す信号の低周波部に対して、環境照度レベルによって決まる伝達関数を適用することにより、低周波部を修正すること、
信号の修正された低周波部を信号の高周波部と組み合わせることにより、画像を調整すること、および、
表示装置での表示用に調整した画像を提供することにより、画像の表示可視性を適応させること、
を含む。
一変形例によれば、画像調整は、環境照度レベルの関数として実行されるか、または、実行されない。
別の変形例によれば、画像を表す信号が高周波部および低周波部に分離され、画像を調整することが、画像を表す信号の低周波部に対して、環境照度レベルによって決まる伝達関数を適用することにより、低周波部を修正することを含み、修正された低周波部が、表示用に提供される前に、画像を表す信号の高周波部とさらに組み合わされる。
別の変形例によれば、高周波部は、修正された低周波部との組み合わせに先立って、環境照度レベルによって決まる係数で増幅される。
別の変形例によれば、環境照度レベルとともに増加する第1の関数によって、伝達関数のパラメータが求められる。
別の変形例によれば、係数は、環境照度レベルとともに増加する第2の関数によって求められる。
別の変形例によれば、係数は、画像のコントラストレベルおよび環境照度レベルの組み合わせを表す知覚コントラストレベルとともに減少する第4の関数によって求められる。
別の変形例によれば、知覚コントラストレベルは、環境照度レベルとともに減少する第3の関数でコントラストレベルを局所的に調整することによって決定される。
第2の態様においては、画像の表示可視性を適応させる表示装置も開示される。この装置は、
環境照度レベルを測定する手段と、
画像を表す信号の低周波部に対して、環境照度レベルによって決まる伝達関数を適用することにより、低周波部を修正する手段と、
信号の修正された低周波部を信号の高周波部と組み合わせることにより、画像を調整する手段と、
調整された画像を表示する手段と、
を備える。
第3の態様においては、画像の表示可視性を適応させる表示装置も開示される。この装置は、
環境照度レベルを測定するように構成されたセンサと、
画像を表す信号の低周波部に対して、環境照度レベルによって決まる伝達関数を適用することにより、低周波部を修正するように構成され、信号の修正された低周波部を信号の高周波部と組み合わせることにより、画像を調整するようにさらに構成された少なくとも1つのプロセッサと、
を備える。
第4の態様においては、画像の表示可視性を適応させるコンピュータプログラム製品も開示される。このコンピュータプログラム製品は、いずれかの変形例にて実装された方法を実行するプロセッサにより実行可能なプログラムコード命令を含む。
第5の態様においては、画像の表示可視性を適応させるコンピュータ実行可能プログラム命令を格納した持続性コンピュータ可読記憶媒体も開示される。このコンピュータ可読記憶媒体は、いずれかの変形例にて実装された方法を実行する少なくとも1つのプロセッサにより実行可能なプログラムコードの命令を含む。
明示的に記載してはいないものの、本実施形態は、任意の組み合わせまたは副組み合わせで採用されるようになっていてもよい。たとえば、本原理は、上記の変形例に限定されず、変形例および実施形態の任意の構成を使用可能である。さらに、本原理は、上記のパラメトリックなコントラスト増強技術例に限定されず、その他任意の種類のパラメトリックなコントラスト増強が開示の原理と互換性を有する。さらに、本原理は、上記の連続的に増加または減少する関数に限定されず、その他任意の連続的に増加または減少する関数にも適用可能である。さらに、本原理は、上記の鮮明化技術に限定されない。
また、方法に関して記載した如何なる特性、変形例、または実施形態も、開示の方法を処理する手段を備えた装置、開示の方法を処理するように構成されたプロセッサを備えた装置、プログラムコード命令を含むコンピュータプログラム製品、およびプログラム命令を格納した持続性コンピュータ可読記憶媒体と互換性を有する。
特定かつ非限定的な一実施形態に係る、画像の表示可視性を適応させる方法を示した図である。 特定かつ非限定的な一実施形態に係る、画像の調整により適応された表示可視性の一例を示した図である。 特定かつ非限定的な2つの実施形態に係る、画像の表示可視性を適応させる処理装置を表した図である。 特定かつ非限定的な一実施形態に係る、図3の処理装置の例示的なアーキテクチャを表した図である。
図面は、本開示の考え方を示すことを目的としたものであり、必ずしも、本開示を説明する唯一の考え得る構成ではないことが了解されるものとする。
図中に示す要素は、さまざまな形態のハードウェア、ソフトウェア、またはこれらの組み合わせにて実装可能であることが了解されるものとする。これらの要素は、プロセッサ、メモリ、および入出力インターフェースを具備し得る1つまたは複数の適当にプログラムされた汎用装置上でハードウェアおよびソフトウェアの組み合わせにて実装されているのが好ましい。本明細書において、表現「結合される」は、1つまたは複数の中間構成要素を通じて直接または間接的に接続されることを意味するように規定される。このような中間構成要素としては、ハードウェアおよびソフトウェアの両者に基づく構成要素が挙げられる。
本明細書は、本開示の原理を説明する。したがって、当然のことながら、当業者であれば、本明細書には明示的に説明も図示もしていないものの、本開示の原理を具現化するとともにその範囲に含まれるさまざまな構成を考案可能となる。
本明細書に列挙のすべての例および条件付き表現は、本発明者が当技術の拡大に寄与する本開示の原理および考え方を読者が理解するのに役立つ教育目的を意図しており、このように具体的に列挙される例および条件には限定されないと解釈されるものとする。
さらに、本開示の原理、態様、および実施形態のほか、本開示の具体例を列挙する本明細書のすべての記載内容は、本開示の構造および機能の両面の同等物を網羅することが意図される。また、このような同等物は、現在既知の同等物のほか、将来的に開発される同等物すなわち構造に関わらず同じ機能を実行する任意の開発要素をも含むことが意図される。
したがって、たとえば、当業者には当然のことながら、本明細書に提示のブロック図は、本開示の原理を具現化する例示的な回路の概念図を表す。同様に、当然のことながら、如何なるフローチャート、フロー図、状態遷移図、疑似コード等も、コンピュータ可読媒体において実質的に表されるため、明示的な図示の有無に関わらずコンピュータまたはプロセッサにより実行し得るさまざまなプロセスを表す。
図に示すさまざまな要素の機能は、専用ハードウェアのほか、適当なソフトウェアに関連してソフトウェアを実行可能なハードウェアの使用により提供されるようになっていてもよい。プロセッサによる提供の場合、これらの機能は、単一の専用プロセッサ、単一の共有プロセッサ、または一部共有可能な複数の個々のプロセッサにより提供されるようになっていてもよい。さらに、用語「プロセッサ」または「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に表すものと解釈されるべきではなく、デジタルシグナルプロセッサ(DSP)ハードウェア、ソフトウェアを格納するリードオンリーメモリ(ROM)、ランダムアクセスメモリ(RAM)、および不揮発性ストレージを暗示的に含んでいてもよいが、これらに限定されない。
その他、従来および/またはカスタムのハードウェアが含まれていてもよい。同様に、図中に示す如何なるスイッチも、概念的なものに過ぎない。これらの機能は、プログラムロジックの動作、専用ロジック、プログラム制御および専用ロジックの相互作用、あるいは手動で実行されるようになっていてもよく、文脈からより具体的に理解されるように、特定の技術が実装者によって選択可能である。
本明細書の特許請求の範囲において、特定の機能を実行する手段として表現された如何なる要素も、当該機能を実行する任意の方法を網羅することが意図され、たとえば、a)当該機能を実行する回路要素の組み合わせまたはb)任意の形態のソフトウェア、すなわち、当該ソフトウェアを実行する適当な回路と組み合わされて当該機能を実行するファームウェア、マイクロコード等が挙げられる。このような特許請求の範囲により規定される本開示は、特許請求の範囲が求めるように、さまざまな列挙手段により提供される機能が組み合わされて一体的にもたらされるという事実に存する。したがって、これらの機能を提供し得る如何なる手段も、本明細書に示す手段と同等であるものと見なされる。
本開示は、変化する照明環境において画像を表示する際の表示可視性の適応と関連する問題に対処する。本原理は、ビデオシーケンスの画像に適用可能である。
図1は、特定かつ非限定的な一実施形態に係る、表示装置上の画像の表示可視性を適応させる方法を示している。ステップS10においては、たとえばカメラの光センサ等の露出計によって、環境照度レベルを測定する。環境光レベルを測定するように構成された任意の光センサが開示の原理と互換性を有する。第1の変形例において、露出計は、表示装置に埋め込まれている。表示装置は、たとえばスマートフォン、タブレット、ラップトップ、またはカメラが埋め込まれたTV受像機である。第2の変形例において、露出計は、表示装置に近接して位置付けられた別個の装置中に位置付けられている。光レベルは、たとえばルクス単位で測定され、その経時的な依存性を反映したL(t)で表される。通常の光レベルは、満月の夜(0.5lx)、屋内リビング(200〜400lx)、および屋外日なた(50k〜100klx)の範囲である。
ステップS12においては、測定した環境照度レベルL(t)に従って画像のコントラストを適応させることにより、調整画像を得る。有利な一変形例において、画像調整は、環境照度レベルの関数として実行されるか、または、実行されない(環境照度値が高い場合は実行され、環境照度値が低い場合は実行されない)。非限定的な一例において、画像のコントラストは、測定した環境照度レベルが所与の値を上回る場合にのみ適応される。実際、屋内または夜間環境等の微光条件において、視認条件は、ユーザにとって良好と考えられ、コントラストを適応させることには、視覚的に不快な効果および/または疲れさせる効果を生じるリスクがある。さらに、コントラストを適応させることは、装置の電力消費に影響を及ぼし、バッテリ持続時間を損なう可能性もある。所与の値は、たとえば100ルクス〜300ルクスの値である。この所与の値は、たとえばユーザインターフェースを介してユーザが調整可能な設定パラメータである。別の例において、所与の値は、表示装置の製造業者により設定されたパラメータである。さらに別の例において、所与の値は、ユーザプロファイリング技術に従って、表示装置により自動的に決定される。
非限定的な一実施形態によれば、コントラストは、測定した環境光レベルL(t)に従ってコントラストを強くすることにより適応される。より厳密に、コントラストは、環境照度レベルによって決まるコントラスト増強パラメータμによりパラメータ化された任意の種類のコントラスト増強技術を適用することによって、調整画像上で強められる。言い換えると、調整画像の輝度は、現在測定した環境照度レベルに応じて、「CEμ」で表されるパラメトリック伝達関数を画像の輝度に適用することにより求められる。表記「CEμ」は、「CE」で表される伝達関数がパラメータμによって決まるパラメトリック伝達関数であり、μ自体が環境照度によって決まることを反映させたものである。測定した環境照度レベルが時間とともに変化している場合は、コントラスト増強パラメータμひいてはパラメトリック伝達関数も、環境照度レベルの変化に応じて経時的に変化する。たとえば、パラメトリック伝達関数CEμは、コントラスト増強パラメータμによりパラメータ化されている。第1の変形例においては、コントラスト増強が線形伸長であり、伝達関数が線形である。パラメータμは、伝達関数の形状である。第2の変形例においては、コントラスト増強が区分的線形伸長であり、伝達関数は、異なる形状の連続的な線形カーブを含む区分的線形伝達関数である。第2の変形例によれば、パラメータμは、区分的線形伝達関数のさまざまな線形区分の異なる形状のうちの最も高い形状と関連する。さらに別の変形例において、コントラスト増強には、ガンマ変換を含む。この場合、パラメータμは、ガンマと関連する。パラメータが環境照度レベルによって決まるその他任意の変形例のパラメトリックコントラスト増強関数は、開示の原理と互換性を有する。μ=g(L(t))で表される第1の関数によって伝達関数のパラメータ(コントラスト増強パラメータμ)が求められるのが好都合であり、ここで、「t」は時間を表し、L(t)は時間tでの環境照度レベルを表す。第1の関数g(L(t))は、照度レベルとともに完全かつ連続的に増加している。開示の原理とは、如何なるパラメトリック型の完全かつ連続的に増加する関数も互換性を有し、線形、対数、および多項式が挙げられるが、これらに限定されない。異なるパラメトリック型の完全かつ連続的に増加する関数は、それぞれの形状が異なるため(線形、対数、多項式)、環境光の同じ変化に対して異なる影響を及ぼす。増加関数のパラメトリック型は、表示画面の特性によって決まるのが好都合であり、たとえば、ユーザテストを通じて実行される。
ステップS14においては、表示装置での表示用に調整した画像を送信することにより、画像の表示可視性を適応させる。
第1の任意選択的かつ非限定的な一実施形態によれば、(Iで表される)画像は、高周波成分IおよびI−Iに等しい低周波成分Iに分離される。言い換えると、画像を表す信号は、低周波部分または部および高周波の一部の部分に分離される。この分離は、多くの異なる種類のフィルタを用いて信号をフィルタリングすることにより実行されるようになっていてもよく、反復メディアンフィルタ、エッジ保存フィルタ、バイラテラルフィルタ、およびローリングガイダンスフィルタが挙げられるが、これらに限定されない。この任意選択的な変形例においては、(上述の)環境照度レベルによって決まる伝達関数を適用することによって、低周波成分Iのみが修正されるとともに、修正された低周波成分が高周波成分と再度組み合わされることにより、調整された画像が得られるのが好都合である。低周波成分に関してのみコントラストを増強するのは、低周波成分が高周波成分よりも高い信号ダイナミックを有することから都合が良い。通常、高周波成分においては、2〜3個の値のみでエッジが広がるが、(コントラスト増強を適用して)これら2〜3個の値をさらに広げると、望ましくないアーチファクトが生じる可能性が高い。一般性を損なうことなく、2つの成分を再度組み合わせることは、両成分を追加することに対応し、分離の逆演算を表す。より形式的には、第2の任意選択的な実施形態に係る調整画像Iを式(1)のように書くことができる。
=CEμ*(I−I);μ=g(L(t) (1)
第2の任意選択的かつ非限定的な一実施形態によれば、第1の実施形態と同様に、画像が高周波成分Iおよび低周波成分Iに分離される。言い換えると、画像を表す信号は、低周波部分または部および高周波の一部の部分に分離され、信号の高周波部(画像の成分I)は、信号の修正された低周波部(第1の実施形態において説明した画像の成分)との再組み合わせに先立って、増幅によりエッジが増強されるとともに、画像が鮮明化される。より厳密に、画像の調整には、時間tに測定した環境照度レベルL(t)によって決まる増幅係数αで画像の信号の高周波部(成分I)を増幅することをさらに含む。より形式的には、第2の任意選択的な実施形態に係る調整画像Iを式(2)のように書くことができる。
=CEμ*(I−I)+α*I (2)
グローバル鮮明化
第2の任意選択的な実施形態の第1の変形例(グローバル鮮明化と称する)において、画像の増幅係数αは、測定した環境照度レベルL(t)とともに増加する当該測定した環境照度レベルの第2の関数g’によってグローバルに決定される(α=g’(L(t)))。第2の関数は、如何なるパラメトリック型であってもよく、線形、多項式、正弦、および指数関数が挙げられるが、これらに限定されない。第1の例において、第1および第2の関数は、同じ関数である。別の例において、これらは、異なる関数である。関数の型は、色域または感度等の表示特性によって決まり、ユーザテストに従って調節されるのが好都合である。グローバル鮮明化の変形例において、増幅係数は、グローバル増幅係数であり、空間的に変化しない。グローバル係数は、画像のすべての画素で同じ値を有し、測定した環境照度レベルL(t)のみによって決まる。
ローカル鮮明化
第2の任意選択的な実施形態の第2の変形例(ローカル鮮明化と称する)において、画像の増幅係数αは、画像の要素の明度および測定した環境光レベルの両者に応じて局所的に決定される。用語「要素」は、たとえば少なくとも3つの色成分値によって表された所与の色特性と関連付けられた画像の任意の部分を表す。たとえば、要素は、画像の画素に対応する。別の例において、要素は、色成分値が類似する画像の一組の画素に対応する。別の例において、要素は、コントラストが抽出されたパッチに対応する。明瞭化のため、特に制限なく、要素は、空間座標(x,y)を有するものと考えられる。要素が表すものに応じて、空間座標は、たとえば整数(画素座標を表す)または整数集合(たとえば、画素集合を表す)である。I(x,y)が各点/要素(x,y)での調整画像値を表すものと考えると、式(2)は、以下のように書き換えられる。
(x,y)=CEμ*(I(x,y)−I(x,y))+α(x,y)*I(x,y) (2)
明瞭化のため、値I(x,y)、(I(x,y)、およびI(x,y)は、対応する画像中の空間座標(x,y)に対応するエリアの成分値を表す。一般性を損なうことなく、成分値は、輝度値であってもよいし、3つ組の赤色、緑色、青色成分値であってもよい。ローカル鮮明化の変形例によれば、増幅係数は、画像の局所的な明度、さらには測定した光レベルに応じて画像中で局所的に変化するローカル増幅係数である。コントラストは、物体(または、その画像中の描写)を区別しやすくする輝度または色の差として知られている。現実世界の視覚において、コントラストは一般的に、当該物体および視野が同じ他の物体の色および明るさの差によって決まる。当該画像については、知覚コントラストが決定されるのが好都合であり、画像のコントラストと測定した環境光レベルとを混ぜ合わせたものとして規定され、環境光レベルが高いほど、知覚コントラストは弱くなる。コントラストに反して、知覚コントラストは、所与の環境照明条件下における物体の区別しやすさを表す測定基準である。
画像I(x,y)の知覚コントラストP(x,y)の決定には、画像のコントラストC(x,y)を抽出することを含む。たとえば、二乗平均平方根(RMS)コントラストが抽出される。簡潔に述べると、これは、所与のサイズのパッチ(矩形)上の輝度信号の標準偏差を演算することに等しい。パッチのサイズ(および、数)に応じて、コントラストの精度およびそれを抽出するのに要する演算リソースは変化する。その他任意のコントラスト測定基準としては、WeberコントラストまたはMichelsonコントラストが挙げられるが、これらに限定されない。また、これらの対応する抽出技術は、開示の原理と互換性を有する。RMSコントラストの演算は、演算集約的ではなく、スマートフォンまたはタブレット等のモバイル機器上で利用可能な演算リソースと互換性を有することから都合が良い。
画像I(x,y)の知覚コントラストP(x,y)の決定には、測定した照度レベルとともに減少する第3の関数によって、抽出したコントラストレベルを局所的に調整することをさらに含む。たとえば、以下の式に従って、抽出したローカルコントラストレベルC(x,y)に、指数関数およびスケールパラメータσを含む第3の関数を乗じる。
(x,y)=C(x,y)*exp(−L(t)/2σ) (3)
スケールパラメータσは、環境照度レベルと知覚コントラストとの間の切れ目を決定する。これは、表示装置の特性によって決まり、ユーザテストを通じて調節されるのが好都合である。
ローカル鮮明化の変形例によれば、画像中の要素のローカル係数α(x,y)は、知覚コントラストレベルP(x,y)とともに減少する画像中の要素の当該知覚コントラストレベルPの第4の関数によって求められる(α(x,y)=f(P(x,y)))。第1の実施形態と同様に、第4の関数は、如何なるパラメトリック型であってもよく、線形、多項式、余弦、および指数関数が挙げられるが、これらに限定されない。
アンシャープマスキングは、画像鮮明化技術である。この名称の「アンシャープ」は、この技術が不鮮明(または、不鮮鋭)なネガ画像を用いて元の画像のマスクを作成するという事実に由来する。そして、アンシャープマスクは、ポジ(元の)画像との組み合わせによって、元の画像よりも鮮明な画像を作成する。得られる画像は、鮮明ではあるものの、一般的には画像の被写体の表示精度が劣っている。アンシャープマスクは一般的に、画像の高周波成分を増幅する線形または非線形フィルタである。ローカルおよびグローバル鮮明化の変形例では、環境光レベルに従って知覚コントラストレベルを決定し、知覚コントラストに応じて画像の高周波成分を増幅することにより、アンシャープマスキング技術を適応させることによって、環境光レベルが高くなった場合に鮮明化レベルを高くするのが好都合である。
ローカル鮮明化の変形例は、視覚的に有意なエリアを表すコントラストの最も強いエリアに鮮明化が集中し、他のより同質なエリアは不変(または、低鮮明)とされることから、さらに都合が良い。ローカル鮮明化の変形例では、同質エリアにおける強い鮮明化の欠点(ノイズ増幅および/または視覚的に不快な効果の生成)が制限される。
上述の任意の変形例によれば、鮮明化画像に対応する調整画像は、表示装置での表示用に提供される。
有利な一変形例において、画像上の組み合わせまたは再組み合わせの演算(加減算および乗算)は、画像のコード化領域に留まるように、Dengによる「A generalized unsharp masking algorithm」(IEEE Transactions on Image Processing, 2011)に提案されているような一般化線形システム(GLS)にて実行される。
図2は、特定かつ非限定的な一実施形態に係る、画像の調整により適応された表示可視性の一例を示している。図2は、異なる照明条件下の表示装置21、21を示しており、表示装置20が屋内条件等の通常の照明条件下にあり、表示装置21が屋外日なた条件等のより明るい条件下にある。通常の照明条件下で表示装置20により画像200が表示されているが、(測定した環境光レベルが所与の値を下回るため)コントラストは適応されていない。図2は、より明るい照明条件下で表示装置21により表示された調整画像210をさらに示しているが、これは、開示の原理の一変形例に従って画像200のコントラストが適応されたものであり、環境光レベルが高くなっているにも関わらず、表示されている鳥が依然として鮮明に区別可能であることを示している。図2の両表示装置20、21は、異なる照明条件下での同じ表示装置を示している。
図3は、画像の表示可視性を適応させる処理装置3を示している。開示の原理の特定かつ非限定的な一実施形態によれば、処理装置3は、ソースから得られた画像を受信するように構成された入力30を備える。開示の原理のさまざまな実施形態によれば、ソースは、
たとえばビデオメモリ等のローカルメモリ、RAM、フラッシュメモリ、SSD、ハードディスク、
たとえば大容量ストレージのインターフェース等のストレージインターフェース、ROM、光ディスクまたは磁気サポート、
たとえば有線インターフェース(たとえば、バスインターフェース、ワイドエリアネットワークインターフェース、ローカルエリアネットワークインターフェース)または無線インターフェース(たとえば、IEEE 802.11インターフェース、Bluetoothインターフェース、またはセルラーネットワークインターフェース)等の通信インターフェース、
を含む集合に属する。
処理装置3は、ユーザから設定データを受信する任意選択的な入力31をさらに備える。設定データは、処理装置3を設定するため、ユーザインターフェースを介してユーザにより生成される。開示の原理のさまざまな実施形態によれば、ユーザインターフェースは、
タッチスクリーンおよび設定データを生成する付属コントローラベースのファームウェア、
キーボード、
ユーザインターフェースが遠隔装置上に表示され、設定データが受信されるネットワークインターフェース、
を含む集合に属する。
より一般的には、設定データを提供可能な如何なるユーザインターフェースも、開示の原理と互換性を有する。
処理装置3は、たとえば光検出器等、周囲環境からの環境照度レベルを受光して測定するように構成されたセンサ32をさらに備える。センサは、たとえばスマートフォンに埋め込まれたカメラの光検出器である。環境照度を検出して測定し得る如何なる光検出器も、開示の原理と互換性を有する。
入力30および31ならびに光検出器32は、環境照度レベルに従って画像のコントラストを適応させることにより画像を調整するように構成された処理モジュール34に結び付けられている。処理モジュール34は、調整した画像を表示手段38に送信することによって、画像の表示可視性を適応させるようにさらに構成されている。
開示の原理のさまざまな実施形態によれば、表示手段38は、
LCD表示画面、
LED表示画面、
OLED表示面、
を含む集合に属する。
より一般的には、調整された画像を表示可能な如何なる表示手段も、開示の原理と互換性を有する。
図4は、特定かつ非限定的な一実施形態に係る、処理装置3の例示的なアーキテクチャを表しており、処理装置3は、画像の表示可視性を適応させるように構成されている。処理装置3は、内部メモリ420(たとえば、RAM、ROM、EPROM)と併せて、たとえばCPU、GPU、および/またはDSP(Digital Signal Processorの英語頭字語)の1つまたは複数のプロセッサ410を備える。処理装置3は、出力情報のディスプレイへの送信、ユーザによるコマンドおよび/もしくはデータの入力可能化(たとえば、キーボード、マウス、タッチパッド、ウェブカメラ、ディスプレイ)、ならびに/またはネットワークインターフェース上のデータの送受信を行うように構成された1つまたは複数の入出力インターフェース430と、処理装置3の外部に存在し得る電源440とを備える。
例示的かつ非限定的な一実施形態によれば、処理装置3は、メモリ420に格納されたコンピュータプログラムをさらに含む。コンピュータプログラムは、処理装置3、特にプロセッサ410により実行された場合に、図2を参照して説明した処理方法を処理装置3に実行させる命令を含む。一変形例によれば、コンピュータプログラムは、処理装置3の外部で、持続性デジタルデータサポート、たとえば、SDカード、HDD、CD−ROM、DVD、リードオンリーおよび/もしくはDVDドライブ、ならびに/またはDVDリード/ライトドライブ等、当技術分野においてすべて既知の外部記憶媒体に格納されている。このように、処理装置3は、コンピュータプログラムを読み出すインターフェースを備える。さらに、処理装置3は、対応するUSBポート(図示せず)を通じて、1つまたは複数のユニバーサルシリアルバス(USB)型記憶装置(たとえば、「メモリスティック」)にアクセスすることも可能である。
例示的かつ非限定的な実施形態によれば、処理装置3は、明るい環境(場合により屋外だが、屋外環境に限定されない)で用いられる表示装置であって、
スマートフォン、
タブレット、
タブレットコンピュータ、
ラップトップコンピュータ、
シースルー表示装置、
デスクトップコンピュータディスプレイ、
TV、
を含む集合に属する。

Claims (15)

  1. 画像の表示可視性を適応させる方法であって、
    環境照度レベルを測定すること(S10)、
    前記画像を表す信号の低周波部に対して、前記環境照度レベルによって決まる伝達関数を適用することにより、前記低周波部を修正すること、
    前記信号の前記修正された低周波部を前記信号の高周波部と組み合わせることにより、前記画像を調整すること(S12)、および、
    表示装置での表示用に前記調整した画像を提供すること(S14)により、前記画像の前記表示可視性を適応させること、
    を含む、方法。
  2. 前記画像調整が、前記環境照度レベルの関数として実行されるか、または、実行されない、請求項1に記載の方法。
  3. 前記高周波部が、前記修正された低周波部との組み合わせに先立って、前記環境照度レベルによって決まる係数で増幅される、請求項1に記載の方法。
  4. 前記環境照度レベルとともに増加する第1の関数によって、前記伝達関数のパラメータが求められる、請求項3に記載の方法。
  5. 前記係数が、前記環境照度レベルとともに増加する第2の関数によって求められる、請求項3または4に記載の方法。
  6. 前記係数が、前記画像のコントラストレベルおよび前記環境照度レベルの組み合わせを表す知覚コントラストレベルとともに減少する第4の関数によって求められる、請求項3または4に記載の方法。
  7. 前記知覚コントラストレベルが、前記環境照度レベルとともに減少する第3の関数で前記コントラストレベルを局所的に調整することによって決定される、請求項6に記載の方法。
  8. 画像の表示可視性を適応させる表示装置であって、
    環境照度レベルを測定する手段(32)と、
    前記画像を表す信号の低周波部に対して、前記環境照度レベルによって決まる伝達関数を適用することにより、前記低周波部を修正する手段と、
    前記信号の前記修正された低周波部を前記信号の高周波部と組み合わせることにより、前記画像を調整する手段(34)と、
    前記調整された画像を表示する手段(38)と、
    を備えた、装置。
  9. 前記画像調整が、前記環境照度レベルの関数として実行されるか、または、実行されない、請求項8に記載の装置。
  10. 前記高周波部が、前記修正された低周波部との組み合わせに先立って、前記環境照度レベルによって決まる係数で増幅される、請求項8に記載の装置。
  11. 前記環境照度レベルとともに増加する第1の関数によって、前記伝達関数のパラメータが求められる、請求項8に記載の装置。
  12. 前記係数が、前記環境照度レベルとともに増加する第2の関数によって求められる、請求項10または11に記載の装置。
  13. 前記係数が、前記画像のコントラストレベルおよび前記環境照度レベルの組み合わせを表す知覚コントラストレベルとともに減少する第4の関数によって求められる、請求項10または11に記載の装置。
  14. 前記知覚コントラストレベルが、前記環境照度レベルとともに減少する第3の関数で前記コントラストレベルを局所的に調整することによって決定される、請求項13に記載の装置。
  15. 画像の表示可視性を適応させるコンピュータプログラム製品であって、
    環境照度レベルを測定すること(S10)、
    前記画像を表す信号の低周波部に対して、前記環境照度レベルによって決まる伝達関数を適用することにより、前記低周波部を修正すること、
    前記信号の前記修正された低周波部を前記信号の高周波部と組み合わせることにより、前記画像を調整すること(S12)、および、
    表示装置での表示用に前記調整した画像を提供すること(S14)により、前記画像の前記表示可視性を適応させること、
    を行うプロセッサにより実行可能なプログラムコード命令を含む、コンピュータプログラム製品。
JP2018123093A 2017-07-06 2018-06-28 表示可視性を適応させる方法および装置 Pending JP2019049692A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17305871.0 2017-07-06
EP17305871.0A EP3425619A1 (en) 2017-07-06 2017-07-06 Method and device for adapting a display visibility

Publications (1)

Publication Number Publication Date
JP2019049692A true JP2019049692A (ja) 2019-03-28

Family

ID=59350832

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018123093A Pending JP2019049692A (ja) 2017-07-06 2018-06-28 表示可視性を適応させる方法および装置

Country Status (5)

Country Link
US (1) US20190014235A1 (ja)
EP (2) EP3425619A1 (ja)
JP (1) JP2019049692A (ja)
KR (1) KR20190005772A (ja)
CN (1) CN109214991A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10777167B2 (en) 2019-02-05 2020-09-15 Sergey N. Bezryadin Color image display adaptation to ambient light
CN111223432B (zh) * 2020-01-10 2024-02-13 北京小米移动软件有限公司 控制屏幕显示的方法及装置
WO2023282885A1 (en) * 2021-07-06 2023-01-12 Hewlett-Packard Development Company, L.P. Adjusting ergonomic configurations of display devices
CN113628137B (zh) * 2021-08-03 2024-04-16 武汉三江中电科技有限责任公司 一种光线不足环境下的图像增强算法及装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050212824A1 (en) * 2004-03-25 2005-09-29 Marcinkiewicz Walter M Dynamic display control of a portable electronic device display
US8169431B2 (en) * 2007-12-26 2012-05-01 Sharp Laboratories Of America, Inc. Methods and systems for image tonescale design
US8781248B2 (en) * 2010-01-28 2014-07-15 Stmicroelectronics Asia Pacific Pte. Ltd. Image details preservation and enhancement
JP5633578B2 (ja) * 2010-11-30 2014-12-03 富士通株式会社 画像表示装置、表示制御装置および表示制御方法
US9646366B2 (en) * 2012-11-30 2017-05-09 Change Healthcare Llc Method and apparatus for enhancing medical images
US9530362B2 (en) * 2014-12-23 2016-12-27 Apple Inc. Ambient light adaptive displays with paper-like appearance
JP6523151B2 (ja) * 2015-12-09 2019-05-29 富士フイルム株式会社 表示装置

Also Published As

Publication number Publication date
KR20190005772A (ko) 2019-01-16
CN109214991A (zh) 2019-01-15
EP3425621A1 (en) 2019-01-09
EP3425619A1 (en) 2019-01-09
US20190014235A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
KR102425302B1 (ko) 번-인 통계 및 번-인 보상
JP2019049692A (ja) 表示可視性を適応させる方法および装置
CN107945163B (zh) 图像增强方法及装置
CN108668093B (zh) Hdr图像的生成方法及装置
US20180350043A1 (en) Shallow Depth Of Field Rendering
US8681187B2 (en) Image processing apparatus, non-transitory storage medium storing image processing program and image processing method
US20200051225A1 (en) Fast Fourier Color Constancy
US20110285737A1 (en) Systems and methods for local tone mapping of high dynamic range images
WO2018228310A1 (zh) 图像处理方法、装置及终端
CN109817170B (zh) 像素补偿方法、装置和终端设备
KR20210118233A (ko) 모바일 전자 기기를 사용한 고품질 플래쉬 사진을 위해 복수의 이미지를 촬영 및 블렌딩하는 장치 및 방법
US11941785B2 (en) Directional scaling systems and methods
US20200082514A1 (en) Rendering Information into Images
KR20160061612A (ko) 광역 역광 보정 영상의 노이즈 레벨 제어 장치, 및 이를 포함하는 영상 처리 시스템
US10762604B2 (en) Chrominance and luminance enhancing systems and methods
CN108885790A (zh) 基于所生成的运动数据处理图像
US9633421B2 (en) Image compensation value computation
CN115775215A (zh) 图像处理方法、装置、电子设备和存储介质
KR20230165686A (ko) 이미지 데이터에 대한 디노이징 처리를 수행하는 방법 및 전자 장치
US20230169689A1 (en) Suppression of clipping artifacts from color conversion
US20220021802A1 (en) Systems and methods for dynamic range compression in multi-frame processing
KR102460390B1 (ko) 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US10719916B2 (en) Statistical noise estimation systems and methods
CN114972100A (zh) 噪声模型的估计方法和装置、图像处理方法和装置
US20200043140A1 (en) Angular detection using sum of absolute difference statistics systems and methods

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191111