JP2020535472A - 2つのビューポイントのオートステレオスコピックイメージをnビューポイントのオートステレオスコピックディスプレイスクリーンに表示するためのシステム及び方法並びにそのようなディスプレイスクリーン上の表示を制御する方法 - Google Patents

2つのビューポイントのオートステレオスコピックイメージをnビューポイントのオートステレオスコピックディスプレイスクリーンに表示するためのシステム及び方法並びにそのようなディスプレイスクリーン上の表示を制御する方法 Download PDF

Info

Publication number
JP2020535472A
JP2020535472A JP2020517381A JP2020517381A JP2020535472A JP 2020535472 A JP2020535472 A JP 2020535472A JP 2020517381 A JP2020517381 A JP 2020517381A JP 2020517381 A JP2020517381 A JP 2020517381A JP 2020535472 A JP2020535472 A JP 2020535472A
Authority
JP
Japan
Prior art keywords
screen
observer
viewpoints
eye
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020517381A
Other languages
English (en)
Other versions
JP7335233B2 (ja
Inventor
アリオ,ピエール
マングレオー,フラヴィアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alioscopy SAS
Original Assignee
Alioscopy SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alioscopy SAS filed Critical Alioscopy SAS
Publication of JP2020535472A publication Critical patent/JP2020535472A/ja
Application granted granted Critical
Publication of JP7335233B2 publication Critical patent/JP7335233B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/324Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/366Image reproducers using viewer tracking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本発明は、2つのビューポイントのオートステレオスコピックイメージを表示するシステム及び方法に関し、各イメージビューポイントはオートステレオスコピックディスプレイスクリーン上のイメージストリップというサブピクセルの複数のストリップから形成され、前記オートステレオスコピックディスプレイスクリーンはN個のビューポイントを表示するように構成され、Nは3以上であり、前記方法は、前記スクリーンに対する優先観察者の位置を検出するステップと、観察者の各眼について、検出された位置でその眼から見えるスクリーンのストリップを決定するステップと、観察者の各眼について、前記位置において2つの眼のいずれかによって見ることができないストリップを決定するステップと、対応する眼のイメージストリップに対応するサブピクセルの、各眼について見ることができるスクリーンのストリップの前記サブピクセルへの割り当てと、イメージストリップのサブピクセルから構成されたセーフティビューポイントに対応するサブピクセルの、見ることができないスクリーンのストリップの前記サブピクセルへの割り当てとを含む。

Description

本発明は、オートステレオスコピックディスプレイのためのシステム及び方法に関する。
オートステレオスコピーは、ユーザが特別な眼鏡を着用することを必要とせずに、イメージを浮き彫りに表示するための技術である。この技術は、特に出願人名義の特許文献WO2006/024764、WO2014/041504、WO2013/140363、WO2014/016768からそれ自体は知られている。
一般に、オートステレオスコピックイメージは、複数のインターレース方式のエレメンタルイメージストリップから構成され、それぞれが異なる視点からの同じ物体の複数のビュー又は同じシーンの複数のビューに対応している。シーンの異なる2つのビューポイントに対応する一対のエレメンタルイメージをそれぞれ観察者の2つの眼に向かって投影し観察者の脳に浮き彫りの印象を引き起こすことを可能にするように、円筒状のレンチキュールのアレイまたはパララックスバリアから典型的に構成される選択装置がディスプレイスクリーンの前部に配置されている。
既知のオートステレオスコピック技術の欠点の一つは、スクリーン上で同時に必要とされるビューポイントの数が多いことである。実際、2つのビューポイントしか必要としないメガネ技術とは異なり、オートステレオスコピーでは、観察者を位置の制限から解放するために多数のビューポイントを必要とする。
オートステレオスコピーに関して、それはメガネをかけているスクリーンと考えていいかもしれない。スクリーンの解像度の良さ、観察されるイメージの質、スクリーンの前での観察者の動きの自由度を兼ね備えた、知られている妥協案は、8つの異なるビューポイントを利用することからなる。
本出願人は既に、複数の線と複数の列に配列されたピクセルのマトリックスを含み各ピクセルが異なる色の複数のサブピクセルから構成されているオートステレオスコピックスクリーンを提案している。さらに、スクリーンは、同じ円筒状の複数のレンチキュールのアレイで覆われ、それぞれのレンチキュールはスクリーンからの光線を無限に送り返すことができるように構成された焦点を持っている。レンズの幅は、8個のサブピクセルの幅にほぼ等しい(本出願人は、1ピクセルではなく、ビューポイントごとに、レンズごとに、水平線ごとに、1個のサブピクセルを使用することを推奨しているので)。それにもかかわらず、達成された効果を実質的に変更することなく、他の構成も可能である。円筒状レンチキュールのアレイのピッチは、レンチキュールのアレイの拡大効果の結果、観察者がスクリーンからの所定の距離(ソリッドカラーディスタンスと呼ばれ、例えば85cmに固定されている)で、6.5cm毎(計算の基礎として選択された眼の間の平均的な分離)にイメージが発生するのを見るように正確に計算されている。
この拡大効果は、適切な距離(焦点距離)に置かれたレンズがその光軸のアライメントに位置するサブピクセルを拡大することと観察者の眼の瞳孔とに起因する。レンズが8倍に拡大すると、レンズを通して見たサブピクセルは、実際の8倍の大きさに知覚され、このレンズを通して光を受けた眼にとっては、このサブピクセルは、前述のアライメントにある他の7つのサブピクセルを隠す。
従って、観察者は、それぞれの眼でスクリーンの解像度の8分の1しか認識できない。イメージ又はビューポイントを形成するために関連したこれらの点は、すべて水平方向に8倍に拡大される。8分の7の解像度は、同じ方法で他の7つのビューポイントを表すために残っている。
スクリーンの前の空間はローブと呼ばれる52cmのゾーンに分割され、前記ゾーンでは8つのビューポイントが6.5cmごとに連続して知覚されうる。人が1つのローブから離れると、人は8つのそっくりのビューポイントの連続を見つける。
従って、それから85cm(ソリッドカラーディスタンスが85cmに固定されている場合)、スクリーンの面に平行に移動して、右端の位置から左端の位置まで移動した観察者は、6.5cmごとにローブを形成する8つのシリーズが発生し、そして再び第2ローブを形成する8つのシリーズが発生しそしてこのように連続して発生するビューポイントを片眼で見る。
観察者の両眼が平均6.5cmで離れ、右眼が1つのビューポイントn(8つのビューポイントを持つスクリーンの場合、nは1〜8の間)を見ると、左眼はn−1またはn+7の補完的なビューポイントを見て、観察者はイメージが浮き彫りになったように知覚する。観察者が左又は右に移動すると、観察者の眼の位置が変わりしたがって同時にビューポイントが変わり、まるで現実の光景の前にいるかのような感覚が残る。
したがって、観察者の移動の制限は、もし、観察者の片方の眼が1つのローブに入り、もう片方の眼が隣のローブに入っていると、両眼により知覚されるイメージが、両眼が同じローブからのイメージを知覚するときの連続(イメージペア1−2、2−3、3−4、4−5、5−6、6−7、7−8)とならないだけでなく、加えて、その結果、右眼により知覚されるイメージは、左眼により知覚されるイメージよりもずっと左側のビューポイント又は逆のビューポイントとなるということによって説明される。言い換えれば、1つのローブから移動する際に1−8のイメージペアが知覚される。その結果、これらのビューポイント間の分離は、観察者が脳内で浮き彫りを再現することを可能にするにはとても大きすぎる。引き起こされる感覚は非常に不快で、深刻な頭痛をすぐに生じさせることなく、この位置に留まることは不可能である。この浮き彫りは全体的に支離滅裂であべこべであり、これはシュードスコピーと呼ばれている。その結果、連続したビューのペアを見つけるために、右または左に向かってわずかにオフセットする必要がある。
そこで、本発明者らは、観察者を動きの制限から完全に解放し、スクリーンに平行な動きだけでなく、スクリーンに垂直な動きも可能にする解決策を模索してきた。
本発明の目的
本発明は、シュードスコピックイメージが時々現れることを解消するオートステレオスコピックシステムおよび表示方法を提供しようとするものである。
本発明はまた、少なくとも1つの実施形態において、ファントムイメージの出現を回避するオートステレオスコピックシステムおよび表示方法を提供しようとするものである。
本発明はまた、本発明の少なくとも1つの実施形態において、観察者が知覚するイメージの質を維持したまま、スクリーンに平行な動きおよびスクリーンに垂直な動きの両方について観察者を完全に解放するオートステレオスコピックシステムおよび表示方法を提供しようとするものである。
また、本発明は、観察者の位置を検出する装置を備えたオートステレオスコピックディスプレイスクリーンの表示の制御方法を提供しようとするものである。
本発明の開示
これを受けて、本発明は、イメージビューポイントいう2つのビューポイントのオートステレオスコピックイメージを表示する方法に関し、各イメージビューポイントは、オートステレオスコピックディスプレイスクリーン上のイメージストリップという、サブピクセルの複数のストリップから形成され、前記オートステレオスコピックディスプレイスクリーンは、スクリーンビューポイントというN個のビューポイントを表示するように構成され、Nは、3以上であり、前記オートステレオスコピックディスプレイスクリーンは、複数のラインと複数のカラムで配列されているピクセルのマトリックスを含み、各ピクセルは、異なる色の複数のサブピクセルから構成され、前記ディスプレイスクリーンは、光学部品(例えば、 円筒状のレンチキュールのアレイまたはパララックスバリア)を含み、前記光学部品は、ソリッドカラーディスタンスという前記スクリーンからの公称距離に位置する優先観察者の右眼および左眼にそれぞれ所定の2つのスクリーンビューポイントを投影することを可能にするように構成される。
本発明の方法はさらに以下のステップを含む:
−正規直交基準システムにおいて各瞬間について前記ディスプレイスクリーン(E)の所定の点に対する前記観察者の位置を検出し、前記観察者の座標X、Y、Zを所定の精度で決めることを可能にするステップ(E1)、前記基準システムでは、前記スクリーンの所定の点は、前記基準システムの原点であり、前記スクリーンが前記基準システムのX軸およびY軸を規定し、前記スクリーンに垂直な方向が前記基準システムのZ軸を規定する、
−前記検出された位置にいる観察者の各眼について、その眼から見える、スクリーン全体の1/Nに対応するストリップを形成するスクリーンのサブピクセルを決定するステップ(E2)、
−前記検出された位置にいる前記観察者の両眼のいずれかによって見ることができない、前記スクリーン全体の(N−2)/Nに対応するスクリーンのストリップを形成するスクリーンのサブピクセルを決定するステップ(E3)、
−前記検出された位置にいる観察者の各眼について、前記スクリーンの各見ることができるストリップの前記サブピクセルに、その眼のためのそれぞれのイメージストリップのサブピクセルを割り当てるステップ(E4)、
−観察者の両眼のそれぞれによって見えないスクリーンのストリップの前記サブピクセルに、イメージストリップのサブピクセルから構成されたセーフティビューポイントというビューポイントに対応するサブピクセルを割り当てて、前記ディスプレイを前記観察者のX、Y、Zでの動きに適応させ、前記優先観察者の前記位置の前記検出精度を補うことを目的としているステップ(E5)。
したがって、本発明の方法は、少なくとも3つのビューポイントを表示するように構成されたスクリーン(以下、マルチビューポイントスクリーンという)上に、2つのビューポイント(それぞれ、観察者の右眼用および左眼用)のみを形成するように2つのエレメンタルイメージのみからなるオートステレオスコピックイメージを表示するための方法を提供する。言い換えれば、本発明は、既知の所定の構成(特に、スクリーンからの物理的なソリッドカラーディスタンス)を有するマルチビューポイントスクリーン(すなわち、少なくとも3つのビューポイントを表示するように構成されている)の転換された使用を提供し、イメージの2つのビューポイントから構成されたセーフティビューポイントを表示するために、使用されていないスクリーンビューポイントに最初に専用にしたピクセルを使用できるように、2つのビューポイントのみを表示することを提供する。特に、このセーフティビューポイントを用いることで、観察者がスクリーンに対して相対的に移動した場合(スクリーンに対して平行に移動した場合だけでなく、スクリーンに対して垂直に移動した場合も同様)に、ローブシフトを解消し、観察の質を向上させることが可能となる。このように、マルチビューポイントスクリーンに2つのビューポイントのみのイメージを表示する使用は、表示されているイメージの中でシュードスコピー領域またはオルソスコピー領域が発生しているスクリーンの位置で可視遷移を隠すことを可能にする。
また、この方法は専用の装置によって観察者の位置を検出することを提供する。このような専用装置は、本文中では、「観察者の位置を検出するための装置」という用語によって、又は現在当該技術分野で使用されているように「追跡装置」という用語によって指定されている。セーフティビューポイントは、前記専用装置による観察者の位置の検出エラー(観察者の実際の位置と前記位置の検出との間の一時的なオフセット、及びそのような検出装置の精度に関連して)を補償することを可能にする。
スクリーンに対する観察者の位置を知ることができると、前記検出された位置で観察者の各眼に向けて投影されるスクリーンビューポイントを決定することができる。したがって、知ることができた前記スクリーンビューポイントに、投影されるイメージのビューポイントを割り当てることができ、優先観察者からは見えないスクリーンビューポイントを利用して、検出エラーを補償するセーフティビューポイントを表示することができ、観察者から見える遷移を隠すことが可能となる。
特に、観察者がスクリーンに平行に移動した場合だけでなく、観察者がスクリーンに垂直に移動した場合にも、観察者の位置によって見える部分が変化する。スクリーンに対して垂直に移動した場合には、異なるスクリーンビューポイントが見られるようにするスクリーンの部分は、移動方向によって幅が拡大又は縮小するように見える。ソリッドカラーディスタンスの前後では、異なるスクリーンビューポイントの出現順序が逆になり、ソリッドカラーでは先に説明したように、1つのビューポイントのみが知覚されることになる。
したがって、本発明によれば、スクリーン上の表示を連続的に適応させるために観察者のすべての動きを考慮することができ、先行技術の表示方法の欠点を解消することができる。
セーフティビューポイントは、イメージのビューポイント(すなわち右眼専用のビューポイントまたは左眼専用のビューポイント)の1つのコピーによって形成することができる。例えば、ソリッドカラーで、8つのビューポイントを表示するように構成されたマルチビューポイントスクリーンの場合、一旦、2つのスクリーンビューポイントが、観察者の位置によって決まった2つのスクリーンビューポイントに割り当てられると、この方法は、残りの6つのセーフティビューポイントが、右眼専用のイメージビューポイントを3回表示し、左眼専用のイメージビューポイントを3回表示することを提供することができる。
本発明の方法は、各検出された位置についておよびディレクターアイという観察者の少なくとも1つの眼について(特に観察者の各眼について)、前記検出された位置において形成されるモアレストリップを計算するステップ(E2a)を含むことが好ましく、前記検出された位置に 疑似ソリッドカラーという模擬的なソリッドカラーを形成するように、前記位置における各モアレストリップを形成することに寄与する各サブピクセルを、対応するその眼専用のイメージストリップのサブピクセル置き換えることができるようにすることが好ましい。
有利にも、この変形例は、スクリーンに対して垂直な観察者の動きにディスプレイを迅速に適応させるのに特に有用である。 実際、観察者がソリッドカラーディスタンスから離れるとすぐに(すなわち、観察者の片眼に1つのスクリーンビューポイントが投影される公称観察距離に対してスクリーンに近づいたり離れたりすると)、モアレ像がスクリーン上に現れる。このモアレ像は、レンチキュラーアレイとディスプレイスクリーンを形成するピクセルのマトリックスとが重なり合うことで発生する。この現象を補償するために、本発明のこの変形例による方法では、各眼について、各モアレストリップを、その眼専用のイメージストリップで置き換えることを提供する。これにより、検出された距離に疑似ソリッドカラーが形成されることが可能になる、すなわち、ディスプレイスクリーンおよび円筒状レンチキュールのアレイが、その検出された距離に位置する優先観察者の右目および左目にそれぞれ模擬スクリーンの2つの所定のビューポイントを投影することを可能にするように構成されることを模擬することが可能になる。
例えば、8つのビューポイント(言い換えればNは8に等しい)のスクリーンを考え、スクリーンのビューポイント1−4、2−5などが85cmの公称距離で観察者の2つの眼に向かって投影されるように構成されたレンチキュラーアレイが使われたスクリーン上に表示された8つの異なる色からなるテストパターンを考える。観察者がスクリーンまでの距離を変えるとすぐに、スクリーン上には、より多くの細長いストリップが現れる。そのとき、スクリーンに対する観察者の相対的な位置を知ることにより、様々な色の前記ストリップを観察者の眼に専用のイメージストリップで置き換えることができ、これは各眼について行われる。このようにして、相対的な場所の遷移がビューポイントの連続の最初の順序で修正されるだけでなく、疑似ソリッドカラーが再構成され、観察者のZの動きとXおよび/またはYの位相シフトが補償される。
表示するイメージが既に撮影・計算されていて修正できないタイプであるとき、観察者の場所は同じ最初のピクセルの動きにより考慮される。リアルタイム3Dレリーフ計算システムが利用可能であれば、観察者の動きを特定した上で、リアルタイムで表示内容を修正し、完全な錯覚のために、観察者のX、Y、Zの動きを統合した3Dボリュームの中にいるような錯覚を与えることが可能となる。
したがって、この変形例による本発明は、検出された各位置において観察者の各眼に見えるモアレストリップを決定するステップを含む。前述のように、前記モアレストリップは、レンチキュラーアレイとディスプレイスクリーンを形成するピクセルのマトリックスとが重なることから生じ、したがって、当該ディスプレイスクリーンおよび当該円筒状レンチキュラーのアレイに依存する。したがって、円筒状レンチキュールのアレイのピッチと、ディスプレイスクリーンの穿孔ピッチと、スクリーンのサイズと、スクリーンと円筒状レンチキュールのアレイによって形成されるアセンブリのソリッドカラーディスタンスと、スクリーンの列に対する円筒状レンチキュールの角度とを知ることは、各観察距離において見ることができるモアレストリップを計算することを可能にする。このように、観察者がX、Y、Z方向に移動した場合、イメージの全高さと全幅において、モアレストリップの計算はこの動きを補正することだけを必要とする。
さらに、この方法は、同じサイズ、同じ解像度、同じビューポイントの数、および同じソリッドカラーのすべてのスクリーンに対して同様に適用される。言い換えれば、そのカテゴリ内で選択されたスクリーンのシリアル番号に関係なく、すべてのスクリーンで本発明による方法を実施できるようにするためには、特定のスクリーンに関連付けられたモアレ方程式を決定するだけで十分である。本発明による方法では、レイトレーシング計算が不要であり、これにより、本発明による方法を実施するステップが非常に単純化される。
本発明によれば、この方法は、各位置について前記観察者の両眼の間の位相シフトを計算するステップを含むことが好ましく、前記ディレクターアイのモアレストリップと計算された前記位相シフトとの計算から前記ディレクターアイの補完的な眼により見ることができる前記モアレストリップを決定できるようにすることが好ましい。
この有利な変形例により、観察者の2つの目の間に存在する位相シフトを考慮に入れることができる。特に、観察者の一方の眼(例えば観察者の右眼)が、スクリーンの1つのビューポイントの中央に中心を置いたままZ方向に移動すると考える場合、観察者の左眼は、スクリーンに対する観察者の距離に応じて、位相位置および逆位相において、他のスクリーンビューポイントを連続的に通過することになる。観察者の2つの眼の間の位相のずれは、スクリーンに対する観察者の距離に依存する。
別の変形例によれば、観察者の各眼は、2つの眼のそれぞれの検出された位置からモアレストリップが決定されるように、追跡装置(または各眼専用の装置)によって追跡される。
本発明の1つの変形例によれば、少なくとも1つのセーフティビューポイントは、第1のイメージビューポイントに第2のイメージビューポイントの負のパーセンテージを加えることによって形成されるイメージストリップの混合物で形成される。
すなわち、少なくとも1つのセーフティビューポイントは、第1のイメージビューポイントから他のイメージビューポイントからの所定の負のパーセンテージを減算することにより形成される。
これにより、ファントムイメージの出現をキャンセルすることができる。特に、セーフティビューポイントは原理的にはユーザによって見ることができないが、位置検出器が瞬間的で完全に正確な位置測定値を供給することができないため、実際にはユーザの視野内に投影されている。このセーフティビューポイントの存在の恩恵を受けて、この変形例による方法は、そこに見つけられたファントムイメージをキャンセルするために、他のビューポイントからある負のパーセンテージを減算することによって、ユーザに表示されるイメージを修正することを提供する。ファントムイメージは常に他の並置されたビューポイントのある正のパーセンテージである。従って、物理システムの不完全性(主に屈折光学系と残留拡散)によるファントムと、調整されたアンチファントム(校正後、前記主要イメージを減算することに相当するネガティブ強度イメージのコンピュータ計算)の2つのイメージは、互いに打ち消し合う。
セーフティビューポイントの管理(ソリッドカラーディスタンスにある1つのスクリーンビューポイントと、他の場所で変動する幅のストリップから構成される)は、スクリーンに対する観察者の位置に依存すると理解されるべきである。観察者がどのスクリーンビューポイントを見ることができるかを決めるのは観察者のこの位置だからである。従って、所望の目的(ファントムイメージの除去、シュードスコピックイメージの除去など)に基づいてセーフティビューポイントの構築を調整するのは観察者の位置である。
本発明の1つの変形例によれば、セーフティビューポイントは、第2の優先観察者に専用のイメージビューポイントを表示するためにも使用することができる。第2の優先観察者のスクリーンに対する相対的な位置は、別の専用追跡装置によって決定される。この変形例は、Nが4以上である場合にのみ可能である。
本発明によれば、前記ディスプレイスクリーンは、前記ソリッドカラーディスタンスで前記優先観察者の両眼によって見ることができるビューポイントが、2つのビューポイントによって互いに分離されたスクリーンビューポイントとなるように構成された7ビューポイントスクリーンであることが好ましく、1から7まで連続的に番号が付けられた前記ビューポイントにおいて見ることができるペアはビュー1−4、2−5、3−7となることが好ましい。
この変形例では、ソリッドカラーディスタンスにおける観察者の両眼の間に2つのビューポイントを利用可能にしておくことが可能になり、観察者がスクリーンに対して垂直に移動した場合のディスプレイの管理が容易になる。 実際、優先観察者は、観察者のZの動きに応じて変化するステレオスコピックベースを見るので、観察の質の損失のリスクなしに優先観察者に移動の大きな自由度を提供するために、ソリッドカラーディスタンスで少なくとも2つのビューポイントが利用可能であることが適切である。もちろん、本発明によって達成される効果を実質的に変更することなく、他の構成も可能である。
スクリーンの前で優先観察者の位置を検出するための検出装置に関連して、N個のビューポイント(Nは3以上)のオートステレオスコピックディスプレイスクリーン(E)の表示を制御する方法であって、以下を含む:
−前記検出装置により前記観察者の位置を検出し、前記観察者の存在が、前記スクリーンの前の空間を区切る少なくとも3つの所定のプレゼンスゾーンの中から1つのプレゼンスゾーンに決定されることを可能にするステップ、
−前記観察者が所定の第1プレゼンスゾーン内にいる場合に、本発明による表示方法の実施により2つのビューポイントのオートステレオスコピックイメージを表示するステップ、
−前記観察者が所定の第2プレゼンスゾーン内にいる場合に、N個のビューポイントのオートステレオスコピックイメージを表示するステップ、
−前記観察者が所定の第3プレゼンスゾーンにいる場合に、スクリーンビューポイントのそれぞれに単一イメージを表示して形成された2次元イメージを表示するステップ。
本発明による制御方法は、優先観察者が位置しているプレゼンスゾーンに応じて、オートステレオスコピックディスプレイスクリーン上の表示モード(すなわち、表示される内容および前記内容が表示される態様)を適合させることを可能にする。本発明による方法は、少なくとも3つの所定のプレゼンスゾーン(第1プレゼンスゾーン、第2プレゼンスゾーン、および第3プレゼンスゾーン)に対して、少なくとも3つの異なる表示モードを提供する。特に、この制御方法は、所定の観察者が、少なくとも3つの所定のゾーン(好ましくは、スクリーンに対する距離の間隔によって規定される)のうちの1つのゾーンに位置することを可能にし、各ゾーンについて表示のタイプ(表示される内容および前記内容がスクリーンに表示される方法の両方に関する)を決めることを可能にする。したがって、本発明による制御方法は、各ゾーンについてイメージの内容を表示する方法を提供することによって、その公称利用距離と比較してスクリーンから非常に遠いか又は非常に近い観察者の動きの追跡の損失の場合を含む観察者の動きにディスプレイを適合させることを可能にする。
例えば、観察者がスクリーンから離れて移動して追跡装置がもはや作動しないようになったとしても(好ましくは、前記第2プレゼンスゾーンは、前記検出装置が観察者の位置を供給することを可能にしないゾーンに対応する)、この方法は、N個のビューポイントのオートステレオスコピックディスプレイを制御する。すなわち、前記検出装置が、前記第1プレゼンスゾーンまたは前記第3プレゼンスゾーンにおいて、前記観察者の存在を検出できない場合には、前記観察者は、所定の第2プレゼンスゾーンにいることになる。この場合、この方法は、N個のビューポイントのオートステレオスコピックイメージの表示を制御する。
前記観察者の存在が前記第1ゾーン(すなわち、前記追跡装置を使用して前記観察者の両眼の位置を検出するために適切なスクリーンからの距離)で認識された場合、前記方法は、本発明によるN個のビューポイントのオートステレオスコピックスクリーン上に2つのビューポイントのオートステレオスコピックイメージを表示する方法を実施する。
観察者が前記いずれのゾーンにも存在しない場合(前記第3ゾーンを形成している場合)には、平面的な2次元イメージを表示することからなるセーフティ表示を制御する。このイメージは、スクリーンのN個のビューポイントのそれぞれに、両眼に同一のイメージを表示することで形成されている。
前記第3ゾーンにおいて前記観察者の存在が認識される場合、前記追跡装置は、前記観察者の頭部を検出することができ、その場合、前記方法は、前記第3ゾーンを含む観察者の動きに応じて前記平面イメージの表示を適応させることができ、このことは観察者とイメージとの間の相互作用を可能にすることに留意すべきである。
観察者が追跡装置が完全に動作している第1ゾーンにいる場合、この方法は、N個のビューポイントのスクリーンに2ビューポイントのイメージを表示する。表示およびイメージの内容は、観察者の動きに応じて変更することができる。内容がリアルタイム3Dコンテンツである場合、表示される内容は、観察者の動きに応じて変更することができる。前記内容が予め記録されたものである場合、前記内容の表示は、前記観察者の動きに応じて変更することができる。
さらに、本発明は、ビューポイントのペア1−2;2−3;3−4;4−5等の標準的な観察条件の下で、観察距離Dでソリッドカラーを有するように最初に提供された追跡装置なしのマルチビューポイントスクリーンの使用を可能にし、ペア1−4;2−5;3−6等の観察条件の下で、例えばD/3に対応する模擬的なソリッドカラーディスタンスで追跡装置を備えた前記同じスクリーンを使用することを可能にする。 これらの条件の下では、同じスクリーンは次の両方の使用法を提供することができる:人がスクリーンからかなり離れているときには、マルチビューポイントイメージがスクリーン上に表示される;人がより近くにいるときには、追跡する使用距離において(すなわち、検出された距離が観察距離の所定の間隔内にある場合)、一度に一人だけのために、模擬的なソリッドカラーがD/3で作成され、デバイス全体がこの新しい使用法でコヒーレント制御されたままになる。
すなわち、本発明によるディスプレイスクリーンの制御方法によれば、スクリーンに対する観察者の相対的な動きによって、検出装置により観察者の検出が可能である所定の領域に観察者が入る又は離れると同時に、N個のビューポイントを表示するように構成されたスクリーン上でのN個のビューポイントの表示から、N個のビューポイントを表示するように構成された前記同一のスクリーン上での2個のビューポイントの表示に切り替えることが可能になる。最後に、この方法は、他の表示が不可能な場合に二次元イメージの表示が可能である。
また、本発明は、2つのビューポイント(前記イメージのビューポイント)のオートステレオスコピックイメージの表示システムに関し、各イメージビューポイントは、オートステレオスコピックディスプレイスクリーン上のイメージストリップという、サブピクセルの複数のストリップから形成され、前記オートステレオスコピックディスプレイスクリーンは、スクリーンビューポイントというN個のビューポイントを表示するように構成され、Nは、3以上であり、前記システムは、以下を含む:
−N個のビューポイントのオートステレオスコピックディスプレイスクリーン、ここで、前記ディスプレイスクリーンは複数のラインと複数のカラムで配列されているピクセルのマトリックスを含み、各ピクセルは、異なる色の複数のサブピクセルから構成され、前記ディスプレイスクリーンは 円筒状のレンチキュールのアレイにより重ねられており、
前記レンチキュールのアレイは、ソリッドカラーディスタンスという前記スクリーンからの公称距離に位置する優先観察者の右眼および左眼にそれぞれ所定の2つのスクリーンビューポイントを投影することを可能にするように構成される、
−正規直交基準システムにおいて各瞬間について前記ディスプレイスクリーンの所定の点に対する前記観察者の位置を検出するための装置、ここで、装置は前記観察者の座標X、Y、Zを所定の精度で決めることを可能にし、前記基準システムでは、前記スクリーンの所定の点は、前記基準システムの原点であり、前記スクリーンが前記基準システムのX軸およびY軸を規定し、前記スクリーンに垂直な方向が前記基準システムのZ軸を規定する、
−前記検出された位置にいる観察者の各眼について、その眼から見える、スクリーン全体の1/Nに対応するストリップを形成するスクリーンのサブピクセルを決定するためのモジュール、
−前記検出された位置にいる前記観察者の各眼について、前記観察者の両眼のいずれかによって見ることができない、前記スクリーン全体の(N−2)/Nに対応するスクリーンのストリップを形成するスクリーンのサブピクセルを決定するためのモジュール、
−前記検出された位置にいる観察者の各眼について、前記スクリーンの各見ることができるストリップの前記サブピクセルに、前記2つのイメージビューポイントのそれぞれのストリップのサブピクセルを割り当てるためのモジュール、
−前記スクリーンの見えないストリップの前記サブピクセルに、イメージビューポイントのサブピクセルから構成されたセーフティビューポイントというビューポイントに対応するサブピクセルを割り当てるためのモジュール、ここで、前記セーフティビューポイントは前記優先観察者の前記位置の前記検出精度を補うことを目的としている。
本発明によるシステムは、本発明による方法を実施することが好ましく、本発明による方法は、本発明による装置によって実施されることが好ましい。また、本発明による方法の利点および効果は、本発明による表示システムにも適用される。
優先観察者の位置を検出するための装置は、どのようなタイプのものであってもよい。例えば、それは、スクリーンと一体化した位置決定受信機と協力して、観察者によって運ばれる高周波信号送信機を含む装置を含むことができる。また、それは、スクリーン上またはディスプレイスクリーンの近傍に取り付けられた、観察者の眼の動きを検出および認識するためのセンサを含むことができる。一般的に、それは、ディスプレイスクリーンに対する観察者の眼または頭部の位置を検出するように構成された任意のタイプの手段を含むことができる。
また、本発明によるシステムは、観察者によって見ることができるスクリーンのストリップを決定するためのモジュールと、観察者によって見ることができないストリップを決定するためのモジュールとを含む。また、それは、スクリーンの見ることができるストリップのサブピクセルに、それぞれのイメージストリップのサブピクセルを割り当てるためのモジュールと、スクリーンの見ることができないストリップの前記サブピクセルに、優先観察者の位置の検出精度の低さを補償することを意図したセーフティポイントに対応するサブピクセルを割り当てるためのモジュールとを含む。
本文中を通して、モジュールとは、ソフトウェア要素、独立して使用されるもしくはプログラムの他のモジュールと組み合わされたソフトウェアプログラムのサブアセンブリ、又は、ハードウェア要素、又は、ハードウェア要素とソフトウェアサブルーチンの組み合わせとして理解される。
好ましくは、本発明よるシステムのモジュールは、コンピュータまたはディスプレイスクリーンに接続されたマイクロプロセッサによって実行されることを意図したソフトウェアプログラムのサブセットである。
本発明によるシステムおよび方法の応用は、多数かつ多様である。
自動車の分野において、機器類だけでなく、ヘッドアップディスプレイとして知られているシステムでも本発明を実施することができる。本発明は、信頼性と現実的な方法で、運転と安全のための有用な情報を、運転環境で直接表示することを可能にする。大きな被写界深度とコリメーションの制御は、優先観察者であるドライバー(ドライバーの両目の位置があらゆる瞬間に知られている)のために、車両の前の適切な位置の情報を、実際の距離で、適切な遠近法に従って道路上およびその少し上に重ね合わせることを可能にする。
医療分野において、本発明は、立体内視鏡からイメージを供給することを可能にする。立体内視鏡によって得られた2つのビューポイントのみを使用することは、最初に内視鏡によって供給された2つの視点から推測される追加の視点を作成しなければならない場合にシステムの認証のために必要とされる長くコストのかかる手続きを避けることができる。優先観察者である外科医は、メガネなしで自然な品質のレリーフイメージを役立たせることができる。
その他の用途としては、航空機内の個別の投影スクリーンなどが考えられる。スクリーンに非常に近い位置にいる可能性があるため、内容との迅速なインタラクションのためにタッチパッドや非接触型インタラクションシステムを関連付けることも可能になる。後者は、メインのトラッキングシステムになる可能性もある。
ビデオゲームの分野では、本発明は、3Dをリアルタイムで表示することを可能にし、アーケードゲームだけでなく、スロットマシンなどにも適用される。
また、任意のタイプのビデオコンテンツを表示するために、本質的に個人使用のコンピュータタブレット、携帯電話を想定することも可能である。
また、本発明は、上述又は以下に述べる特徴の全部または一部を組み合わせたことを特徴とする表示方法および表示システムに関する。
図面リスト
本発明の他の目的、特徴および利点は、以下の添付の図を参照して以下の非限定的な説明から見ることができる。
図1は、オートステレオスコピックディスプレイスクリーンによって放出される光線の観察者の眼への経路を例示する概略図である。 図2は、ソリッドカラーディスタンスにおける観察者の眼の知覚の変化を説明するための模式図である。 図3は、観察者の眼がディスプレイスクリーンに近づいたときの知覚の変化を説明するための模式図である。 図4は、本発明の一実施形態による表示方法の概略図である。 図5は、本発明の一実施形態による方法の割り当てステップの概略図である。 図6は、ディスプレイスクリーンに向かって移動する間の優先観察者の両眼の間の位相シフトを説明する模式図である。 図7は、本発明による方法によって実行されるモアレストリップを算出する原理を説明する概略図である。 図8は、本発明の一実施形態によるオートステレオスコピックイメージの表示システムの概略図である。
本発明の一実施形態の詳細な説明
これらの図面では、説明と明確さの目的で、縮尺や比率を厳密には尊重していない。これらのすべての図では、スクリーンビューポイントに含まれる情報はクロスハッチングで表示されている。異なるクロスハッチングは、異なるスクリーンビューポイントを示している。
図1は、オートステレオスコピックディスプレイスクリーンEの画素パネルDから観察者の瞳孔10に向かう光線の経路を模式的に示す図である。前記光線は、RL型レンチキュラーアレイの光学素子により方向が変わり、観察者の瞳孔10に向かって収束する。図1のオートステレオスコピックディスプレイスクリーンEは、3種類の異なるクロスハッチング(水平、傾斜、垂直)によって模式的に表される3つのスクリーンビューポイントを備えている。レンチキュラーアレイの各レンズ12は、3つのビューポイントのピクセルの1組をカバーする。図1では、観察者はソリッドカラーディスタンスに位置しており、斜めクロスハッチングのビューポイントは観察者の眼に向かって投影されている。観察者の他方の眼についても同様の現象が起こるため、ソリッドカラーディスタンスでは、観察者の各眼が同じシーンの異なるビューポイントを知覚する、このことは観察者の脳に浮き彫りの印象を与える。
図2は、観察者がステレオスコピックディスプレイスクリーンに平行にステレオスコピックベースと呼ばれ文字bで表される所定の距離を移動したときに観察者の1つの眼に何が起こるかを模式的に示している。前記ステレオスコピックベースは、使用する複数のピクセルDのパネルと、使用するレンチキュラーアレイRLと、特にそれらのピッチpとに依存するディスプレイスクリーンの本質的な特性である。この図では、レンチキュラーアレイは、レンズの光学中心13だけで表されている。観察者の1つの眼が図の左下に表された位置にあるとき、観察者は、斜めのクロスハッチングのビューポイントからの複数のピクセルを知覚する。言い換えると、前記斜めクロスハッチングのビューポイントから出射された光線はすべて観察者の1つの眼に向かって投射される。観察者がステレオスコピックベースbに沿ってスクリーンと平行に移動して図の左上に表された位置に到達すると、観察者の眼はそのとき水平クロスハッチングの近くのビューポイントからのピクセルのすべてを知覚することになる。
図3は、ステレオスコピックベースbから複数の距離をずらしたソリッドカラーでの点と、スクリーンの中心とを結ぶ軸に沿って観察者が移動するときに観察者の1つの眼に何が起こるかを模式的に示している。観察者の眼がスクリーンに対して垂直に移動する間、その眼に見えるストリップを形成するスクリーンの複数のサブピクセルは、ソリッドカラーディスタンスで見えるスクリーンの複数のサブピクセルに対して相対的に変化する。実際、その眼は、水平クロスハッチングのビューポイントに属するサブピクセルだけでなく、斜めクロスハッチングの近くのビューポイントからのサブピクセルも知覚することが判明している。
観察者がスクリーンに近づけば近づくほど、観察者の眼はスクリーンのビューポイントの一部のストリップを知覚しようとする。
従って、本発明は、N個のビューポイントを表示するように構成され、かつ、それを優先観察者を対象として2つのイメージビューポイントだけを表示するのに使用するように構成されたオートステレオスコピックディスプレイスクリーンを使用する方法を提供する。
この方法は、図4の模式図に従って体系づけられた複数のステップを含み、その動作原理は図5、図6、図7に示されている。
この方法は、各瞬間に、ディスプレイスクリーンの所定の点、例えばスクリーンの中心、に対する観察者の位置の検出の第1ステップE1を含む。前記検出は、観察者の座標X,Y,Zが、ディスプレイスクリーンEに関連する所定の照合システムに供給されることを可能にする。
それから、前記方法は、前記検出された位置にいる観察者の各眼について、その眼によって見えるストリップを形成するサブピクセルをスクリーンから決定するステップE2を含む。後述するように、前記眼によって視認されるストリップを決定する前記ステップE2は、前記位置におけるモアレストリップを計算するステップE2aと、前記観察者の2つの眼の間の位相シフトを計算するステップE2bとを実行することができる。
また、前記方法は、前記検出された位置において観察者の眼のいずれかによって見えないスクリーンストリップを形成するスクリーンサブピクセルを決定するステップE3を含む。
観察者の検出された位置で見ることができるストリップおよび見ることができないストリップが決定されると、前記方法は、観察者の各眼の専用のイメージストリップにアドレスし、かつ、観察者によって見ることができないスクリーンサブピクセルを占めることを目的としたセーフティビューポイントを構築するために必要な情報を、見ることができるストリップおよび見ることができないストリップの各サブピクセルに割り当てることができる。
この目的のために、この方法は、検出された位置にいる観察者の各眼について、当該眼に対応するイメージストリップのサブピクセルをスクリーンの見ることができるストリップのそれぞれのサブピクセルに割り当てるステップE4と、セーフティビューポイントに対応するサブピクセルを観察者の2つの眼のいずれかによって見ることができないスクリーンストリップのサブピクセルに割り当てるステップE5とを含み、セーフティビューポイントはイメージストリップのサブピクセルから構成され、観察者のX、Y、Zの動きに合わせて表示を適応させ、優先観察者の位置の検出精度を補償するように意図されている。
ステップE5が終了すると、または検出装置が観察者の動きを検出すると、この方法は、新たな検出位置で見ることができるストリップの決定のステップE2に戻る。
異なるステップE2、E3、E4、E5の動作原理は、図5、図6、図7に模式的に示されている。
これらの図において、Z軸は、観察者のディスプレイスクリーンに対する距離を測定することを可能にするディスプレイスクリーンEに垂直な軸を表す。距離Zpは、関与しているディスプレイスクリーンに対するソリッドカラーディスタンス、すなわち、スクリーンの所定の2つのビューが観察者の2つの眼に向かって投影される距離を表す。距離Zobsは、専用の追跡装置によって検出された距離を表す。図5において、参照点P1、P2、P3、P4、P5はスクリーンビューポイントを表し、各ビューポイントの右側の箱で表されるイメージは、当該ビューポイントによって表示されるイメージを表す。したがって、ソリッドカラーディスタンスZpにおいて、右眼ODは、ハッシュマークと+45°の傾斜で表されるイメージv4を観察していると考えられ、左眼OGは、水平ハッシュマークで表されるイメージv2を観察していると考えられる。
観察者がスクリーンに対して垂直に移動し、距離Zobsに位置するとき、観察者は、複数のスクリーンビューポイントに属する複数のストリップを知覚するように、ソリッドカラーディスタンスを離れる。図では、検出された距離Zobsにおいて、左眼OGはストリップv1、v2、v3を知覚し、右眼ODはストリップv2、v3、v4、v5を知覚するはずである。 これは、図5のAを参照したボックスで表される。
したがって、この方法は、各見ることができるストリップに、その眼のために対応するイメージストリップのサブピクセルを割り当てることを可能にする。これは、図5のBとして参照されるボックスで表される。例えば、左眼OGについて考えると、ビューポイントP1のイメージv1の間隔をあけた斜めのクロスハッチングにおける見ることができるストリップは、対応するその眼の専用のイメージのストリップ、すなわち水平クロスハッチングにおけるイメージv2、に置き換えられる。ビューポイントv2の水平クロスハッチングにおけるイメージv2の中央ストリップは、対応するその眼に専用のイメージのストリップを維持する。最後に、ビューポイントP3の−45°に傾斜したクロスハッチングにおけるイメージv3の見ることができるストリップは、対応するその眼専用の水平クロスハッチングにおけるイメージv2のストリップに置き換えられる。これはボックスBに表されているイメージ3に見られるものである。その対応するストリップは、右眼ODについても割り当てられなければならない。したがって、ボックスBに表されているイメージ2は、右眼のODに専用の左ストリップを含み、+45°傾斜したクロスハッチングで表されている。このプロセスを繰り返すことにより、この方法は、各眼で見える各ストリップに対応するストリップを割り当てることを可能にする。
ボックスCに表されているイメージは、割り当てステップが終わった時点で各スクリーンビューポイントで表示されるイメージを説明している。両眼のどちらか一方が使用しない各ビューポイントのストリップがセーフティインフォーメーションが表示されることを可能にする。
左眼OGに対する右眼ODのオフセットは観察者の2つの眼の間の位相シフトによって説明され、図6に模式的に示されている。
図6を観察すると、右眼ODが、ビューポイントP1の中央に位置したまま、スクリーンEに接近して移動すると考えると、左眼OGは、スクリーンEに対するユーザの距離に応じて、位相位置及び逆位相においてビューポイントP2、P3、P4、P5をこの順で連続的に通過することに注意が必要である。また、スクリーンから距離をとっているとき観察者の2つの眼が隣接する2つのビューポイント(1−2;2−3の組で表される)から情報を受け取る構成から、大きくなっていく間隔に対応する構成への移行があることにも注目したい。組1−2;2−3;等から、組1−3;2−4;等への遷移があり、次いで組1−4;2−5;等への遷移があり、次いで組1−2;2−6;等への遷移がある。
本発明によれば、両眼がそれを見ることができないところへ系統的に遷移を配置することによりオートステレオスコピックのペアの前記変化の表示を適応させることが可能となる。
本発明は、好ましくは、検出された位置ごとに、観察者の少なくとも1つの眼(好ましくは2つの眼のそれぞれ)について、前記検出された位置に形成されたモアレストリップを計算するステップE2aを含み、前記位置における各モアレストリップの形成に寄与する各サブピクセルを、対応する前記眼に専用のイメージストリップのサブピクセルに置き換えることができるようにする。これにより、前記検出された位置に模擬的なソリッドカラーを形成することができる。
モアレストリップの計算は、例えばスクリーンの中心に対する参照システムにおける観察者のX,Y,Zの位置に応じて、スクリーンに表示されているビュー番号を見つけることを可能にする。
例えば、水平方向の中心のスクリーン上部の点を考えてみる。前記点に対する相対的な参照システム内の位置(X、Y、Z)に応じて、前記ピクセルに表示されるビューの数を決定する。
これを行うために、Xにおける参照システムのステレオスコピックベースはParVueBaseX、すなわち、人がソリッドカラーディスタンスにいるときにビューポイントを変更するために移動する X距離、で表され;Y参照システムのステレオスコピックベースはParVueBaseY、すなわち、人がソリッドカラーディスタンスにいるときにビューポイントを変更するために移動する Y距離、で表され;ソリッドカラーディスタンスはZpで表され;X、Y、Zは、前に定義されたように、スクリーンに対する参照システムにおける観察者(例えば、彼の右眼)の座標である。
シミュレートステレオスコピックベースは、まず、以下の式により距離Zにおいて計算される:
ParVueBaseXrect = ParVueBaseX * Z / Zp
ParVueBaseYrect = ParVueBaseY * Z / Zp
これらの値は、レンチキュラーアレイを通過した光線が観察者に到達する角度を求めるために、検出されたXとYの位置の距離に応じた標準化に対応している。
そして、スクリーンの点において観測されたビューの値は、X位置とY位置に応じてトラバースしたビューの位相シフトの数を求めることにより求められる。
ビュー番号の全体的なオフセットDgは、次のようになる
Dg = DecalcolourOri + X/ParVueBaseXrect +Y/ ParVueBaseYrect
この式において、DecalcolourOri は、スクリーンの製造中のパネルでの光学システムの可能性のあるアライメントオフセットを示す。
異なるピクセルの値のセットは、その値はレンズ(その傾き)と比較して求められ前記同じ軸に沿った現象の繰り返しに対応するそのピクセルのX位置、観察者のZ位置、トラバースされたモアレストリップのオフセットを定義するピクセルのX位置を考慮することにより前記参照ピクセルと比較して求めることができる。
図7に模式的に示されたタレスの幾何学的規則に従って、観察距離Zに応じたモアレストリップの幅が求められる。実際には、この幅は、観察者の距離からレンチキュラーアレイによってカバーされたピクセル数NbPixDec(オリジナルのピクセルの数に対する加算または減算)に対応する。
ハーフスクリーン上のピクセルの数であるNbPixに注目すると、次の式が得られる:
NbPixDec = NbPix * ( (Z+Focal)/Z * Zp/(Zp+Focal) -1 )
そして、中央のレンズに対するビューの数において位相シフトを見つけるために、位相シフトの符号付きの値は、以前に見つけられている位相シフトに加えられ、前記アレイがより少ないピクセルをカバーしている場合(人がソリッドカラーよりも遠くにいる場合)、NbPixDecが負になる可能性があることが知られている。
図8は、ピクセルのパネルDと円筒状レンチキュールRLのアレイとを含むオートステレオスコピックスクリーンEを備える本発明による表示システムの概略図である。また、この表示システムはディスプレイスクリーンの所定の点に対する優先観察者22の位置を検出するための装置15を備える。
また、このシステムは、前記検出された位置において、観察者の各眼について、その眼によって見ることができスクリーン全体の1/Nを形成するストリップを形成するスクリーンのサブピクセルを決定するためのモジュール16と、
前記検出された位置において、観察者の各眼について、観察者のいずれかの眼によって見ることができずスクリーン全体の(N−2)/Nに対応するストリップを形成するスクリーンのサブピクセルを決定するためのモジュール17と、
検出された位置にいる観察者の各眼について、スクリーンの各見ることができるストリップの前記サブピクセルに、2つのイメージビューポイントのそれぞれの対応するストリップのサブピクセルを割り当てるためのモジュール18と、
スクリーンの見ることができないストリップの前記サブピクセルに、優先観察者の前記位置の前記検出精度を補正することを目的としている、イメージビューポイントのサブピクセルから構成されるビューポイント(前記セーフティビューポイント)に対応するサブピクセルを割り当てるためのモジュール19とを含む。
このシステムのモジュール16、17、18、19は、例えば、ディスプレイスクリーンに接続されたコンピュータまたはマイクロプロセッサによって実施されることを目的としたソフトウェアプログラムのサブセットである。この構成は、図8に模式的に示されている。また、前記コンピュータにより実施されるこのソフトウェアは、好ましくは、観察者22の各眼について、その検出された位置に形成されたモアレストリップの各検出された位置のための算出モジュールを実施し、各眼に専用のイメージストリップの対応するサブピクセルについて、前記位置における各モアレストリップを形成することに寄与する各サブピクセルを置き換えることができるようにし、前記検出された位置で疑似ソリッドカラーを形成する。
本発明は、パラメータが公知であり、追跡装置によって検出された各位置で見ることができるモアレストリップを算出することが可能である任意のタイプのオートステレオスコピックディスプレイスクリーン上で実施することができる。

Claims (12)

  1. イメージビューポイントいう2つのビューポイントのオートステレオスコピックイメージを表示する方法であって、
    各イメージビューポイントは、オートステレオスコピックディスプレイスクリーン(E)上のイメージストリップという、サブピクセルの複数のストリップから形成され、
    前記オートステレオスコピックディスプレイスクリーンは、スクリーンビューポイントというN個のビューポイントを表示するように構成され、
    Nは、3以上であり、
    前記オートステレオスコピックディスプレイスクリーンは、複数のラインと複数のカラムで配列されているピクセルのマトリックス(D)を含み、
    各ピクセルは、異なる色の複数のサブピクセルから構成され、
    前記ディスプレイスクリーン(E)は、光学部品(例えば、 円筒状のレンチキュールのアレイまたはパララックスバリア)を含み、
    前記光学部品は、ソリッドカラーディスタンス(Zp)という前記スクリーンからの公称距離に位置する優先観察者(22)の右眼(OD)および左眼(OG)にそれぞれ所定の2つのスクリーンビューポイントを投影することを可能にするように構成され、
    前記方法は以下のステップを含む:
    −正規直交基準システムにおいて各瞬間について前記ディスプレイスクリーン(E)の所定の点に対する前記観察者の位置を検出し、前記観察者の座標X、Y、Zを所定の精度で決めることを可能にするステップ(E1)、前記基準システムでは、前記スクリーンの所定の点は、前記基準システムの原点であり、前記スクリーンが前記基準システムのX軸およびY軸を規定し、前記スクリーンに垂直な方向が前記基準システムのZ軸を規定する、
    −前記検出された位置にいる観察者の各眼について、その眼から見える、スクリーン全体の1/Nに対応するストリップを形成するスクリーンのサブピクセルを決定するステップ(E2)、
    −前記検出された位置にいる前記観察者の両眼のいずれかによって見ることができない、前記スクリーン全体の(N−2)/Nに対応するスクリーンのストリップを形成するスクリーンのサブピクセルを決定するステップ(E3)、
    −前記検出された位置にいる観察者の各眼について、前記スクリーンの各見ることができるストリップの前記サブピクセルに、その眼のためのそれぞれのイメージストリップのサブピクセルを割り当てるステップ(E4)、
    −観察者の両眼のいずれかによって見えないスクリーンのストリップの前記サブピクセルに、イメージストリップのサブピクセルから構成されたセーフティビューポイントというビューポイントに対応するサブピクセルを割り当てて、前記ディスプレイを前記観察者のX、Y、Zの動きに適応させ、前記優先観察者の前記位置の前記検出精度を補うことを目的としているステップ(E5)。
  2. 各検出された位置についておよびディレクターアイという観察者の少なくとも1つの眼について、前記検出された位置において形成されるモアレストリップを計算するステップ(E2a)を含み、前記検出された位置に 疑似ソリッドカラーという模擬的なソリッドカラーを形成するように、前記位置における各モアレストリップを形成することに寄与する各サブピクセルを、対応するその眼専用のイメージストリップのサブピクセル置き換えることができるようにすることを特徴とする請求項1に記載の方法。
  3. 各位置について前記観察者の両眼の間の位相シフトを計算するステップ(E2b)を含み、
    前記ディレクターアイのモアレストリップと計算された前記位相シフトとの計算から前記ディレクターアイの補完的な眼により見ることができる前記モアレストリップを決定できるようにすることを特徴とする請求項2に記載の方法。
  4. 少なくとも1つのセーフティビューポイントは、イメージストリップの混合物から構成され、
    前記混合物は、イメージの第1ビューポイントに、補完的なイメージにおけるビューポイントの負のパーセンテージを加えることにより形成されることを特徴とする請求項1〜3のいずれか1つに記載の方法。
  5. 前記ディスプレイスクリーン(E)は、前記ソリッドカラーディスタンス(Zp)で前記優先観察者(22)の両眼によって見ることができるビューポイントが、2つのビューポイントによって互いに分離されたスクリーンビューポイントとなるように構成された7ビューポイントスクリーンであり、1から7まで連続的に番号が付けられた前記ビューポイントにおいて見ることができるペアはビュー1−4、2−5、3−7となることを特徴とする請求項1〜4のいずれか1つに記載の方法。
  6. スクリーンの前で優先観察者の位置を検出するための検出装置に関連して、N個のビューポイント(Nは3以上)のオートステレオスコピックディスプレイスクリーン(E)の表示を制御する方法であって、以下を含む:
    −前記検出装置により前記観察者の位置を検出し、前記観察者の存在が、前記スクリーンの前の空間を区切る少なくとも3つの所定のプレゼンスゾーンの中から1つのプレゼンスゾーンに決定されることを可能にするステップ、
    −前記観察者が所定の第1プレゼンスゾーン内にいる場合に、請求項1〜5のいずれか1つに記載の表示方法の実施により2つのビューポイントのオートステレオスコピックイメージを表示するステップ、
    −前記観察者が所定の第2プレゼンスゾーン内にいる場合に、N個のビューポイントのオートステレオスコピックイメージを表示するステップ、
    −前記観察者が所定の第3プレゼンスゾーンにいる場合に、N個のスクリーンビューポイントのそれぞれに単一イメージを表示して形成された2次元イメージを表示するステップ。
  7. 複数の所定の前記プレゼンスゾーンは、前記スクリーンに対する距離間隔によって規定されることを特徴とする請求項6に記載の方法。
  8. 前記第2プレゼンスゾーンは、前記検出装置が観察者の位置を供給することができないゾーンに対応することを特徴とする請求項6又は7に記載の方法。
  9. イメージビューポイントという2つのビューポイントのオートステレオスコピックイメージの表示システムであって、
    各イメージビューポイントは、オートステレオスコピックディスプレイスクリーン(E)上のイメージストリップという、サブピクセルの複数のストリップから形成され、
    前記オートステレオスコピックディスプレイスクリーンは、スクリーンビューポイントというN個のビューポイントを表示するように構成され、
    Nは、3以上であり、
    前記システムは、以下を含む:
    −N個のビューポイントのオートステレオスコピックディスプレイスクリーン(E)、ここで、前記ディスプレイスクリーン(E)は複数のラインと複数のカラムで配列されているピクセルのマトリックス(D)を含み、各ピクセルは、異なる色の複数のサブピクセルから構成され、前記ディスプレイスクリーン(E)は 円筒状のレンチキュールのアレイを含み、
    前記レンチキュールのアレイは、ソリッドカラーディスタンス(Zp)という前記スクリーンからの公称距離に位置する優先観察者(22)の右眼(OD)および左眼(OG)にそれぞれ所定の2つのスクリーンビューポイントを投影することを可能にするように構成される、
    −正規直交基準システムにおいて各瞬間について前記ディスプレイスクリーン(E)の所定の点に対する前記優先観察者(22)の位置を検出するための装置(15)、ここで、装置(15)は前記観察者の座標X、Y、Zを所定の精度で決めることを可能にし、前記基準システムでは、前記スクリーンの所定の点は、前記基準システムの原点であり、前記スクリーンが前記基準システムのX軸およびY軸を規定し、前記スクリーンに垂直な方向が前記基準システムのZ軸を規定する、
    −前記検出された位置にいる観察者の各眼について、その眼から見える、スクリーン全体の1/Nに対応するストリップを形成するスクリーンのサブピクセルを決定するためのモジュール(16)、
    −前記検出された位置にいる前記観察者の各眼について、前記観察者の両眼のいずれかによって見ることができない、前記スクリーン全体の(N−2)/Nに対応するスクリーンのストリップを形成するスクリーンのサブピクセルを決定するためのモジュール(17)、
    −前記検出された位置にいる観察者の各眼について、前記スクリーンの各見ることができるストリップの前記サブピクセルに、前記2つのイメージビューポイントのそれぞれのストリップのサブピクセルを割り当てるためのモジュール(18)、
    −前記スクリーンの見えないストリップの前記サブピクセルに、イメージビューポイントのサブピクセルから構成されたセーフティビューポイントというビューポイントに対応するサブピクセルを割り当てるためのモジュール(19)、ここで、前記セーフティビューポイントは前記優先観察者の前記位置の前記検出精度を補うことを目的としている。
  10. 各検出された位置についておよびディレクターアイという観察者の少なくとも1つの眼について、前記検出された位置において形成されるモアレストリップを計算するためのモジュールを含むシステムであって、前記検出された位置に 疑似ソリッドカラーを形成するように、前記位置における各モアレストリップを形成することに寄与する各サブピクセルを、対応するその眼専用のイメージストリップのサブピクセル置き換えることができるようにすることを特徴とする請求項9に記載のシステム。
  11. 前記観察者の両眼の間の位相シフトを計算するためのモジュールを含むシステムであって、前記ディレクターアイのモアレストリップと計算された前記位相シフトとの計算から前記ディレクターアイの補完的な眼により見ることができる前記モアレストリップを決定できるようにすることを特徴とする請求項10に記載のシステム。
  12. 前記ディスプレイスクリーンは、前記ソリッドカラーディスタンスで前記優先観察者の両眼によって見ることができるビューポイントが、2つのビューポイントによって互いに分離されたスクリーンビューポイントとなるように構成された7ビューポイントスクリーンであり、1から7まで連続的に番号が付けられた前記ビューポイントにおいて見ることができるペアはビュー1−4、2−5、3−7となることを特徴とする請求項9〜11のいずれか1つに記載のシステム。
JP2020517381A 2017-09-26 2018-09-04 2つのビューポイントのオートステレオスコピックイメージをnビューポイントのオートステレオスコピックディスプレイスクリーンに表示するためのシステム及び方法並びにそのようなディスプレイスクリーン上の表示を制御する方法 Active JP7335233B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1758881 2017-09-26
FR1758881A FR3071625B1 (fr) 2017-09-26 2017-09-26 Systeme et procede d'affichage d'une image autostereoscopique a 2 points de vue sur un ecran d'affichage autostereoscopique a n points de vue et procede de controle d'affichage sur un tel ecran d'affichage
PCT/FR2018/052158 WO2019063897A1 (fr) 2017-09-26 2018-09-04 Système et procédé d'affichage d'une image autostéréoscopique à 2 points de vue sur un écran d'affichage autostéréoscopique à n points de vue et procédé de contrôle d'affichage sur un tel écran d'affichage

Publications (2)

Publication Number Publication Date
JP2020535472A true JP2020535472A (ja) 2020-12-03
JP7335233B2 JP7335233B2 (ja) 2023-08-29

Family

ID=60955173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020517381A Active JP7335233B2 (ja) 2017-09-26 2018-09-04 2つのビューポイントのオートステレオスコピックイメージをnビューポイントのオートステレオスコピックディスプレイスクリーンに表示するためのシステム及び方法並びにそのようなディスプレイスクリーン上の表示を制御する方法

Country Status (9)

Country Link
US (1) US10819975B2 (ja)
EP (1) EP3688518A1 (ja)
JP (1) JP7335233B2 (ja)
KR (1) KR20200061388A (ja)
CN (1) CN111095080B (ja)
CA (1) CA3076977A1 (ja)
FR (1) FR3071625B1 (ja)
SG (1) SG11202001395YA (ja)
WO (1) WO2019063897A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112020001450T5 (de) * 2019-03-27 2021-12-23 Panasonic Intellectual Property Management Co., Ltd. System zur anzeige eines virtuellen bilds, bildanzeigeverfahren, head-up display und sich bewegendes fahrzeug
WO2021102909A1 (zh) * 2019-11-29 2021-06-03 京东方科技集团股份有限公司 显示装置及其驱动方法
CN114327346B (zh) * 2021-12-27 2023-09-29 北京百度网讯科技有限公司 显示方法、显示装置、电子设备以及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002519897A (ja) * 1998-06-20 2002-07-02 クリストフ グロスマン, 自動立体画像のための方法および装置
JP2008249809A (ja) * 2007-03-29 2008-10-16 Toshiba Corp 三次元画像表示装置及び三次元画像の表示方法
JP2011101366A (ja) * 2009-11-04 2011-05-19 Samsung Electronics Co Ltd アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法
JP2012255922A (ja) * 2011-06-09 2012-12-27 Axell Corp 視差画像情報処理方法
JP2013186221A (ja) * 2012-03-07 2013-09-19 Japan Display West Co Ltd 表示装置および電子機器
JP2015515165A (ja) * 2012-02-16 2015-05-21 ディメンコ ビー.ヴィー.Dimenco B.V. 裸眼立体ディスプレイ装置及び駆動方法
DE102016202431A1 (de) * 2016-02-17 2017-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Autostereoskopischer Bildschirm und dessen Verwendung zum Wiedergeben dreidimensional wahrnehmbarer Bilder

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6329963B1 (en) * 1996-06-05 2001-12-11 Cyberlogic, Inc. Three-dimensional display system: apparatus and method
EP1602243A2 (de) * 2003-03-12 2005-12-07 Siegbert Prof. Dr. Hentschke Autostereoskopisches wiedergabesystem für 3d darstellungen
FR2873824B1 (fr) 2004-07-30 2006-10-27 Pierre Allio Procede d'affichage d'une image autostereoscopique a n points de vue
DE102006031799B3 (de) * 2006-07-06 2008-01-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autostereoskopischen Darstellung von Bildinformationen mit einer Anpassung an Änderungen der Kopfposition des Betrachters
WO2008011888A1 (en) * 2006-07-24 2008-01-31 Seefront Gmbh Autostereoscopic system
US8687051B2 (en) * 2010-03-03 2014-04-01 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Screen and method for representing picture information
CN102122075A (zh) * 2010-11-30 2011-07-13 上海大学 基于投影立体可视区域中图像间相互串扰的评价系统和方法
US9838671B2 (en) * 2011-05-12 2017-12-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Autostereoscopic screen and method for reproducing image information
KR101322910B1 (ko) * 2011-12-23 2013-10-29 한국과학기술연구원 다수의 관찰자에 적용가능한 동적 시역 확장을 이용한 다시점 3차원 영상표시장치 및 그 방법
FR2988491B1 (fr) 2012-03-21 2014-04-18 Alioscopy Procede d'affichage d'une image autostereoscopique.
FR2994044B1 (fr) 2012-07-24 2017-05-12 Alioscopy Procede d'affichage auto-stereoscopique sur un ecran ayant sa plus grande dimension dans le sens vertical.
FR2995713B1 (fr) 2012-09-14 2015-07-17 Alioscopy Ecran d'affichage, en particulier pour autostereoscopie.
GB2527549A (en) * 2014-06-25 2015-12-30 Sharp Kk Image data redundancy for high quality 3D

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002519897A (ja) * 1998-06-20 2002-07-02 クリストフ グロスマン, 自動立体画像のための方法および装置
JP2008249809A (ja) * 2007-03-29 2008-10-16 Toshiba Corp 三次元画像表示装置及び三次元画像の表示方法
JP2011101366A (ja) * 2009-11-04 2011-05-19 Samsung Electronics Co Ltd アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法
JP2012255922A (ja) * 2011-06-09 2012-12-27 Axell Corp 視差画像情報処理方法
JP2015515165A (ja) * 2012-02-16 2015-05-21 ディメンコ ビー.ヴィー.Dimenco B.V. 裸眼立体ディスプレイ装置及び駆動方法
JP2013186221A (ja) * 2012-03-07 2013-09-19 Japan Display West Co Ltd 表示装置および電子機器
DE102016202431A1 (de) * 2016-02-17 2017-08-31 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Autostereoskopischer Bildschirm und dessen Verwendung zum Wiedergeben dreidimensional wahrnehmbarer Bilder

Also Published As

Publication number Publication date
US10819975B2 (en) 2020-10-27
CA3076977A1 (fr) 2019-04-04
KR20200061388A (ko) 2020-06-02
CN111095080B (zh) 2022-07-26
WO2019063897A1 (fr) 2019-04-04
FR3071625B1 (fr) 2019-09-27
EP3688518A1 (fr) 2020-08-05
SG11202001395YA (en) 2020-03-30
US20190124324A1 (en) 2019-04-25
FR3071625A1 (fr) 2019-03-29
CN111095080A (zh) 2020-05-01
JP7335233B2 (ja) 2023-08-29

Similar Documents

Publication Publication Date Title
EP2811746B1 (en) Glasses-free 3d image display device for flattening field of view and minimizing dynamic crosstalk
CN103595988B (zh) 立体图像显示装置、图像处理装置及图像处理方法
CN102801999B (zh) 基于裸眼3d显示技术的合成算法
US20130127832A1 (en) 3D DlSPLA Y SYSTEM
EP2475180A2 (en) Image providing apparatus and image providing method based on user's location
CN103235415A (zh) 基于光栅的多视点自由立体显示器
KR20130036198A (ko) 자동입체 디스플레이 및 그 제조방법
JP7335233B2 (ja) 2つのビューポイントのオートステレオスコピックイメージをnビューポイントのオートステレオスコピックディスプレイスクリーンに表示するためのシステム及び方法並びにそのようなディスプレイスクリーン上の表示を制御する方法
CN104079913A (zh) 光栅式立体显示器兼容2d-3d显示的子像素排列方法、装置
KR20160028596A (ko) 입체 영상 표시 장치
KR20130075253A (ko) 픽셀 매핑을 이용한 입체영상 디스플레이 방법 및 그 장치
KR20120070363A (ko) 입체영상표시장치 및 그 구동방법
Minami et al. Portrait and landscape mode convertible stereoscopic display using parallax barrier
US20100177382A1 (en) Autostereoscopic image display appliance for producing a floating real stereo image
KR101544841B1 (ko) 3중 분할 사선형 시차장벽을 구비한 다시점 입체영상 표시장치
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
KR100893381B1 (ko) 실시간 입체영상 생성방법
KR101239316B1 (ko) 인터렉티브한 3차원 디스플레이 시스템
KR101288120B1 (ko) 관찰자에게 최적시청영역을 표시해주는 3차원 디스플레이 시스템
KR102279277B1 (ko) 다수의 시청자에게 최적의 3d을 제공할 수 있는 입체영상표시장치 및 입체영상 표시방법
KR20170121805A (ko) 회전된 렌티큘러시트를 부착한 디스플레이에 표시되는 요소영상콘텐츠 생성 방법
Park et al. 3D display simulator based on mixed reality
de la Barré et al. A new design and algorithm for lenticular lenses display
KR101555974B1 (ko) 렌즈어레이를 이용한 테이블탑형 3차원 디스플레이 시스템
KR101238824B1 (ko) 인터렉티브한 3차원 디스플레이 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220614

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220913

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230509

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230530

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230817

R150 Certificate of patent or registration of utility model

Ref document number: 7335233

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150