JP2011525075A - 移動機器用立体画像生成チップ及びこれを用いた立体画像表示方法 - Google Patents

移動機器用立体画像生成チップ及びこれを用いた立体画像表示方法 Download PDF

Info

Publication number
JP2011525075A
JP2011525075A JP2011513416A JP2011513416A JP2011525075A JP 2011525075 A JP2011525075 A JP 2011525075A JP 2011513416 A JP2011513416 A JP 2011513416A JP 2011513416 A JP2011513416 A JP 2011513416A JP 2011525075 A JP2011525075 A JP 2011525075A
Authority
JP
Japan
Prior art keywords
image
stereoscopic
pseudo
mobile device
combination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011513416A
Other languages
English (en)
Inventor
ヨン ホン イ
ヨン ビ ジュン
Original Assignee
マスターイメージ 3ディー アジア リミテッド ライアビリティ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マスターイメージ 3ディー アジア リミテッド ライアビリティ カンパニー filed Critical マスターイメージ 3ディー アジア リミテッド ライアビリティ カンパニー
Publication of JP2011525075A publication Critical patent/JP2011525075A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers

Abstract

本発明は、移動機器用立体画像生成チップ及びこれを用いた立体画像表示方法に関するものである。本発明は、移動機器に挿入された立体画像生成チップを用いて立体画像をディスプレイし、撮影された左側画像と右側画像を直ちに交互に配置する形態で合成して格納/画像処理するのでなく、サイド―バイ―サイド方式で連結して格納/画像処理を行い、以後、ディスプレイ段階で立体画像生成チップの左右画像を交互に配置する合成段階を通して、ディスプレイされる立体画像の品質を向上させることができる。また、上述した立体画像生成チップを通して、一般の2D画像の3Dディスプレイが可能である。

Description

本発明は、移動機器を用いた立体画像生成チップ及びこれを用いた立体画像表示方法に関するもので、より具体的には、移動機器内の立体画像生成チップの立体画像処理機能を強化することによって立体画像の品質を向上させ、2Dイメージを3Dとして認識できるように処理する技術に関するものである。
一般に、立体画像(又は3D画像)を具現する方法は、人間の二つの目に互いに異なる画像を照明することによって具現され、立体画像表示装置は、このように二つの目に互いに異なる画像を照明するために別途の眼鏡着用が必要であるかどうかによって、大きく眼鏡式立体画像表示装置と非眼鏡式(裸眼方式)立体画像表示装置に区分される。
眼鏡式立体画像表示装置によれば、観察者が特殊の眼鏡を着用すべきであるという不便さがあるが、非眼鏡式立体画像表示装置によれば、上述した眼鏡を着用せずに直接スクリーンを注視するだけで立体画像を感じることができ、眼鏡式立体画像表示装置の短所を解消することができる。そのため、非眼鏡式立体画像表示装置に対する研究が大いに進行されている。非眼鏡式立体画像表示装置は、レンチキュラ(lenticular)方式による装置とパララックス―バリア(parallax―barrier)方式による装置に大きく区分される。
以下、パララックス―バリア方式による立体画像表示装置の動作を図1及び図2を参照して説明する。
図1は、パララックス―バリアを用いた立体画像表示装置の断面図で、図2は、パララックス―バリアを用いた立体画像表示装置の斜視図である。
パララックス―バリア方式による立体画像表示装置は、図1及び図2に示すように、左/右の二つの目にそれぞれ対応する垂直方向(図2のY―Y'方向)に向かう左側画像(L)と右側画像(R)を水平方向(図2のX―X'方向)に交互に配置したディスプレイモジュール10と、この前側に配置した、バリア20と呼ばれる垂直方向に向かう棒状の遮断膜と、を含む。このような立体画像表示装置は、図1に示すように、左側画像(L)に該当する光は左眼のみに入射され、右側画像(R)に該当する光は右眼のみに入射されるように前記ディスプレイモジュール10及びバリア20を配置し、これを通して、分割された2個の左側及び右側画像(L、R)が分離された状態で観測され、立体感を感じさせる方式である。
上述したような立体画像を具現するためには、左側画像と右側画像が交互に配置されて格納された立体画像コンテンツが必要である。ただし、現在、このような立体画像コンテンツは、立体画像を撮影するための装備が高価でかつ大衆化されていないので、特定サービス提供者のみによって提供されており、一般のユーザによって広く活性化されていない。
したがって、携帯電話を含む既存の移動機器を用いて高い品質の立体画像を容易に生成する技術に対する期待が大きい。また、ユーザが一定程度の立体感を感じるように既存の2Dイメージを調整してディスプレイすることができれば、3D技術に対する需要が増大するはずである。
併せて、立体画像の場合、左右側画像の特殊な処理方式によって圧縮及び圧縮されたイメージのデコーディングにおける品質が左右されるので、立体画像コンテンツの特性に合う立体画像生成チップ又はモジュールが必要である。
韓国特許出願第2005−0127631号
上述したような問題を解決するために、本発明の目的は、既存のカメラモジュールを2個装着した移動機器を用いて一般ユーザが容易に立体画像コンテンツを製作するとともに、立体画像の撮影時、実際にディスプレイされる立体画像を確認し、深さ感を調節しながらコンテンツを生成することによって、より高い品質の立体画像を製作する方法を提供することにある。
特に、本発明では、上述した移動機器を用いた立体画像を、移動機器に装着された立体画像生成チップを用いて生成し、立体画像コンテンツ固有の特性を考慮した上で画像処理手順を改善することによって、ディスプレイされる立体画像の品質を簡単に向上させる方法を提供しようとする。
併せて、ユーザが一定程度の立体感を感じるように既存の2D画像をディスプレイすることによって、立体画像技術の活用度を増加させる方法を提供しようとする。
上述したような目的を達成するための本発明の一実施形態では、画像処理が可能なバックエンド及び2個のカメラモジュールを含む移動機器に挿入された立体画像生成チップを通して立体画像を表示する方法であって、(1)前記移動機器の2個のカメラモジュールを通して撮影された左側画像と右側画像を前記立体画像生成チップに入力する段階、(2)前記入力された左側画像と右側画像を前記立体画像生成チップによってサイド―バイ―サイド方式で連結し、これら画像を前記移動機器のバックエンドに出力する段階、(3)前記バックエンドで画像処理された、サイド―バイ―サイド方式で連結された左側画像と右側画像を前記バックエンドから前記立体画像生成チップに入力する段階、(4)前記立体画像生成チップを通して、前記左側画像と前記右側画像を縦方向の複数のイメージにそれぞれ分割し、前記左側画像が分割された複数のイメージと前記右側画像が分割された複数のイメージをそれぞれ交互に配置する方式で合成する段階、及び(5)前記合成されたイメージをパララックスバリア又はレンチキュラレンズアレイを含む立体画像ディスプレイモジュールを通してディスプレイする段階によって立体画像を表示する方法を提案する。
このとき、前記(5)段階の前に、(4―1)前記合成されたイメージ内で、前記左側画像が分割された複数のイメージと前記右側画像が分割された複数のイメージをそれぞれ左右方向のうち互いに異なる方向にシフトさせることによって深さ感を調整する段階をさらに含むことができる。ここで、「深さ感」とは、画像がスクリーンに比べて突出したり、画像がスクリーンの後方に位置するとユーザによって認識される程度を意味するものと仮定する。
また、前記(3)段階が、前記バックエンドで画像処理された2次元画像を前記立体画像生成チップに入力する段階を含み、前記(4)段階が、前記2次元画像を前記立体画像生成チップを通して縦方向の複数のイメージに分割し、前記分割された複数のイメージを擬似(pseudo)左側画像イメージ組み合わせと擬似右側画像イメージ組み合わせとして順次交互にマッピングする段階を含み、前記(4―1)段階が、前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせを左右方向のうち互いに異なる方向にシフトさせることによって深さ感を調整する段階を含み、前記(5)段階が、前記深さ感が調整された前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせを前記立体画像ディスプレイモジュールを通してディスプレイする段階を含むように設定することによって、一般の2D画像も、ユーザが立体感を感じるようにディスプレイすることができる。
また、前記(4―1)段階は、前記移動機器の液晶にディスプレイされる立体画像を確認したユーザが前記移動機器の入力装置を通して入力した制御情報によって、前記左側画像が分割された複数のイメージ又は前記擬似左側画像イメージ組み合わせ、及び前記右側画像が分割された複数のイメージ又は前記擬似右側画像イメージ組み合わせを前記互いに異なる方向にシフトさせる程度を決定して行われることが望ましい。
また、前記(2)段階では、前記立体画像生成チップのカウンターから生成された時間同期を用いて、前記入力された左側画像と右側画像の撮影時間同期に合わせて、前記入力された左側画像と右側画像を連結することができる。具体的に、前記2個のカメラモジュールは、待機(Ready)又は電源解除(power down)のうち一つ以上の機能を含む一時停止機能を含み、前記(2)段階では、前記2個のカメラモジュールから入力された前記左側画像と前記右側画像の同期が合わない場合、前記2個のカメラモジュールの前記一時停止機能を使用して前記左側画像と前記右側画像を一時停止させた後、同期が合うように前記左側画像と前記右側画像を同時に再開する段階を含むように設定されることもある。
一方、上述したような課題を解決するための本発明の他の一実施形態では、2次元画像を縦方向の複数のイメージに分割し、前記分割された複数のイメージを擬似左側画像イメージ組み合わせと擬似右側画像イメージ組み合わせとして順次交互にマッピングする段階、前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせをそれぞれ左右方向のうち互いに異なる方向にシフトさせることによって深さ感を調整する段階、及び前記深さ感が調整された擬似左側画像イメージ組み合わせ及び擬似右側画像イメージ組み合わせをパララックスバリア又はレンチキュラレンズアレイを含む立体画像ディスプレイモジュールを通してディスプレイする段階を含む二次元画像の立体画像表示方法を提供する。
このとき、前記2次元画像は、前記移動機器の画像処理が可能なバックエンドで画像処理された後、前記移動機器に設置された立体画像生成チップに入力された2次元画像であって、前記マッピング段階及び前記深さ感調整段階は、前記立体画像生成チップによって行われる。
また、前記深さ感調整段階は、移動機器の液晶にディスプレイされる立体画像を確認したユーザが前記移動機器の入力装置を通して入力した制御情報によって、前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせを前記互いに異なる方向にシフトさせる程度を決定して行われる。
一方、上述したような課題を解決するための本発明の更に他の一実施形態では、画像処理が可能なバックエンド及び2個のカメラモジュールを含む移動機器に挿入され、立体画像表示機能を行う立体画像生成チップであって、前記移動機器の2個のカメラモジュールを通して撮影された左側画像と右側画像の入力を受けるためのカメラ入力部と、前記入力された左側画像と右側画像をサイド―バイ―サイド方式で連結する処理を行う画像連結モジュールと、前記画像連結モジュールによってサイド―バイ―サイド方式で連結された前記左側画像と右側画像を前記移動機器のバックエンドに出力するためのカメラ出力部と、前記バックエンドで画像処理された、サイド―バイ―サイド方式で連結された左側画像と右側画像の入力を前記バックエンドから受けるためのディスプレイ入力部と、前記サイド―バイ―サイド方式で連結された左側画像と右側画像を縦方向の複数のイメージにそれぞれ分割し、前記左側画像が分割された複数のイメージと前記右側画像が分割された複数のイメージをそれぞれ交互に配置する方式で合成する合成モジュールと、前記合成モジュールを通して合成されたイメージをパララックスバリア又はレンチキュラレンズアレイを含む立体画像ディスプレイモジュールに出力するためのディスプレイ出力部と、を含む移動機器用立体画像生成チップを提供する。
このとき、前記合成モジュールによって合成された前記イメージ内で前記左側画像が分割された複数のイメージと前記右側画像が分割された複数のイメージをそれぞれ左右方向のうち互いに異なる方向にシフトさせることによって、深さ感を調整する深さ感調整モジュールをさらに含むことができる。
また、前記ディスプレイ入力部は、前記バックエンドで画像処理された2次元画像の入力を追加で受け、前記合成モジュールは、前記2次元画像を縦方向の複数のイメージに分割し、前記分割された複数のイメージを擬似左側画像イメージ組み合わせと擬似右側画像イメージ組み合わせとして順次交互にマッピングする機能を追加で行い、前記深さ感調整モジュールは、前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせをそれぞれ左右方向のうち互いに異なる方向にシフトさせることによって深さ感を調整する機能を追加で行い、前記ディスプレイ出力部は、前記深さ感調整モジュールによって深さ感が調整された前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせを前記立体画像ディスプレイモジュールに出力する機能を追加で行うことができる。
また、前記深さ感調整モジュールは、前記移動機器の液晶にディスプレイされる立体画像を確認したユーザが前記移動機器の入力装置を通して入力した制御情報によって、前記左側画像が分割された複数のイメージ又は前記擬似左側画像イメージ組み合わせ、及び前記右側画像が分割された複数のイメージ又は前記擬似右側画像イメージ組み合わせを前記互いに異なる方向にシフトさせる程度を決定して深さ感調整を行うものである。
併せて、前記立体画像生成チップの時間同期を生成するためのカウンターをさらに含み、前記画像連結モジュールは、前記カウンターから生成された時間同期を用いて、前記入力された左側画像と右側画像の撮影時間同期に合わせて、前記入力された左側画像と右側画像を連結するものである。具体的に、前記2個のカメラモジュールは、待機(Ready)又は電源解除(power down)のうち一つ以上の機能を含む一時停止機能を含み、前記画像連結モジュールは、前記2個のカメラモジュールから入力を受けた前記左側画像と前記右側画像の同期が合わない場合、前記2個のカメラモジュールの前記一時停止機能を使用して前記左側画像と前記右側画像を一時停止させた後、同期が合うように前記左側画像と前記右側画像を同時に再開することによって、前記左側画像と右側画像の撮影時間同期に合わせて連結するものである。
最後に、上述したような課題を解決するための本発明の更に他の一実施形態では、2次元画像を縦方向の複数のイメージに分割し、前記分割された複数のイメージを擬似左側画像イメージ組み合わせと擬似右側画像イメージ組み合わせとして順次交互にマッピングする合成モジュールと、前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせを左右方向のうち互いに異なる方向にシフトさせることによって深さ感を調整する深さ感調整モジュールと、前記深さ感が調整された擬似左側画像イメージ組み合わせ及び擬似右側画像イメージ組み合わせをパララックスバリア又はレンチキュラレンズアレイを含む立体画像ディスプレイモジュールに出力するディスプレイ出力部と、を含む移動機器用立体画像生成チップを提案する。
このとき、前記2次元画像は、前記移動機器の画像処理が可能なバックエンドで画像処理された後、前記立体画像生成チップに入力された2次元画像である。
併せて、前記深さ感調整モジュールは、前記移動機器の液晶にディスプレイされる立体画像を確認したユーザが前記移動機器の入力装置を通して入力した制御情報によって、前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせを前記互いに異なる方向にシフトさせる程度を決定し、前記深さ感調整を行うものである。
上述したような本発明の実施形態によれば、既存の2個のカメラモジュールを装着した移動機器を用いて一般ユーザが容易に立体画像コンテンツを製作するとともに、立体画像の撮影時、実際にディスプレイされる立体画像を確認し、深さ感を調節しながらコンテンツを生成することによって、より高い品質の立体画像を製作することができる。
特に、上述した移動機器を用いた立体画像を、移動機器に装着された立体画像生成チップを用いて生成し、立体画像コンテンツ固有の特性、すなわち、左側画像と右側画像が交互に配置された形態でなければならないという特性及びこれに対する画像処理時の影響を考慮した上で画像処理手順を改善することによって、ディスプレイされる立体画像の品質を簡単に向上させることができる。
併せて、ユーザが一定程度の立体感を感じるように既存の2D画像をディスプレイすることによって、立体画像技術の活用度を増加させることができる。
パララックス―バリアを用いた立体画像表示装置の断面図である。 パララックス―バリアを用いた立体画像表示装置の斜視図である。 2個のカメラモジュールを用いて撮影した左側画像と右側画像をそれぞれ示した図である。 2個のカメラモジュールを用いて撮影した左側画像と右側画像を立体画像生成チップで合成した画像を示した図である。 移動機器に挿入された立体画像生成チップを用いて立体画像をディスプレイする一般的な方法を説明するための図である。 本発明の一実施形態によって、移動機器に挿入された立体画像生成チップを用いて立体画像をディスプレイする方法を説明するための図である。 本発明の一実施形態によって、撮影された左側画像と右側画像の深さ感を立体画像生成チップによって調節する原理を説明するための図である。 本発明の一実施形態によって2次元イメージを3次元的に示すための方法を説明する図である。 本発明の一実施形態に係る立体画像生成チップが2D画像及び/又は3D画像を処理する概念を示した概念図である。 本発明の一実施形態によって、メモリモジュールがない場合、2個のカメラモジュールを通して撮影した左側画像と右側画像の同期を合わせる方法を説明するための図である。 本発明の一実施形態に係る立体画像生成チップの移動機器内の配置関係を説明するための図である。
以下、本発明に係る好適な実施形態を添付の図面を参照して詳細に説明する。添付の図面と共に以下で開示する詳細な説明は、本発明の例示的な実施形態を説明するためのものであって、本発明が実施され得る唯一の実施形態を示すためのものではない。
以下の詳細な説明は、本発明の完全な理解を提供するために具体的な詳細事項を含む。しかし、当業者であれば、本発明がこのような具体的な詳細事項なしも実施され得ることを知ることができる。いくつかの場合、本発明の概念が曖昧になることを避けるために、公知の構造及び装置が省略されたり、各構造及び装置の核心機能を中心にしたブロック図の形式で示される。また、本明細書全般にわたって同一の構成要素については、可能な限り、同一の図面符号を使用して説明する。
図3は、2個のカメラモジュールを用いて撮影した左側画像と右側画像をそれぞれ示した図である。
本発明の一実施形態によれば、画像撮影機能を有する携帯電話などの既存の移動機器用カメラモジュールを2個用いて図3の(1)のような左側画像(L)と図3の(2)のような右側画像(R)をそれぞれ撮影する。一方、既存の画像処理機能を有する移動機器は、1個のカメラモジュールを通して撮影された画像を前記移動機器のバックエンドチップセット(back―end chipset)又は簡単にバックエンドを通して処理する機能のみを含み、本発明の一実施形態で意図するように、2個のカメラモジュールを通して撮影された左側画像と右側画像をこれらの同期を合わせて合成し、立体感を調整することができない。したがって、本発明の一実施形態では、このような移動機器に立体画像生成チップを挿入し、これを通して立体画像を生成することができる。
一方、図3に示すような左側画像(L)と右側画像(R)は、停止画像又は動画像であり、それぞれのカメラモジュールを通した一般的な画像コンテンツに該当する。また、それぞれのカメラモジュールは、CMOS又はCCDをサポートすることができ、これは選択的な事項に該当する。
図4は、2個のカメラモジュールを用いて撮影した左側画像と右側画像を立体画像生成チップで合成した画像を示した図である。
具体的に、図3の(1)及び(2)に示すような2個のカメラモジュールによって撮影された左側画像と右側画像は、立体画像生成チップに入力され、それぞれ縦方向の列単位で分割され、横方向に交互に配置されて合成される。このように空間的に交互に配置された左右画像は、図1及び図2のようなパララックスバリアを用いたディスプレイモジュールを通してユーザの左眼には左側画像のみが見え、右眼には右側画像のみが見えるようになり、全体的に立体画像として認知されるようになる。
以下では、このような立体画像生成方法に関する一般論に基づいて移動機器に立体画像生成チップを挿入して立体画像を生成し、立体画像コンテンツの固有特性を考慮した上で、高い品質の立体画像ディスプレイを可能にする改善された立体画像生成チップ及びこれを用いた方法について説明する。このために、まず、移動機器に挿入された立体画像生成チップを用いて立体画像を生成する一般的な方法及びその問題を説明する。
図5は、移動機器に挿入された立体画像生成チップを用いて立体画像をディスプレイする一般的な方法を説明するための図である。
一般的に、移動機器を用いた立体画像の生成のためには、既存の移動機器に装着されたカメラモジュールを2個(401a、401b)に拡張し、既存の移動機器で処理不可能な立体画像合成などの機能を行うために立体画像生成チップ402の挿入が必要である。もちろん、既存のバックエンド403に対応するモジュールにソフトウェア形式で立体画像生成チップ402の機能を追加することも可能であり、本発明がこれを排除することはない。すなわち、本発明の各実施形態に係る方法は、立体画像生成チップによって行われたり、全体の段階又は部分的な段階がソフトウェア的に行われる。ただし、本発明の好適な一実施形態では、立体画像の合成及び処理過程を別途の立体画像生成チップによるハードウェア的な処理を通して行うことによって処理速度を増加させ、より安定的に立体画像を生成する方法を考慮する。
まず、2個のカメラモジュール401a、402bは、人間の左右側目に対応して左側画像(L)と右側画像(R)をそれぞれ撮影し、これら画像を立体画像生成チップ402に伝達する。左側画像(L)及び右側画像(R)を受けた立体画像生成チップ402は、以後、図4に示すように、左右側画像を横方向に交互に配置する方式で合成し、合成画像(C)を生成することができる。このように生成された合成画像(C)は、以後、移動機器のバックエンド403に伝達される。
このように合成画像(C)を受けた移動機器のバックエンド403は、合成画像(C)に対する多様な画像処理を行う。このような画像処理には、画像の圧縮過程、圧縮されたコンテンツの格納過程、格納された画像のデコーディング過程などが含まれる。
これらのうち画像の圧縮方式としては、停止画像と動画像によって多様な方式が規定されている。簡単な説明のために、以下では、停止画像に対する圧縮方式を例に挙げて概略的に説明する。
停止画像に対する圧縮は、画像を小さいピクセル単位で細分化し、各ピクセルの画像データ値を予め定められた順に判読した後、各判読データ値の連続した形態を、一定の基準によって定められたコード値にマッピングして圧縮するようになる。このとき、画像圧縮において「0」の反復は重要な意味を有し、例えば、「0」が10回反復された形態は、「0」を10回並べるのでなく、反復される「0」の回数を別途の信号値として示すことによって画像データを圧縮することができる。
ただし、図4に示すように、左側画像(L)と右側画像(R)が交互に反復された立体画像コンテンツの場合、左側画像と右側画像との間に多数の境界領域を有し、これら境界領域は、画像の不連続性を増加させるようになる。このように画像の不連続性が増加する場合、これによって画像圧縮過程での圧縮率が減少するようになり、圧縮されたコンテンツの容量が増加するようになる。したがって、立体画像コンテンツの格納のために、容量の大きい格納媒体が必要になる。また、分けられた各画素の相関度の減少と伴い、圧縮された画像の品質が減少するようになる。
一方、格納媒体に格納された立体画像コンテンツは、デコーディング過程を経てディスプレイモジュール404を通してディスプレイされる。このようなデコーディング過程においても、各コンテンツデータ間の低い相関度によってデコーディング画像の品質が低下するおそれがある。したがって、図5において、バックエンド403から立体画像ディスプレイモジュール404に伝達されるデコーディング画像(C')は、同一の条件下でも、2D画像に比べて品質が低下するようになる。
したがって、本発明の一実施形態では、移動機器のバックエンドに伝達される立体画像コンテンツの上述した不連続性又は低い相関度による上述した問題を解決するために、次のような方式を提案する。
図6は、本発明の一実施形態によって、移動機器に挿入された立体画像生成チップを用いて立体画像をディスプレイする方法を説明するための図である。
本実施形態においても、移動機器に装着された2個のカメラモジュール401a、401bは、左側画像(L)と右側画像(R)をそれぞれ撮影し、これら画像を立体画像生成チップ502に伝達する(S501)。ただし、本実施形態に係る立体画像生成チップ502は、この左側画像(L)と右側画像(R)を直ちに図4に示すようにL、R、L、R、…の反復形態で合成するのでなく、左側画像全体と右側画像全体をサイド―バイ―サイド方式で合成することを提案する。以下で、「サイド―バイ―サイド」方式は、2以上の画像が左右側方向にそのまま連結された形態を称するものと規定する。2個のカメラモジュール401a、401bを通して撮影された左側画像(L)と右側画像(R)が動画像である場合、これら画像は、立体画像生成チップ502のカウンターを用いて時間同期に合わせて連結されるが、これについては後で説明する。このようにサイド―バイ―サイド方式で連結された左側画像(L)と右側画像(R)は、以後、移動機器のバックエンド403に伝達され(S502)、これについては、上述したような多様な画像処理が行われる。
サイド―バイ―サイド方式で左側画像(L)と右側画像(R)が連結された立体画像コンテンツの場合、左側画像(L)と右側画像(R)が図4に示すように交互に配置された立体画像コンテンツに比べて画像データの不連続性が小さいので、高い圧縮率を獲得することができる。これによって、圧縮された画像の容量がより小さくなり、限定されている移動機器の格納媒体により多くのコンテンツを格納することができる。また、画像データの高い相関度によって、圧縮及びデコーディング過程での画像データ損失を減少させることができる。
一方、本実施形態では、上述したような圧縮、格納、デコーディングなどの画像処理過程を経た立体画像コンテンツが、以後、再び立体画像生成チップ502に入力されるように設定することを提案する(S503)。すなわち、図4に示すように、移動機器内で一般的な立体画像ディスプレイ過程でバックエンドで画像処理された立体画像が直ちに立体画像ディスプレイモジュール404に伝達されていたのに反して(すなわち、立体画像ディスプレイモジュール駆動機能が立体画像生成チップでない移動機器のバックエンドにあるのに反して)、本実施形態では、立体画像ディスプレイモジュール駆動機能を立体画像生成チップ502が含むことを提案する。また、本実施形態に係る立体画像生成チップ502は、次のように立体画像コンテンツの合成機能を追加で行うことが要求される。
すなわち、バックエンド403で画像処理された、サイド―バイ―サイド方式で連結された立体画像コンテンツ(Sc')は、パララックス―バリア又はレンチキュラ方式の立体画像ディスプレイモジュール404のディスプレイ方式に合わせて左側画像と右側画像が交互に配置された形態に変換されることが望ましい。これによって、本実施形態に係る立体画像生成チップ502は、入力された立体画像コンテンツの左側画像(L)部分と右側画像(R)部分を縦方向の複数のイメージにそれぞれ分割し、左側画像が分割された複数のイメージと右側画像が分割された複数のイメージをそれぞれ横方向に交互に配置する方式で合成するようになる。このように合成された立体画像コンテンツ(Ic)は立体画像ディスプレイモジュール404に伝達され、図1〜図3と関連して説明したようなパララックス―バリア方式の立体画像ディスプレイ又はレンチキュラレンズアレイ方式の立体画像ディスプレイが行われる(S504)。
上述したように、本実施形態によって立体画像コンテンツの容量を減少させ、より高い品質の立体画像表示が可能になる。ただし、ディスプレイ手段及びユーザによって認知される立体感が互いに異なることがある。すなわち、ユーザによっては、より強い深さ感を感じることを望む場合もあり、認知過程での不便さなどの理由でより弱い深さ感を感じることを望む場合もある。ここで、「深さ感」とは、画像がスクリーンと比べて突出したり、画像がスクリーンの後方に位置するとユーザによって認識される程度を意味するものと仮定する。したがって、本発明の好適な一実施形態では、ユーザが立体画像を確認し、それぞれのユーザに合わせて深さ感を別途に調整することによって、より効率的に立体感を感じさせることができる。
図7は、本発明の一実施形態によって、撮影された左側画像と右側画像の深さ感を立体画像生成チップによって調節する原理を説明するための図である。
図7に示すように、立体画像を構成する左側画像と右側画像の合成位置によって、ユーザは、該当の事物がスクリーン401の前面(例えば、左側画像と右側画像が「402」と示された位置)に位置するものと認知したり、スクリーン401の後面(例えば、左側画像と右側画像が「403」と示された位置)に位置するものと認知することができる。本発明の一実施形態によれば、上述したように合成された左側画像と右側画像の左右配置の相対的なシフトを通して深さ感を調整することによって、ユーザによって立体感を調整することを提案する。
このような左側画像と右側画像の合成及び相対的なシフトを通した立体感の調整は、既存の移動機器の構成において、本発明の一実施形態に係る立体画像生成チップの立体画像プロセッサ、具体的に、立体画像プロセッサの立体感調整モジュールを通して具現されたり、又は、移動機器に設置されるソフトウェアによって具現されるが、これについては後で説明することにする。
具体的に、合成された左側画像と右側画像の配置関係によってスクリーン401の前面(「402」と示された位置)に事物が位置すると認知される場合、右側画像を左右方向のうち右側方向である「A」方向にシフトし、左側画像を左側方向である「A'」方向にシフトすれば、ユーザには、左右画像間の間隔によってこれら左側画像と右側画像が「402a」と示された位置に位置すると認知され、結果的に、事物がさらにスクリーン401から遠ざかる方向(すなわち、「a」方向)に移動するのと同一の効果を有するようになる。また、同一の画像内でスクリーン401の後面(「403」と示された位置)に位置すると認知される事物に対して、右側画像を「A」方向にシフトし、左側画像を「A'」方向にシフトすれば、ユーザには、左右画像間の間隔によってこれら右側画像と右側画像が「403a」と示された位置に位置すると認知され、結果的に、事物がスクリーン401側(すなわち、「a」方向)に移動するのと同一の効果を有するようになる。
結局、右側画像を「A」方向にシフトし、左側画像を「A'」方向にシフトする場合、事物を全体的に「a」方向に移動させる効果を有するようになり、全体的な深さ感を調整することができる。
その一方、スクリーン401の前面(「402」と示された位置)に事物が位置すると認知される場合、右側画像を左側方向である「B」方向に、左側画像を右側方向である「B'」方向に互いに反対方向にシフトすれば、ユーザには、これら画像が「402b」の位置に位置すると認知され、結果的に、スクリーン401側(すなわち、「b」方向)に移動するのと同一の効果を有するようになる。また、スクリーン401の後面(「403」示された位置)に事物が位置すると認知される場合も、右側画像を「B」方向にシフトし、左側画像を「B'」方向にシフトすれば、ユーザには、これら画像が「403b」の位置に位置すると認知され、結果的に、スクリーン401から遠ざかる方向(すなわち、「b」方向)に移動するのと同一の効果を有するようになる。
結局、右側画像を「B」方向にシフトし、左側画像を「B'」方向にシフトする場合、事物を全体的に「b」方向に移動させる効果を有するようになり、全体的な立体感を調整することができる。
図7と関連して説明したような深さ感の調整は、本発明の一実施形態で、移動機器の液晶を通して撮影された立体画像の立体感を確認しながら行うことができ、これによって、ディスプレイモジュール及びユーザによって異なるように要求される立体感を調整し、立体画像を生成することができる。
このように、格納されたコンテンツは、深さ感が調整されて直ちにディスプレイされたり、深さ感が調整された状態で再び格納され、以後の再生時に直ちに用いることもできる。これを通して、本実施形態に係る立体画像生成方法及び立体画像生成チップは、各ユーザの条件に合わせて最適化された立体画像をディスプレイすることができる。
併せて、図7に示すような深さ感の調整方式は、次のように2D画像の深さ感を任意に調整し、ユーザが一定程度の立体感を感じるように2D画像をディスプレイすることができ、このような技術は、以下で本発明の更に他の一実施形態として説明する。
図8は、本発明の一実施形態によって2次元イメージを3次元的に示すための方法を説明する図である。
図8の(a)に示した2D画像は、移動機器のバックエンドで画像処理された2D画像であったり、移動機器のいずれか一つのカメラモジュールを通して撮影された画像であったり、他の媒体によって画像処理された画像である。このような2D画像の入力を受けた本実施形態に係る立体画像生成チップは、まず、2次元画像を図8の(a)に示すように縦方向の複数のイメージに分割し、分割されたそれぞれの画像部分を左側画像部及び右側画像部として順次交差的にマッピングする。以下の説明においては、撮影された左側画像と右側画像が交互に配置された元の形態と容易に区分するために、上述したように2D画像を分割し、左側画像部分にマッピングされた組み合わせを「擬似(Pseudo)左側画像イメージ組み合わせ」と称し、右側画像部分にマッピングされた組み合わせを「擬似右側画像イメージ組み合わせ」と称することにする。このような擬似左側画像イメージ組み合わせ及び擬似右側画像イメージ組み合わせによって、図8の(b)及び(c)に示すように深さ感が調整される。
図8の(b)は、擬似左側画像イメージ組み合わせを右側方向に、擬似右側画像イメージ組み合わせを左側方向に相対的にシフトすることを示している。このように擬似左側画像イメージ組み合わせを右側方向にシフトし、擬似右側画像イメージ組み合わせを左側方向にシフトする場合、図7に示した形態では、画像がスクリーンの後方に移動する方向(すなわち、「b」方向)に移動するようになる。
また、図8の(c)は、擬似左側画像イメージ組み合わせを左側方向に、擬似右側画像イメージ組み合わせを右側方向に相対的にシフトすることを示している。このように擬似左側画像イメージ組み合わせを左側方向にシフトし、擬似右側画像イメージ組み合わせを右側方向にシフトする場合、図7に示した形態では、画像がスクリーンの前方に移動する方向(すなわち、「a」方向)に移動するようになる。このような方式で深さ感が調整された擬似左側画像イメージ組み合わせ及び擬似右側画像イメージ組み合わせによって、パララックス―バリア方式又はレンチキュラアレイ方式の立体画像ディスプレイモジュールを通して擬似左側画像イメージ組み合わせが左眼のみに照明され、擬似右側画像イメージ組み合わせが右眼のみに照明されることによって、ユーザは立体感を感じるようになる。
このような2D画像の立体化は、上述した一般の3D画像ディスプレイと独立した形態又は結合された形態で使用される。
図9は、本発明の一実施形態に係る立体画像生成チップが2D画像及び/又は3D画像を処理する概念を示した概念図である。
すなわち、本発明に係る立体画像生成チップ502'は、移動機器のバックエンドからサイド―バイ―サイド方式で左右側画像が結合された3Dコンテンツ又は一般の2Dコンテンツを受けることができる。このとき、3Dコンテンツ/2Dコンテンツは、望ましくはバックエンドで画像処理されたコンテンツである。このようなコンテンツを受けた立体画像生成チップ502'は、3Dコンテンツに対しては、左側画像部と右側画像部を複数のイメージに分割し、これらを交互に配置して合成する処理を行い、2Dコンテンツに対しては、図8と関連して説明したように縦方向に分割された複数のイメージをそれぞれ擬似左側画像イメージ組み合わせ及び擬似右側画像イメージ組み合わせにマッピングする処理を行うことができる。これによって、立体画像ディスプレイモジュールに出力される画像(Ic')は、左側画像/擬似左側画像と右側画像/擬似右側画像が交互に配置された形態を有するようになり、その結果、パララックスバリア/レンチキュラレンズアレイ方式のディスプレイモジュールを通してユーザの左眼と右眼に区分されてディスプレイされる。
一方、本発明の好適な一実施形態では、一般の2D画像と3D画像を結合してディスプレイすることもできる。すなわち、一つ以上の特定対象(Object)の場合、2個のカメラモジュールを通して撮影された左側画像と右側画像の結合形態で処理され、該当対象の各部分によって深さ感が異なるようにディスプレイすることができ、これら対象を一般の2D画像背景下でディスプレイすることができる。このとき、背景に該当する2D画像も、全体的に図8と関連して説明したように深さ感が調整され、これによって、ユーザは実感あふれる立体画像を楽しむことができる。
上述した説明では、パララックスバリア方式の立体画像ディスプレイモジュールにおいて、図1及び図2に示すように、左側画像と右側画像がそれぞれ縦方向の列単位で分割され、横方向に配置されて合成された立体画像のみがユーザによって立体画像として認知される形態のみを説明した。ただし、本発明者によって発明され、本出願人によって出願された「セル構造のパララックス―バリア及びこれを用いる立体画像表示装置(特許文献1)」によれば、上述したパララックスバリアをセル方式で具現し、これを横方向又は縦方向に選択的に駆動することができる。したがって、本発明の一実施形態によって立体画像を合成する場合、合成の方向が横方向又は縦方向のいずれか一方向に限定される必要はなく、立体画像を合成する方向と立体映像を上映するのに用いられるパララックスバリア方式のディスプレイモジュールのバリア方向を調節し、立体画像を上映することができる。
一方、2個のカメラモジュールを通して撮影した左右画像が動画像である場合、それぞれの画像は、上述した立体画像生成チップで時間同期に合わせて合成されなければならない。このような時間同期は、本発明の一実施形態に係る立体画像生成チップのカウンターによって生成された時間同期を用いて、左右画像の同期が合わない場合、左右画像のうちいずれか一つを立体画像生成チップのメモリに一時格納した後、同期を合わせて合成したり、又は、既存の2個のカメラモジュールに含まれた待機(ready)又は電源解除(power down)機能などを含む一時停止機能を用いて、左右画像による電圧に変化があるとき、左右画像を全て一時停止してから、これら二つの同期が合うように同時に再開することによって獲得され、以下でより具体的に説明することにする。
まず、本発明の一実施形態に係る立体画像生成チップは、左側画像と右側画像の同期が合わない場合、これらのうちいずれか一つを一時格納するためのメモリモジュールを含むことができる。このメモリモジュールは、2個のカメラモジュールを通して撮影した左側画像と右側画像の同期が合わない場合、これら間の同期を合わせるために同期が速い画像を一時格納するバッファ機能を行うことができ、これを通して、左右画像をこれらの同期を合わせて合成することができる。
一方、本発明の他の一実施形態では、上述したように、立体画像生成チップが別途のメモリモジュールを含まないとしても、次のような方法によって左右画像の同期を合わせることができる。
図10は、本発明の一実施形態によって、メモリモジュールがない場合、2個のカメラモジュールを通して撮影した左側画像と右側画像の同期を合わせる方法を説明するための図である。
具体的に、2個のカメラモジュールを通して撮影された左側画像と右側画像の同期をそれぞれ「CH1カメラsync」及び「CH2カメラsync」と示し、両画像の同期が合わない場合、既存のカメラモジュールの一時停止機能を用いて同期を合わせる過程を示した。
既存のカメラモジュールは、画像撮影の便宜のために待機又は電源解除などの一時停止機能を含むことができる。したがって、本発明の一実施形態では、立体画像生成チップに左右画像のうちいずれか一つの一時格納のためのメモリモジュールがないとしても、2個のカメラモジュールから入力された左右画像の同期が合わない場合、両画像の同期にイベントがあるとき、すなわち、図10に示すように、電圧が「high」から「low」に変換される時点又は「low」から「high」に変換される時点に、左右画像を一時停止してから、両画像の同期を合わせ、これら画像を同時に再開することによって同期を合わせることができる。
このように、2個のカメラモジュールの一時停止機能を用いて、立体画像生成チップがメモリモジュールを含まない場合にも左右画像の同期を合わせる機能は、以下で具体的に説明する立体画像生成チップの立体画像プロセッサによって行われるが、上述した方式を行える限り、これに限定される必要はない。
一方、以下では、上述した本発明の各実施形態に係る立体画像生成チップが移動機器内でどのように配置可能であるかについて説明する。
図11は、本発明の一実施形態に係る立体画像生成チップの移動機器内の配置関係を説明するための図である。
図11は、基本的に図6にブロック図の形式で示した各構成に対応する。すなわち、2個のカメラモジュール401a、402bは、「CAM1」及び「CAM2」と示し、立体画像生成チップ502は、「3D MUXER」と示した。一方、移動機器のバックエンド403は、「CPU」と示しており、立体画像ディスプレイモジュール404は、「LCD」及び「TN LCD」と示している。図11では、このような対応関係に基づいて図面符号が示されている。
以下、図11と関連した具体的な動作を図6と関連して説明する。2個のカメラモジュールCAM1 401a、CAM2 401bを通して撮影された左側画像と右側画像は、それぞれ立体画像生成チップ機能を行う3D MUXER502に入力される。このとき、カメラの出力信号は、3D MUXER502の2個のカメラ入力部CAM1、CAM2を通して入力される。カメラモジュールから左側画像と右側画像の入力を受けた3D MUXER502は、左右側画像をサイド―バイ―サイド方式で結合することができる。このとき、各画像が動画像である場合、同期を合わせる必要がある。このように結合された画像は、3D MUXER502のカメラ出力部(CAM OUT)を通して移動機器のバックエンド、すなわち、CPU403にカメラインターフェースを介して入力される。
これを通して、移動機器のCPU403は、立体画像コンテンツの多様な画像処理を行うことができる。例えば、CPU403は、立体画像コンテンツの圧縮、圧縮された画像の格納、格納された画像のデコーディングなどの手順を行うことができる。このような画像処理が行われた3Dコンテンツは、ディスプレイモジュール入力部、例えば、LCD入力部(LCD IN)を通して再び3D MUXER502に入力される。また、本発明の一実施形態で、3D MUXER502がCPU403から3Dコンテンツのみならず一般の2Dコンテンツの入力を受け、深さ感調整機能を行うこともできることは上述した通りである。
このように画像処理された3Dコンテンツ/2Dコンテンツの入力を受けた3D MUXER502は、3Dコンテンツに対しては、上述したように左側画像と右側画像を交互に配置する形態で合成する過程を行うことができ、2Dコンテンツに対しては、上述したように画像を縦方向の複数のイメージに分割し、それぞれを擬似左側画像イメージ組み合わせ、擬似右側画像イメージ組み合わせにマッピングする過程を行うことができる。このように合成/マッピングされた情報は、以後、ディスプレイ出力部、例えば、LCD出力部(LCD OUT)を通して立体画像ディスプレイモジュール、例えば、LCD及びTN LCDに伝達される。
上述した図11は、当業者が本発明を容易に実施するように図6に示した各機能ブロックの具体的な形態を示したもので、本発明の範囲がこれに限定される必要はない。すなわち、図6に示した各機能ブロックが、同一又は均等な機能を行う限り、他の部品又は名称と称され得ることは当業者にとって自明である。
また、上述したような本発明の各実施形態に係る立体画像表示方法は、次のように修正されて実施される。すなわち、本発明の他の一実施形態では、携帯電話、UMPCなどの移動機器の2個のカメラを通して撮影された左側画像と右側画像が該当の移動機器によってサイド―バイ―サイド方式で連結された後、他の媒体に伝達されてディスプレイされることもある。以下、本実施形態では、立体画像がディスプレイされる装置を「第1の機器」と称し、左側画像と右側画像を撮影してコンテンツを生成する装置を「第2の機器」と称する。
まず、第2の機器は、2個のカメラモジュールを含むことが望ましい。これら2個のカメラモジュールを通して左側画像と右側画像がそれぞれ撮影される。その後、撮影された左右画像は、第2の機器でサイド―バイ―サイド方式で連結される処理を経ることができ、第2の機器が本発明の上述した実施形態に係る移動機器である場合、立体画像生成チップによって左右画像のサイド―バイ―サイド方式の連結が行われる。
これを通して立体画像コンテンツが生成され、本実施形態では、このような立体画像コンテンツを他の媒体(第1の機器)でディスプレイすることを提案する。すなわち、第2の機器でサイド―バイ―サイド方式で連結された左右側画像は、USBなどの有線連結端子又は多様な無線連結手段によって第1の機器に入力される。このときに入力される立体画像コンテンツとしての左右側画像は、第2の機器で単純にサイド―バイ―サイド方式で連結されたものであるが、第2の機器で圧縮などの画像処理が行われた状態のコンテンツであることが望ましい。前記第2の機器が上述した実施形態に係る移動機器である場合、このような画像処理は移動機器のバックエンドで行われる。
上述したように立体画像コンテンツの入力を受けた第1の機器は、以後、入力された左側画像と前記右側画像を縦方向の複数のイメージにそれぞれ分割し、左側画像が分割された複数のイメージと右側画像が分割された複数のイメージをそれぞれ交互に配置する方式で合成することができる。これを通して、立体画像コンテンツは、パララックスバリア又はレンチキュラレンズアレイを含む第1の機器の立体画像ディスプレイモジュールを通してディスプレイされ、ユーザに立体画像を提供することができる。
併せて、上述した実施形態で第1の機器に入力される立体画像コンテンツは、第2の機器で2D画像の深さ感が図7と関連して説明したように調整され、擬似3次元画像として生成されたコンテンツでもある。
上述したように開示された本発明の好適な実施形態についての詳細な説明は、当業者が本発明を具現して実施できるように提供された。上記では、本発明の好適な実施形態を参照して説明したが、該当技術分野の熟練した当業者であれば、下記の特許請求の範囲に記載した本発明の思想及び領域から逸脱しない範囲内で本発明を多様に修正及び変更可能であることを理解できるであろう。例えば、本発明の上述した説明において、「移動機器」は、携帯電話、PDA、PMPなどを含む全ての移動式機器を含む概念であり、2個のカメラモジュールと画像処理が可能なバックエンドチップを含む移動機器であれば、特定形態の機器に限定する必要はなく、任意の移動機器に本発明の実施形態に係る立体画像生成チップを挿入することによって立体画像を生成することができる。
したがって、本発明は、ここで開示した各実施形態に制限されるものでなく、ここで開示された原理及び新規の特徴と一致する最広の範囲を与えるものである。
上述したような本発明に係る移動機器用立体画像生成チップ及びこれを用いた立体画像生成方法は、携帯電話、PDA、PMPなどを含む多様な移動式機器に適用され、既存の2D画像をユーザが立体的に感じるようにし、より高い品質の立体画像ディスプレイを具現することができる。

Claims (21)

  1. 画像処理が可能なバックエンド及び2個のカメラモジュールを含む移動機器に挿入された立体画像生成チップを通して立体画像を表示する方法において、
    (1)前記移動機器の2個のカメラモジュールを通して撮影された左側画像と右側画像を前記立体画像生成チップに入力する段階と、
    (2)前記入力された左側画像と右側画像を前記立体画像生成チップによってサイド―バイ―サイド方式で連結し、これら画像を前記移動機器のバックエンドに出力する段階と、
    (3)前記バックエンドで画像処理された、サイド―バイ―サイド方式で連結された左側画像と右側画像を前記バックエンドから前記立体画像生成チップに入力する段階と、
    (4)前記立体画像生成チップを通して、前記左側画像と前記右側画像を縦方向の複数のイメージにそれぞれ分割し、前記左側画像が分割された複数のイメージと前記右側画像が分割された複数のイメージをそれぞれ交互に配置する方式で合成する段階と、
    (5)前記合成されたイメージをパララックスバリア又はレンチキュラレンズアレイを含む立体画像ディスプレイモジュールを通してディスプレイする段階と、
    を含む、立体画像表示方法。
  2. 前記(5)段階の前に、
    (4―1)前記合成されたイメージ内で、前記左側画像が分割された複数のイメージと前記右側画像が分割された複数のイメージを左右方向のうち互いに異なる方向にそれぞれシフトさせることによって深さ感を調整する段階をさらに含む、請求項1に記載の立体画像表示方法。
  3. 前記(3)段階は、
    前記バックエンドで画像処理された2次元画像を前記立体画像生成チップに入力する段階を含み、
    前記(4)段階は、
    前記2次元画像を前記立体画像生成チップを通して縦方向の複数のイメージに分割し、前記分割された複数のイメージを擬似左側画像イメージ組み合わせと擬似右側画像イメージ組み合わせとして順次交互にマッピングする段階を含み、
    前記(4―1)段階は、
    前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせを左右方向のうち互いに異なる方向にシフトさせることによって深さ感を調整する段階を含み、
    前記(5)段階は、
    前記深さ感が調整された前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせを前記立体画像ディスプレイモジュールを通してディスプレイする段階を含む、請求項2に記載の立体画像表示方法。
  4. 前記(4―1)段階は、
    前記移動機器の液晶にディスプレイされる立体画像を確認したユーザが前記移動機器の入力装置を通して入力した制御情報によって、
    前記左側画像が分割された複数のイメージ又は前記擬似左側画像イメージ組み合わせ、及び前記右側画像が分割された複数のイメージ又は前記擬似右側画像イメージ組み合わせを前記互いに異なる方向にシフトさせる程度を決定して行われる、請求項2又は3に記載の立体画像表示方法。
  5. 前記(2)段階は、
    前記立体画像生成チップのカウンターから生成された時間同期を用いて、前記入力された左側画像と右側画像の撮影時間同期に合わせ、前記入力された左側画像と右側画像を連結する、請求項1に記載の立体画像表示方法。
  6. 前記2個のカメラモジュールは、待機又は電源解除のうち一つ以上の機能を含む一時停止機能を含み、
    前記(2)段階は、
    前記2個のカメラモジュールから入力された前記左側画像と前記右側画像の同期が合わない場合、前記2個のカメラモジュールの前記一時停止機能を使用して前記左側画像と前記右側画像を一時停止させた後、同期が合うように前記左側画像と前記右側画像を同時に再開する段階を含む、請求項5に記載の立体画像表示方法。
  7. 2次元画像を縦方向の複数のイメージに分割し、前記分割された複数のイメージを擬似左側画像イメージ組み合わせと擬似右側画像イメージ組み合わせとして順次交互にマッピングする段階と、
    前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせをそれぞれ左右方向のうち互いに異なる方向にシフトさせることによって深さ感を調整する段階と、
    前記深さ感が調整された擬似左側画像イメージ組み合わせ及び擬似右側画像イメージ組み合わせをパララックスバリア又はレンチキュラレンズアレイを含む立体画像ディスプレイモジュールを通してディスプレイする段階と、を含む、二次元画像の立体画像表示方法。
  8. 前記2次元画像は、前記移動機器の画像処理が可能なバックエンドで画像処理された後、前記移動機器に設置された立体画像生成チップに入力された2次元画像であって、
    前記マッピング段階及び前記深さ感調整段階は、前記立体画像生成チップによって行われる、請求項7に記載の二次元画像の立体画像表示方法。
  9. 前記深さ感調整段階は、
    移動機器の液晶にディスプレイされる立体画像を確認したユーザが前記移動機器の入力装置を通して入力した制御情報によって、前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせを前記互いに異なる方向にシフトさせる程度を決定して行われる、請求項7又は8に記載の二次元画像の立体画像表示方法。
  10. 画像処理が可能なバックエンド及び2個のカメラモジュールを含む移動機器に挿入されて立体画像表示機能を行う立体画像生成チップにおいて、
    前記移動機器の2個のカメラモジュールを通して撮影された左側画像と右側画像の入力を受けるためのカメラ入力部と、
    前記入力された左側画像と右側画像をサイド―バイ―サイド方式で連結する処理を行う画像連結モジュールと、
    前記画像連結モジュールによってサイド―バイ―サイド方式で連結された前記左側画像と右側画像を前記移動機器のバックエンドに出力するためのカメラ出力部と、
    前記バックエンドで画像処理された、サイド―バイ―サイド方式で連結された左側画像と右側画像の入力を前記バックエンドから受けるためのディスプレイ入力部と、
    前記サイド―バイ―サイド方式で連結された左側画像と右側画像を縦方向の複数のイメージにそれぞれ分割し、前記左側画像が分割された複数のイメージと前記右側画像が分割された複数のイメージをそれぞれ交互に配置する方式で合成する合成モジュールと、
    前記合成モジュールを通して合成されたイメージをパララックスバリア又はレンチキュラレンズアレイを含む立体画像ディスプレイモジュールに出力するためのディスプレイ出力部と、を含む、移動機器用立体画像生成チップ。
  11. 前記合成モジュールによって合成された前記イメージ内で、前記左側画像が分割された複数のイメージと前記右側画像が分割された複数のイメージを左右方向のうち互いに異なる方向にそれぞれシフトさせることによって深さ感を調整する深さ感調整モジュールをさらに含む、請求項10に記載の移動機器用立体画像生成チップ。
  12. 前記ディスプレイ入力部は、前記バックエンドで画像処理された2次元画像の入力を追加で受け、
    前記合成モジュールは、前記2次元画像を縦方向の複数のイメージに分割し、前記分割された複数のイメージを擬似左側画像イメージ組み合わせと擬似右側画像イメージ組み合わせとして順次交互にマッピングする機能を追加で行い、
    前記深さ感調整モジュールは、前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせを左右方向のうち互いに異なる方向にそれぞれシフトさせることによって深さ感を調整する機能を追加で行い、
    前記ディスプレイ出力部は、前記深さ感調整モジュールによって深さ感が調整された前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせを前記立体画像ディスプレイモジュールに出力する機能を追加で行う、請求項11に記載の移動機器用立体画像生成チップ。
  13. 前記深さ感調整モジュールは、
    前記移動機器の液晶にディスプレイされる立体画像を確認したユーザが前記移動機器の入力装置を通して入力した制御情報によって、
    前記左側画像が分割された複数のイメージ又は前記擬似左側画像イメージ組み合わせ、及び前記右側画像が分割された複数のイメージ又は前記擬似右側画像イメージ組み合わせを前記互いに異なる方向にシフトさせる程度を決定して深さ感調整を行う、請求項11又は12に記載の移動機器用立体画像生成チップ。
  14. 前記立体画像生成チップの時間同期を生成するためのカウンターをさらに含み、
    前記画像連結モジュールは、前記カウンターから生成された時間同期を用いて、前記入力された左側画像と右側画像の撮影時間同期に合わせ、前記入力された左側画像と右側画像を連結する、請求項10に記載の移動機器用立体画像生成チップ。
  15. 前記2個のカメラモジュールは、待機又は電源解除のうち一つ以上の機能を含む一時停止機能を含み、
    前記画像連結モジュールは、
    前記2個のカメラモジュールから入力された前記左側画像と前記右側画像の同期が合わない場合、前記2個のカメラモジュールの前記一時停止機能を使用して前記左側画像と前記右側画像を一時停止させた後、同期が合うように前記左側画像と前記右側画像を同時に再開することによって、前記左側画像と右側画像を撮影時間同期に合わせて連結する、請求項14に記載の移動機器用立体画像生成チップ。
  16. 2次元画像を縦方向の複数のイメージに分割し、前記分割された複数のイメージを擬似左側画像イメージ組み合わせと擬似右側画像イメージ組み合わせとして順次交互にマッピングする合成モジュールと、
    前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせを左右方向のうち互いに異なる方向にシフトさせることによって深さ感を調整する深さ感調整モジュールと、
    前記深さ感が調整された擬似左側画像イメージ組み合わせ及び擬似右側画像イメージ組み合わせをパララックスバリア又はレンチキュラレンズアレイを含む立体画像ディスプレイモジュールに出力するディスプレイ出力部と、を含む、移動機器用立体画像生成チップ。
  17. 前記2次元画像は、前記移動機器の画像処理が可能なバックエンドで画像処理された後、前記立体画像生成チップに入力された2次元画像である、請求項16に記載の移動機器用立体画像生成チップ。
  18. 前記深さ感調整モジュールは、
    前記移動機器の液晶にディスプレイされる立体画像を確認したユーザが前記移動機器の入力装置を通して入力した制御情報によって、前記擬似左側画像イメージ組み合わせ及び前記擬似右側画像イメージ組み合わせを前記互いに異なる方向にシフトさせる程度を決定して前記深さ感調整を行う、請求項16又は17に記載の移動機器用立体画像生成チップ。
  19. 第1の機器を通して立体画像を表示する方法において、
    (1)第2の機器の2個のカメラモジュールを通して撮影された左側画像と右側画像をサイド―バイ―サイド方式で連結した状態で前記第1の機器に入力する段階と、
    (2)前記第1の機器で前記入力された左側画像と前記右側画像を縦方向の複数のイメージにそれぞれ分割し、前記左側画像が分割された複数のイメージと前記右側画像が分割された複数のイメージをそれぞれ交互に配置する方式で合成する段階と、
    (3)前記合成されたイメージを前記第1の機器のパララックスバリア又はレンチキュラレンズアレイを含む立体画像ディスプレイモジュールを通してディスプレイする段階と、
    を含む、立体画像表示方法。
  20. 前記サイド―バイ―サイド方式で連結された左側画像と右側画像は、前記第1の機器と前記第2の機器との間の連結手段を通して前記第1の機器に入力される、請求項19に記載の立体画像表示方法。
  21. 前記第1の機器は移動機器であって、
    前記連結手段は有線連結手段及び無線連結手段を含む、請求項20に記載の立体画像表示方法。
JP2011513416A 2008-06-10 2009-06-09 移動機器用立体画像生成チップ及びこれを用いた立体画像表示方法 Pending JP2011525075A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020080054215A KR100991804B1 (ko) 2008-06-10 2008-06-10 이동 기기용 입체영상생성칩 및 이를 이용한입체영상표시방법
KR10-2008-0054215 2008-06-10
PCT/KR2009/003073 WO2009151249A2 (ko) 2008-06-10 2009-06-09 이동 기기용 입체영상생성칩 및 이를 이용한 입체영상표시방법

Publications (1)

Publication Number Publication Date
JP2011525075A true JP2011525075A (ja) 2011-09-08

Family

ID=41417228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011513416A Pending JP2011525075A (ja) 2008-06-10 2009-06-09 移動機器用立体画像生成チップ及びこれを用いた立体画像表示方法

Country Status (7)

Country Link
US (1) US20110063419A1 (ja)
EP (1) EP2285133A4 (ja)
JP (1) JP2011525075A (ja)
KR (1) KR100991804B1 (ja)
CN (1) CN102100075A (ja)
TW (1) TW201019709A (ja)
WO (1) WO2009151249A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017085803A1 (ja) * 2015-11-18 2017-05-26 株式会社日立製作所 映像表示装置及び映像表示方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8451312B2 (en) 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
KR101645465B1 (ko) * 2010-07-23 2016-08-04 삼성전자주식회사 휴대용 단말기에서 입체 영상 데이터를 생성하기 위한 장치 및 방법
EP2652629B1 (en) 2010-12-13 2018-11-07 Nokia Technologies Oy Method and apparatus for 3d capture syncronization
US8670023B2 (en) * 2011-01-17 2014-03-11 Mediatek Inc. Apparatuses and methods for providing a 3D man-machine interface (MMI)
US9983685B2 (en) 2011-01-17 2018-05-29 Mediatek Inc. Electronic apparatuses and methods for providing a man-machine interface (MMI)
TWI488485B (zh) * 2011-05-03 2015-06-11 Au Optronics Corp 三維影像的合成方法與應用此方法的三維影像的合成電路
US8937646B1 (en) * 2011-10-05 2015-01-20 Amazon Technologies, Inc. Stereo imaging using disparate imaging devices
KR20130046857A (ko) * 2011-10-28 2013-05-08 삼성전기주식회사 스테레오 카메라 모듈 및 스테레오 카메라
US9648310B2 (en) 2011-11-09 2017-05-09 Qualcomm Incorporated Systems and methods for mask adjustment in 3D display
CN103442243A (zh) * 2013-07-31 2013-12-11 北京智谷睿拓技术服务有限公司 便携式3d显示装置及3d显示方法
US20150271471A1 (en) * 2014-03-19 2015-09-24 Htc Corporation Blocking detection method for camera and electronic apparatus with cameras
KR101666684B1 (ko) * 2015-04-17 2016-10-14 나노터치시스템(주) 휴대폰 장착형 입체 영상 촬영 장치
CN107635105A (zh) * 2016-07-19 2018-01-26 浙江星星冷链集成股份有限公司 一种利用双路摄像头进行拼接画面的装置
CN108881877B (zh) * 2017-05-12 2020-07-24 京东方科技集团股份有限公司 显示处理装置及其显示处理方法以及显示装置
CN107277492A (zh) * 2017-07-26 2017-10-20 未来科技(襄阳)有限公司 一种3d图像显示方法及系统
CN109460690B (zh) * 2017-09-01 2022-10-14 虹软科技股份有限公司 一种用于模式识别的方法和装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141627A (ja) * 1997-07-18 1999-02-12 Sanyo Electric Co Ltd 画像合成装置
JP2000197074A (ja) * 1998-12-25 2000-07-14 Canon Inc 立体映像再生装置及び出力装置及びその制御方法及び記憶媒体
JP2003051872A (ja) * 2001-08-07 2003-02-21 Minolta Co Ltd 携帯型通信装置
WO2004049734A1 (ja) * 2002-11-28 2004-06-10 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
JP2004187132A (ja) * 2002-12-05 2004-07-02 Sophia Co Ltd 立体画像表示装置
WO2005020591A1 (ja) * 2003-08-26 2005-03-03 Sharp Kabushiki Kaisha 立体映像再生装置および立体映像再生方法
JP2006107213A (ja) * 2004-10-06 2006-04-20 Canon Inc 立体画像印刷システム
JP2007104349A (ja) * 2005-10-05 2007-04-19 Hitachi Ltd 撮像装置
JP2007288799A (ja) * 2007-06-08 2007-11-01 Fujifilm Corp 撮影装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR940003405B1 (ko) * 1991-06-12 1994-04-21 삼성전자 주식회사 기판전압 발생장치
JPH07307961A (ja) * 1994-05-13 1995-11-21 Pioneer Electron Corp 立体表示方法及び装置
KR960028601A (ko) * 1994-12-31 1996-07-22 오봉환 입체영상 촬영장치
US6343987B2 (en) * 1996-11-07 2002-02-05 Kabushiki Kaisha Sega Enterprises Image processing device, image processing method and recording medium
KR100304784B1 (ko) * 1998-05-25 2001-09-24 박호군 편광과광띠를이용한다자시청용3차원영상표시장치
JP4149037B2 (ja) * 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
US20050248561A1 (en) * 2002-04-25 2005-11-10 Norio Ito Multimedia information generation method and multimedia information reproduction device
EP1628490A1 (en) * 2003-05-27 2006-02-22 Sanyo Electric Co., Ltd. Image display device and program
KR100581533B1 (ko) * 2004-03-25 2006-05-22 주식회사 다코스이앤아이 스테레오 카메라의 영상 합성장치
WO2006049208A1 (ja) * 2004-11-08 2006-05-11 Sharp Kabushiki Kaisha 画像合成装置及び画像合成方法
KR101113235B1 (ko) * 2004-11-29 2012-02-29 삼성전자주식회사 입체 디스플레이 장치
KR100898287B1 (ko) * 2005-07-05 2009-05-18 삼성모바일디스플레이주식회사 입체 영상 표시 장치
US7912257B2 (en) * 2006-01-20 2011-03-22 3M Innovative Properties Company Real time display of acquired 3D dental data
US7948681B2 (en) * 2006-08-30 2011-05-24 Conley Kenneth E Device for displaying a three dimensional image
US8146098B2 (en) * 2007-09-07 2012-03-27 Manageiq, Inc. Method and apparatus for interfacing with a computer user via virtual thumbnails

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1141627A (ja) * 1997-07-18 1999-02-12 Sanyo Electric Co Ltd 画像合成装置
JP2000197074A (ja) * 1998-12-25 2000-07-14 Canon Inc 立体映像再生装置及び出力装置及びその制御方法及び記憶媒体
JP2003051872A (ja) * 2001-08-07 2003-02-21 Minolta Co Ltd 携帯型通信装置
WO2004049734A1 (ja) * 2002-11-28 2004-06-10 Seijiro Tomita 立体映像信号生成回路及び立体映像表示装置
JP2004187132A (ja) * 2002-12-05 2004-07-02 Sophia Co Ltd 立体画像表示装置
WO2005020591A1 (ja) * 2003-08-26 2005-03-03 Sharp Kabushiki Kaisha 立体映像再生装置および立体映像再生方法
JP2006107213A (ja) * 2004-10-06 2006-04-20 Canon Inc 立体画像印刷システム
JP2007104349A (ja) * 2005-10-05 2007-04-19 Hitachi Ltd 撮像装置
JP2007288799A (ja) * 2007-06-08 2007-11-01 Fujifilm Corp 撮影装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017085803A1 (ja) * 2015-11-18 2017-05-26 株式会社日立製作所 映像表示装置及び映像表示方法

Also Published As

Publication number Publication date
EP2285133A2 (en) 2011-02-16
TW201019709A (en) 2010-05-16
EP2285133A4 (en) 2013-04-24
WO2009151249A2 (ko) 2009-12-17
CN102100075A (zh) 2011-06-15
WO2009151249A3 (ko) 2010-03-25
KR20090128179A (ko) 2009-12-15
KR100991804B1 (ko) 2010-11-04
US20110063419A1 (en) 2011-03-17

Similar Documents

Publication Publication Date Title
JP2011525075A (ja) 移動機器用立体画像生成チップ及びこれを用いた立体画像表示方法
JP4251952B2 (ja) 立体画像表示装置および立体画像表示方法
US8077964B2 (en) Two dimensional/three dimensional digital information acquisition and display device
JP4925354B2 (ja) 画像処理装置、画像表示装置、撮像装置及び画像処理方法
WO2010122711A1 (ja) 立体画像表示装置、立体画像再生装置および立体画像目視システム
US20120236114A1 (en) Depth information generator for generating depth information output by only processing part of received images having different views, and related depth information generating method and depth adjusting apparatus thereof
JP2010049607A (ja) コンテンツ再生装置および方法
JP2011035576A (ja) デジタル放送受信機、送信機及び端末装置
KR20070027318A (ko) 입체영상의 처리방법
KR20100112940A (ko) 데이터 처리방법 및 수신 시스템
JP2007312407A (ja) 立体画像表示装置およびその方法
US20120163700A1 (en) Image processing device and image processing method
KR20050083352A (ko) 휴대용 단말장치에서 스테레오 카메라를 이용하여 파노라믹 영상과 3차원 영상을 획득 및 디스플레이를 할 수 있는 장치 및 그 방법.
KR101228916B1 (ko) 멀티 비젼의 3차원 영상 표시 장치 및 방법
JP2012134885A (ja) 画像処理装置及び画像処理方法
JP2008167310A (ja) 裸眼立体視画像処理方法および装置ならびに演算プログラムを記録した記録媒体
KR100703713B1 (ko) 3차원 영상 획득 및 디스플레이가 가능한 3차원 모바일 장치
KR100868244B1 (ko) 이동 기기를 이용한 입체 영상 생성 방법 및 이동 기기용 입체 영상 생성 칩
JP5700998B2 (ja) 立体映像表示装置及びその制御方法
KR100823561B1 (ko) 2차원 및 3차원 입체 영상 표시 겸용 디스플레이 장치
JP2010087807A (ja) 3次元映像データ生成方法、3次元映像データ生成システム、3次元映像データを記録した記録媒体、及び3次元映像データ生成プログラム
Boev et al. Optimized visualization of stereo images on an OMAP platform with integrated parallax barrier auto-stereoscopic display
KR101830768B1 (ko) 스테레오 영상 촬영 방법, 스테레오 영상 출력 방법, 스테레오 영상 촬영 장치 및 스테레오 영상 출력 장치
KR101433082B1 (ko) 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법
JP4133356B2 (ja) 画像の合成装置、合成方法、およびその方法を実現するプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121016

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130813

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140128