CN1678084A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN1678084A
CN1678084A CNA2004100982247A CN200410098224A CN1678084A CN 1678084 A CN1678084 A CN 1678084A CN A2004100982247 A CNA2004100982247 A CN A2004100982247A CN 200410098224 A CN200410098224 A CN 200410098224A CN 1678084 A CN1678084 A CN 1678084A
Authority
CN
China
Prior art keywords
image
video camera
location
pixels
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100982247A
Other languages
English (en)
Other versions
CN100584040C (zh
Inventor
吴伟国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1678084A publication Critical patent/CN1678084A/zh
Application granted granted Critical
Publication of CN100584040C publication Critical patent/CN100584040C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种图像处理装置和方法，其中，垂直于由至少两台摄像机从不同视点捕获的对象的图像的方向被相互对齐，对与对象相关的、位于相同水平线上的每个像素，在如此校正的图像之间确定对应关系，通过在其对应关系待确定的像素位置之间的比较来确定像素位置中的亮度和色彩成分的相似性，并确定在对象的图像之间的视差，由此来对应于所确定的相似性和视差确定对应关系。通过在由摄像机捕获的图像中的扫描线上的所有像素之间进行动态的匹配，可以进行稳定而准确的图像匹配。

Description

图像处理装置和方法
技术领域
本发明涉及成像装置、方法和系统，它们能用于视频会议系统、可视电话系统等，例如用于捕获待发送的图像并将其重构为可由虚拟摄像机成像得到的虚拟视点图像。
背景技术
已经提出了这样的系统，通过该系统在远程位置的多个用户可以在观看相互被显示的图像的同时，在他们之间进行远程对话互动，这种系统比如视频会议系统、可视电话系统等。在这样的系统中，当在一个远程位置的显示单元上显示在另一个位置的用户的图像时，正观看显示单元上的图像的用户被作为对象成像，由此获得的图像信号通过网络(比如，公共电话网络、专用线路等)被发送到另一个位置的图像处理器。于是，该系统可以提供这样一种真实的感觉，使得在这些远程位置的用户都感觉好像他们在同样的地方相互交谈一样。
在传统的视频会议系统中，由于用户在观看被几乎显示在显示单元中央的他或她在另一个位置的伙伴的图像时，会被置于显示单元上部的摄像机成像，所以在另一个位置的显示单元上将显示用户保持低着头的图像。所以，尽管用户们实际上在观看他们各自的显示单元，但是在他们之间的对话将不会有眼部交流，这将使用户感觉有点问题。
理想的是，摄像机应当被放置在靠近显示另一个位置处用户的图像的显示屏幕的中央，这样将在用户之间实现具有相互间眼部交流的对话。但是，在物理上难于将摄像机放置在靠近显示屏幕的中央。
为了解决诸如在用户间进行谈话时缺乏眼部交流的问题，已经提出了一种图像处理器，该图像处理器基于由被置于一个远程位置的显示单元两侧的多个摄像机捕获的输入图像，来提取对象的三维信息，根据所提取的三维信息和有关用户视点位置的信息来重构对象的输出图像，然后在另一个用户位置的显示单元上来显示重构的图像(参看日本专利申请公开No.2001-521770)。在该图像处理器中，由直线放置的多个摄像机所捕获的图像而产生的外极面(epi-polar planar)图像被用来合成虚拟视点图像，由此在用户间实现相互间具有眼部交流的高度逼真的通信，该虚拟视点图像被假设是由实际上并未设置在显示屏幕中央的摄像机所捕获。
此外，提出了这样一种图像处理器，该图像处理器基于分别被放置在显示单元左右的两台摄像机所捕获的图像来产生三维位置信息，以在视频会议的参加者之间提供相互的眼部交流(参看日本专利申请公开No.2002-300602)。
这里注意，为了如上所述重构对象的输出图像，要在每个像素位置确定由至少两台摄像机从不同视点捕获的对象的图像之间的匹配。于是，可以基于三角测量原理来判断对象的形状以及对象到每个摄像机的距离，并因此准确地产生由假设被放置在靠近显示屏幕中央的虚拟摄像机捕获的虚拟视点图像。
现在参考图1，其中解释了由两台摄像机捕获的图像之间的立体匹配，这两台摄像机被分别放置在成像系统基本配置中的显示单元的左右。
如图所示，当对象由两台摄像机从不同的视点(即，摄像机的光学中心C1和C2)成像时，此时摄像机的光轴与M点对齐，由此产生的图像Ps1和Ps2将平行于摄像机的图像平面。连接摄像机和M点的直线与(分别由摄像机捕获的)图像Ps1和Ps2的法线方向相符，但是摄像机和该直线相互间方向不同。
这里注意，通过从图像Ps1和Ps2提取对象P相同部分的像素位置和亮度成分，图像被相互匹配。例如，与图像Ps1的外极线(epi-polar line)L1上的像素m1对应的点将出现在图像Ps2上的外极线L1’上。通过在外极线L1’上进行搜索，可能检测出与像素m1最类似的的图像m1’作为对应点。此外，如此被相互匹配的像素m1和m1’可以被用来容易地估计三维空间中的对象P。
迄今为止所提出的匹配技术包括基于像素的匹配、基于区域的匹配、基于特征的匹配等。基于像素的匹配是在图像之一中寻找一个点，该点对应于另一个图像中与它一样的像素(参看Lawrence Zitnick与Jon A.Webb的“Multi-Baseline Stereo Using Surface Extraction”，Technical Report，CMU-CS-96-196，1996)。基于区域的匹配是在参考每个对应点周围的位置图像图案的同时，将对应于一个图像中的像素的点与另一个图像中的点匹配(参看Okutomi M.和Kanade T.的“A Locally Adaptive Window forSignal Matching”，Int.Journal of Computer Vision，7(2)，pp.143-162，1992，以及Okutomi M.和Kanade T.的“Stereo-matching Using a Plurality ofBaseline Lengths”，Journal of the Institute of Electronics，Information andCommunication Engineers，D-II，Vol.J75-D-II，No.8，pp.1317-1327，1992)。同样，基于特征的匹配是从图像中提取暗与亮的边，只参考图像的特征使图像相互匹配(参看H.Baker和T.Binford的“Depth from Edgeand Intensity Based Stereo”，In Proc.IJCAI’81，1981，以及W.E.L.Grimson的“Computational Experiments with a Feature-Based StereoAlgorithm”，IEEE Trans.PAMI，Vol.7，No.1，pp.17-34，1985)。
发明内容
因此，本发明的目的就是通过提供一种图像处理装置和方法来克服上述背景技术的上述缺点，该图像处理装置和方法通过在由摄像机捕获的图像中的扫描线上的所有像素之间进行动态的匹配，能进行稳定而准确的图像匹配。
上述目的可以通过提供这样的图像处理装置和方法来实现，在该图像处理装置和方法中，与由至少两台摄像机从不同视点捕获的对象的图像相垂直的方向(法线方向)被相互对齐，在如此校正的图像之间，对与对象相关的、位于相同水平线上的每个像素确定对应关系，通过在其对应关系待确定的像素位置之间的比较来确定像素位置中的亮度和色彩成分的相似性，并确定在对象的图像之间的视差，由此来对应于所确定的相似性和视差确定对应关系。
即，根据本发明的图像处理装置包括：
图像校正装置，用于对由至少两台摄像机从不同视点对对象成像所获取的图像进行对齐；以及
匹配装置，用于在由所述图像校正装置所校正的图像之间对与所述对象相关的、位于相同水平线上的每个像素确定对应关系，
所述匹配装置通过在其对应关系待确定的像素位置之间进行比较来确定像素位置的亮度和色彩成分的相似性，并确定在所述对象的所述图像之间的视差，由此来对应于所确定的相似性和视差确定所述对应关系。
此外，根据本发明的图像处理方法包括如下步骤：
将由至少两台摄像机从不同视点对对象成像所获取的图像进行对齐；以及
在所述对齐步骤中校正的图像之间，对与所述对象相关的、位于同一水平线上的每个像素确定对应关系，
在所述匹配步骤中，通过在其对应关系待确定的像素位置之间的比较来确定像素位置中的亮度和色彩成分的相似性，并确定在所述对象的所述图像之间的视差，由此来对应于所确定的相似性和视差确定所述对应关系。
在上述根据本发明的图像处理装置和方法中，垂直于由至少两台摄像机从不同视点捕获的对象的图像的方向(法线方向)被相互对齐，在如此校正的图像之间，对与对象相关的、位于相同水平线上的每个像素确定对应关系，通过在其对应关系待确定的像素位置之间的比较来确定像素位置中的亮度和色彩成分的相似性，并确定在对象的图像之间的视差，由此来对应于所确定的相似性和视差确定对应关系。
于是，即使是存在任何遮藏区域的情形，也可以进行更加准确的匹配，并且对于双眼部分的重复图案或其中亮度变化较小的非特征部分(例如，壁部分)，也能以提高的准确性进行匹配。
本发明的这些目的以及其它目的、特征和优点将从下面在结合附图时对本发明优选实施方案进行的详细说明中变得更加清楚。
附图说明
图1解释了在由被分别放置在显示单元右边和左边的两台摄像机所捕获的图像之间的立体匹配；
图2解释了背景技术的问题；
图3示意性地图示了根据本发明的通信系统；
图4解释了图3中的通信系统中的图像处理器的构造；
图5解释了如何正规化已在匹配单元中被相互间匹配的图像；
图6解释了如何通过将图像的法线对齐来分别正规化图像Pa1和Pa2；
图7A、7B、7C解释了基于DP的匹配；
图8示出了如何确定到外极线L1和L1’上的随机特征点(x，y)的最佳路径；
图9A、9B分别示出了在正规化图像Pm1和Pm2中在外极线L1和L1’上特征点之间像素成分(亮度或色彩成分)的对应关系；
图10解释了如何产生虚拟视点图像；
图11示出了产生三维图像的成像系统的构造；
图12A、12B解释了实现立体视图的例子；
图13解释了对应于用户视点位置的摄像机的虚拟位置的例子；以及
图14解释了合成左眼视差图像(右眼视差图像)的例子。
具体实施方式
下面将参考附图就本发明的优选实施方案对本发明进行详细地说明。
现在参考图3，该图示意性地图示了根据本发明的通信系统。用标号1指示的通信系统允许在位置A的用户a和在位置B的用户b在他们之间进行远程交谈，同时在他们的各自位置观看彼此的图像。
如图所示，在位置A，提供了摄像机11a和12a来对作为对象的用户a从不同视点成像，提供了显示单元5a向用户a显示在位置B捕获的用户b的图像，并且提供了图像处理器2a，该图像处理器2a基于由摄像机11a和12a捕获的图像Pa1和Pa2来产生虚拟视点图像Ima，并且将图像Ima经网络7发送到位置B。
如图所示，在位置B，提供了摄像机11b和12b来对作为对象的用户b从不同视点成像，提供了显示单元5b向用户b显示在位置A捕获的用户a的图像，并且提供了图像处理器2b，该图像处理器2b基于由摄像机11b和12b捕获的图像Pb1和Pb2来产生虚拟视点图像Imb，并且将图像Imb经网络7发送到位置A。
由图像处理器2a和2b如此产生的虚拟视点图像Ima和Imb等同于由分别被置于接近显示单元5a和5b中央的虚拟摄像机所产生的图像，在显示单元5a和5b上分别显示了用户伙伴的图像。
分别对于用户a和b，摄像机11a和11b分别被置于显示单元5a和5b的左边；同时分别对于用户a和b，摄像机12a和12b分别被置于显示单元的右边。摄像机11和12中每一个都被放置得具有固定的方向和视角。同样，基于用户a和b中每一个所输入的信息，该方向和视角可以被自由地改变。应该注意的是，将通过与用户视界对准放置的两台摄像机对对象(用户)的成像来解释通信系统1。
显示单元5a和5b中每一个都被提供有经网络7来自另一个用户位置的虚拟视点图像Imb和Ima，并且在其液晶显示屏幕(以下称为“LCD屏幕”)上显示基于该虚拟视点图像的图像。显示单元5a和5b每个的LCD屏幕由许多LCD元件等形成，并且通过相应于基于虚拟视点图像Imb和Ima中每个的输出信号来光学调制LCD元件，以形成供用户观看的图像。
通常，图像处理器2a和2b中每个都包括比如个人电脑(PC)等的电子器件。图像处理器2a和2b中每个都具有通过网络7与另一方进行通信的功能，并且根据在另一个位置的用户的请求来发送图像和声音。这里应该注意的是，图像处理器2a和2b中每个都如将在后面详细解释的那样构造。
网络7例如是经电话线连接到图像处理器2的因特网或能够双向信息通信的公共电话网络(比如，连接到TA/调制解调器的综合服务数字网(ISDN)或B(宽带)-ISDN)。这里应该注意的是，在通信系统1被用在某个狭小区域中的情形时，网络7可以被形成为局域网(LAN)。而且，在网络7传输运动图像的情形，包括MEPG(Moving Picture ExpertsGroup)数据的运动图像例如基于互联网协议(IP)被从一个信道连续地发送。同样，在静止图像将通过网络7被传输的情形，它们将以固定时间间隔从与运动图像被传输所在信道不同的信道被发送。应该注意的是，网络服务器(未示出)可以被连接到网络7。例如，网络服务器(未示出)管理互联网信息并根据图像处理器2的请求发送存储在其中的预先设定的信息。
接下来，将以图像处理器2a为例，对图像处理器2的配置进行解释。如图4所示，图像处理器2a包括校正单元20、连接到校正单元20的匹配单元29、连接到匹配单元29的虚拟视点图像发生器30、输出控制器31以及信息发生器33，校正单元20被提供有来自连接到其上的摄像机11a和12a的图像Pa1和Pa2，输出控制器31用于将虚拟视点图像发生器30产生的虚拟视点图像Ima发送到在另一个用户位置的图像处理器(终端单元)2b，信息发生器33用于产生指示用户a相对于摄像机11a和12a每一个的位置关系的相对位置信息。
校正单元20包括几何图像校正块21和22，来分别对发送自摄像机11a和12a的图像Pa1和Pa2进行几何图像校正，并且包括正规化块24来分别对被几何图像校正块21和22校正的图像正规化。
几何图像校正块21和22基于发送自摄像机校准块26的控制信息(包括摄像机11a和12a相对于用户a的位置关系)来校正图像Pa1和Pa2。摄像机11a和12a相对于用户a的位置关系可以是发送自摄像机校准块26的控制信息中的参数。在摄像机11a和12a每个的成像方向和/或视角被改变以对对象成像时，它们可以被摄像机校准块26参数化并且被包括在控制信息中。于是，几何图像校正单元21和22可以相应于摄像机11a和12a的成像方向和/或视角，来对图像Pa1和Pa2进行实时校正。
注意，上述摄像机校准块26可以利用在日本专利申请公开No.2000-350239和No.1999-53549中公开的摄像机校准技术来对色差、失真以及摄像机11a和12a中每个的透镜的光轴偏心进行参数化，并且将参数发送到每个校正单元20。在这样的情形，校正单元20将基于所提供的参数，通过将来自摄像机11a和12a的图像进行投影转换，来将它们与参考图像进行匹配。类似地，摄像机校准单元26使用这样的投影转换矩阵对来自摄像机11a和12a的图像就亮度成分等在其相互之间进行调节，这将使图像间亮度的差异最小化。
正规化块24被提供有由几何图像校正块21和22校正的图像，并且进行图像的几何正规化。正规化块24使由摄像机捕获的图像Pa1和Pa2的法线方向对齐。更具体的是，正规化块24通过将图像Pa1和Pa2的法线与在虚拟平面π中设定的法线方向对齐来对图像Pa1和Pa2正规化，并且产生正规化的图像Pm1和Pm2。在这种情形，正规化块24确定意在用于将由摄像机11a和12a捕获的图像Pa1和Pa2投影到虚拟平面π上的投影转换矩阵，并且基于如此确定的投影转换矩阵，将图像的法线方向与虚拟平面π中的法线方向对齐。
这里注意的是，在摄像机11a和12a每个是所谓的固定视点摄像机的情形，图像Pa1和Pa2的法线方向可以预先由摄像机校准块26获得。同样，在摄像机11a和12a的成像方向和/或视角被改变来进行成像的情形，成像方向和视角可以由摄像机校准块26参数化，并且这些参数可以被包括在用于图像正规化的控制信息中。于是，有可能通过相应于用户a和b的位置来依次改变成像方向等，来灵活地处理成像。
同样，通过将这些参数保存在摄像机校准单元26中的ROM或RAM(未示出)中，校正单元20可以在必需的任何情形中在任何时候参照这些参数，由此实现快速的校正。同样，摄像机校准单元26可以通过在每次从摄像机11a和12a被提供给图像Pa1和Pa2时确定参数，而在几何图像校正块21和22中的每一个内进行高准确性的校正。
匹配单元29被提供有由正规化块24产生的正规化图像Pm1和Pm2，来确定被包括在正规化的图像Pm1和Pm2中的像素之间的位置匹配。
这里注意，上述在正规化的图像Pm1和Pm2中的像素之间的位置匹配，通过从图像Pm1和Pm2中提取共同形成用户a面部、且位于相同位置的像素的位置和亮度来确定。如图5所示，例如，对应于正规化图像Pm1中外极线L1上的像素P11的点将出现在正规化图像Pm2中外极线L’上。通过在外极线L’上搜索，可能检测到最类似的像素P11’的位置。应该注意，可以使匹配单元29适用于仅在其中特征已经被提取的点之间或在被包括在正规化的图像Pm1和Pm2中的所有像素之间进行匹配。
信息发生器33产生必要的信息来确定每个像素在正规化图像之间的位置匹配，并且将信息提供给匹配单元29。此外，可以使信息发生器33适用于确定从每个摄像机11a和12a到作为对象的用户a的距离，基于该距离产生视差信息来生成相对位置信息。这样的距离可以通过从由摄像机11a和12a产生的图像信息中获得深度信息而被确定。
而且，信息发生器33可以基于用户a观看显示单元5a的方向来产生相对位置关系。在这样的情形，信息发生器33根据从摄像机11a和12a提供的图像Pa1和Pa2获得用户a的视线，并且基于该视线产生相对位置信息。于是，可能进行与通过将虚拟摄像机的成像方向与用户a的视线对齐相类似的操作。
虚拟视点图像发生器30被提供有来自匹配单元29的匹配像素位置以及像素的亮度成分。同样，虚拟视点图像发生器30根据由信息发生器33所产生的相对位置信息来确定被包括在将要产生的新虚拟视点图像Ima中的像素位置以及像素亮度成分。虚拟视点图像发生器30将根据所确定的像素位置以及亮度成分形成的虚拟视点图像Ima提供给输出控制器31。
输出控制器31进行这样的控制，即由虚拟视点图像发生器30产生的虚拟视点图像Ima经网络7发送到图像处理器2b。在这样的情形，可以使输出控制器31适用于提供控制，用于仅仅将提供自摄像机11a和12a的图像Pa1和Pa2发送到图像处理器2b。
图像处理器2a的功能将在下面详细地说明：
用户a作为对象由摄像机11a和12a从不同的角度成像。于是，在由摄像机11a捕获的图像Pa1中用户a的观看方向和面部将不同于在由摄像机12a所捕获的图像Pa2中的那样。图像Pa1和Pa2被提供给几何图像校正块21和22，在这里它们将基于这些由摄像机校准单元26预先设定的参数使它们的失真、偏心等得到校正，这些参数比如摄像机11a和12a的透镜失真以及图像中心。
由这些几何图像校正块21和22所校正的图像Pa1和Pa2被提供给正规化块24，在这里它们将像如下详述的那样被正规化：
图6解释了如何对由摄像机11a和12a捕获的图像Pa1和Pa2进行正规化。如图6所示，在通过摄像机11a和12a各自光心C1和C2的光轴与对象(用户a)的点M对齐的情况下，用户a被摄像机11a和12a从不同的视点成像，如此由摄像机11a和12a分别捕获的图像Pa1和Pa2将平行于摄像机11a和12a的成像平面。分别连接摄像机11a和12a与点M的直线的方向与图像Pa1和Pa2的法线方向k1和k2重合，但是它们却彼此不同。几何正规化被用于使图像Pa1和Pa2的法线方向k1和k2相互平行，由此产生正规化的图像Pm1和Pm2。
上述几何正规化可以这样得以实现，即通过使用由摄像机校准单元26预先设定的投影变换矩阵P1和P2、估计摄像机内部参数A1和A2、旋转矩阵R1和R2以及转换矩阵T1和T2来实现。于是，可以通过使正规化图像的成像平面的法线方向k1’和k2’平行来产生正规化的图像Pm1和Pm2。
这里注意，几何正规化可以通过在包括光心C1和C2的虚拟平面π已经被设定的情况下、使用投影变换矩阵P1和P2来完成，使得图像Pa1和Pa2的法线方向的方向将与虚拟平面π的法线方向平行。
匹配单元29将在正规化块24中被投影变换的正规化图像Pm1和Pm2与对象相结合，对每个像素位置进行匹配。在本发明中，由于图像在设置在匹配单元29之前的正规化块24中被预先正规化，并且它们具有相互平行的外极线，于是图像搜索的鲁棒性(robustness)可以得到提高。
在正规化图像Pm1和Pm2在匹配单元29中被匹配的情形，对应于正规化图像Pm1中外极线L1上的像素P11的点将出现在正规化图像Pm2中外极线L1’上，如图6所示。通过在外极线L1’上进行搜索，作为对应点的像素P11’可以被检测到。
如图7A所示，为使在作为对象的用户a的正规化图像Pm1中的外极线L1上的像素与正规化图像Pm2中外极线L1’上的像素匹配，假设在外极线L1上的特征点序列R1包括特征点序列a1、a2、a3、a4和a5，在外极线L1’上的特征点序列R2包括特征点序列b1、b2、b3、b4和b5。当分别存在于外极线L1和L1’上的特征点序列R1和R2关于对象相互匹配时，在外极线L1’上的特征点b1将以一对一的关系对应于外极线L1上的特征点a1，形成用户a右耳图像的特征点a2和a3将以二对一的关系对应于外极线L1’上的特征点b2。类似的，形成用户a左耳图像的特征点a4将以一对二的关系对应于外极线L1’上的特征点b3和b4。应该注意的是，特征点a5将以一对一的关系对应于外极线L1’上的特征点b5。
如上，因为从对象到摄像机的不同距离所造成的视差，从不同视点对用户a成像所分别得到的正规化图像Pm1和Pm2在耳部等的显示中相互不同。下面将比如耳部的区域被称为“遮藏(occlusion)区域”。因为在遮藏区域中，在一个正规化图像中的对象图像的对应点被另一个正规化图像遮蔽，特征点与另一个的传统匹配，即匹配(a1，b1)、(a2，b2)、(a3，b3)、(a4，b4)和(a5，b5)，将导致错误。
所以，根据本发明的图像处理器2a的匹配单元29被控制来确定上述视差，用于将图7A所示的各个正规化图像中的特征点序列R1和R2相互匹配，以提供如图7B所示的匹配(a1，b1)、(a2，b2)、(a3，b2)、(a4，b3)、(a4，b4)和(a5，b5)。
更具体的，在正规化图像Pm1和Pm2中每个的外极线上的所有像素基于如图7C所示的动态编程(DP)而被动态地相互匹配。
在外极线L1上的特征点a1、a2、a3、a4和a5的序列R1被放置在图7C中的x轴上、外极线L1’上的特征点b1、b2、b3、b4和b5的序列R2被放置在y轴上而使如图7B所示的匹配关系被应用到如图7C所示的图表的情形下，对匹配的搜索将沿由图7C中的粗线所示的路径进行。下面，相互连接对应点并由粗线指示的直线将被称为“最佳路径”。
对于最佳路径向右上的直线延伸，在每条外极线L1和L1’上从左向右移位时，对应的特征点被以一对一的关系依次移位，直到到达特征点相互匹配。在最佳路径向右上直线延伸的示例中，可以在各个外极线L1和L1’上从特征点a1和b1开始从左到右一个特征点接另一个地进行移位，以正确地使特征点a2和b2相互匹配。
同样，对于沿最佳路径的水平移位，在正规化图像Pm1和Pm2之间的视差暗示在正规化图像Pm1中的特征点已经被正规化图像Pm2所遮蔽。在这种情形，在正规化图像Pm1中的多个特征点与正规化图像Pm2的一个特征点相匹配。在沿最佳路径的水平移位的示例中，由于分别位于外极线L1和L1’上并形成用户a的右耳图像的特征点a2和b2中的一个(b2)由于视差还对应于特征点a3，所以特征点b2就在保持为原样的同时还与特征点a3匹配。
同样，对于沿最佳路径的竖直移位，在正规化图像Pm1和Pm2之间的视差暗示在正规化图像Pm2中的特征点已经被正规化图像Pm1所遮蔽。在这种情形，在正规化图像Pm2中的多个特征点与正规化图像Pm1的一个特征点相匹配。在沿最佳路径的竖直移位的示例中，由于分别位于外极线L1和L1’上并形成用户a的左耳图像的特征点a4和b3中的一个(a4)由于视差还对应于特征点b4，所以特征点a4就在保持为原样时与特征点b4匹配。
匹配单元29使外极线L1和L1’之间的特征点相互匹配，这些特征点形成被分别包括在正规化图像Pm1和Pm2中的所有或部分像素。通过确定用于外极线L1和L1’中每个的上述最佳路径，匹配单元29在特征点序列R1和R2之间进行匹配。
图8示出了如何确定到外极线L1和L1’上的随机特征点(x，y)的最佳路径。
通过从特征点(x-1，y-1)开始从左向右每次移动一个点地移位特征点，到特征点(x，y)的最佳路径向图8中图形的右上线性延伸，或者通过在特征点(x-1，y)的特征点y被保持为原样时将特征点水平移位一个点，到特征点(x，y)的最佳路径从图8中图形的特征点(x-1，y)水平延伸。另外，在图8的图形中，通过在特征点(x，y-1)的特征点x被保持为原样时将特征点竖直移位一个点，到特征点(x，y)的最佳路径从特征点(x，y-1)竖直延伸。
更具体地，到特征点(x，y)的最佳路径将通过位于它左边、左下或下方的特征点(x-1，y)，(x-1，y-1)或(x，y-1)，如图6所示。根据本发明，匹配单元29通过依次计算下面将详细说明的函数来确定经特征点(x-1，y)，(x-1，y-1)和(x，y-1)中任何点到特征点(x，y)的路径。
匹配单元29计算匹配成本函数d(x，y)以及动态遮藏成本函数dx(x，y)和dy(x，y)(将在下面给出)，并且对由此计算的函数相应地确定前面所述的最佳路径。匹配成本函数d(x，y)指示在其对应关系待确定的像素位置之间的亮度和色彩成分的相似性，遮藏成本函数dx(x，y)指示正规化图像Pm2对正规化图像Pm1中的对象图像的遮蔽，遮藏成本函数dy(x，y)指示正规化图像Pm1对正规化图像Pm2中的对象图像的遮蔽。这两个遮藏成本函数dx(x，y)和dy(x，y)反映了对象图像之间的视差。
首先，将对如何计算匹配成本函数d(x，y)进行说明。
对于匹配成本函数d(x，y)，确定待比较的亮度和色彩成分中哪个将被加权。该加权通过使用加权因子α计算如下的等式(1)进行：
dk(s，t)＝α×dYk(s，t)+(1-α)dCk(s，t)    ……  (1)其中，(s，t)指示正规化图像Pm1和Pm2中对应于特征点(x，y)的像素的位置，k指示正规化图像Pm1和Pm2中像素所在的线(即，k＝y)。等式(1)中的项dYk(s，t)指示在正规化图像Pm1和Pm2之间在坐标(s，t)处的亮度成分的绝对差值，并且由下面的等式(2)定义：
dYk(s，t)＝|Y1k(s，t)-Y2k(s，t)|           ……  (2)
同样，等式(1)中的项dCk(s，t)指示在正规化图像Pm1和Pm2之间的色彩成分的绝对差值，并且由下面的等式(3)定义：
dCk(s，t)＝|C1k(s，t)-C2k(s，t)|           ……  (3)
即，通过为等式(1)中的项α设定较大的值，待确定的项dk(s，t)可以还被允许来更多地反映亮度成分dYk(s，t)的绝对差值。同样，通过为等式(1)中的项α设定较小的值，待确定的项dk(s，t)可以被允许来更多地反映色彩成分dCk(s，t)的绝对差值。应该注意的是，项α可以被赋予色彩和亮度成分的匹配成本的平均值。
项d(x，y)可以通过基于如等式(1)所给出的那样确定的项dk(s，t)计算如下的等式(4)来确定：
d(x，y)＝(∑dk(s，t))/2K
K＝-K，…，K-1                      ……  (4)
等式(4)表示项d(x，y)可以通过对位于外极线之上和之下的像素平均化得以确定。上述等式(4)允许项d(x，y)反映位于外极线之上和之下的像素之间的相关性。于是，可以以提高的准确性进行匹配。
即，在正规化图像Pm1和Pm2之间的像素位置(s，t)的亮度或色彩成分具有越大的绝对差值，如上确定的匹配成本函数d(x，y)将越大。换句话说，在正规化图像Pm1和Pm2之间的像素位置(s，t)的亮度或色彩成分的差值较大时，匹配成本d(x，y)也将较大。相反，在差值较小时，因为正规化图像Pm1和Pm2相互更近似，所以匹配成本d(x，y)将较小。即，匹配成本d(x，y)允许确定在正规化图像Pm1和Pm2之间的像素位置(s，t)的亮度或色彩成分的相似性。
接下来，将解释如何确定遮藏成本函数dx(x，y)和dy(x，y)。
遮藏成本函数dx(x，y)和dy(x，y)中每一个都基于由信息发生器33所产生的视差信息而产生。在从摄像机11a和12a到作为对象的用户a的距离变得更小(视差变得更大)时，遮藏区域的出现几率将更高。匹配单元29通过减小遮藏成本函数dx(x，y)和dy(x，y)的值来解决这样的情形。相反，在从摄像机11a和12a到作为对象的用户a的距离变得更大(视差变得更小)时，遮藏区域的出现几率将更低。匹配单元29通过增大遮藏成本函数dx(x，y)和dy(x，y)的值来解决这一情形。
遮藏成本函数dx(x，y)和dy(x，y)可以基于如下的等式(5)和(6)被确定：
dx(x，y)＝β×dp(x，y)+T0           ……  (5)
dx(x，y)＝γ×dp(x，y)+T1           ……  (6)其中，项dp(x，y)服从于如上所获得的视差信息，并且其在视差变得更大时变得更小，在视差变得更小时变得更大。项β和γ指示项dp(x，y)的变化速率，并且可以通过试验预先确定。此外，项T0和T1是初始遮藏成本常数，并且也可以通过试验预先确定。
在确定了上述遮藏成本函数dx(x，y)、d(x，y)和dy(x，y)中每一个之后，匹配单元29分别基于如下的等式(7)、(8)和(9)分别增加累积匹配成本C(x-1，y)，C(x-1，y-1)以及C(x，y-1)来计算总成本k1、k2和k3：
k1＝C(x-1，y)+dx(x，y)            ……  (7)
k2＝C(x-1，y-1)+d(x，y)           ……  (8)
k3＝C(x，y-1)+dy(x，y)            ……  (9)
其中，项C(x-1，y)，C(x-1，y-1)以及C(x，y-1)指示分别在特征点(x-1，y)，(x-1，y-1)以及(x，y-1)确定的累积匹配成本。应该注意的是，累积匹配成本k1、k2和k3中最小的一个被赋予特征点(x，y)处的累积匹配成本C(x，y)，如下面等式(10)所给出的那样：
C(x，y)＝min{k1，k2，k3}          ……  (10)
匹配单元29通过选择所判定的总成本k1、k2和k3中最小的一个来确定最佳路径。
在总成本k1最小的情形，视差较大，这意味着正规化图像Pm1中的特征点由正规化图像Pm2所遮蔽。在这样的情形，到特征点(x，y)的最佳路径将由如图8中箭头J1所示的开始于特征点(x-1，y)的水平移位确定。
同样，在总成本k3最小的情形，视差较大，这意味着正规化图像Pm2中的特征点由正规化图像Pm1所遮蔽。在这样的情形，到特征点(x，y)的最佳路径将由如图8中箭头J3所示的开始于特征点(x，y-1)的竖直移位确定。
而且，在总成本k2最小的情形，这意味着正规化图像Pm1和Pm2在像素位置(s，t)的亮度或色彩成分高度相似。在这样的情形，到特征点(x，y)的最佳路径将由如图8中箭头J2所示的开始于特征点(x-1，y-1)的一个特征点接另一个的水平和竖直移位确定。
图9B示出了在图9A中正规化图像Pm1和Pm2的外极线L1和L1’上的特征点像素成分(亮度或色彩)之间的对应关系。
在图9A中的在正规化图像Pm1中用户a两侧的壁上的凹度(concavity)L2和L3以及在正规化图像Pm2中用户a两侧的壁上的凹度L2’和L3’，在图9B中以直线形式清楚地显示为像素成分的差值。类似地，形成用户a的图像的像素成分在接近图9B的中央明确地显示出像素成分的差值。
在最佳路径如图9B所示经过在外极线L1和L1’上特征点的相同像素成分的交点的情形，这意味着总成本k2最小，使得优先级被给予像素位置(s，t)的亮度或色彩成分的高度相似性。另一方面，在最佳路径通过除外极线L1和L1’上特征点的相同像素成分的交点外的任何点的情形，这意味着总成本k1或k3最小，使得正规化图像Pm1和Pm2中任何一个都由于视差被遮蔽。
如上，从特征点(x-1，y)，(x-1，y-1)以及(x，y-1)中任何一个到特征点(x，y)的最佳路径将被确定。确定最佳路径意味着，对应于正规化图像Pm1和Pm2之间的亮度和色彩成分的相似性以及视差，最佳对应关系已经被相应地确定。此外，在前面所述的等式(10)中的项C(x，y)将被定义为最佳累积匹配成本，用于确定在每个像素位置像素之间的亮度或色彩成分的对应关系。由于在图9的图表中在确定到上边、右上和右边特征点的最佳路径时可以对这些累积匹配成本C(x，y)进行累积参考，所以可以以更高的准确性进行匹配。
此外，由于匹配单元29基于与传统概念非常不同的概念来计算函数dx(x，y)、d(x，y)和dy(x，y)中每一个，因此在如上确定的总成本k1、k2和k3基于前面所述的等式(10)被相互比较时，将可能出现相应于成像环境和对象的误差。在这样的情形，在等式(5)和(6)中的项β、γ、T0和T1可以对应于成像环境和对象被预先优化，以消除函数dx(x，y)、d(x，y)和dy(x，y)之间的差别。
根据本发明的在图像处理器2a中的匹配单元29，在确定正规化图像Pm1和Pm2之间的对应关系时，确定优先级给予确定的相似性或视差中的哪一个。当优先级被给予相似性时，匹配单元29将水平线上的相同像素位置相互匹配。当优先级被给予视差时，匹配单元29将同一水平线上的多个像素位置与单个像素位置匹配。于是，即使在存在遮藏区域的情形，也可能获得更加准确的匹配。同样，通过使用前面所述的技术进行匹配，还可能以改进的准确性来匹配例如两个眼部的重复图像或亮度变化将很小的非特征点(例如，壁部分)。而且，即使例如是在亮度根据视线而变化的区域(比如窗部分)或在发生规则反射的区域(比如用户的鼻子部分)中，也可以进行相对容易的匹配，而受亮度和色彩成分差值的影响更少。
注意，只要相似性和视差已经被确定，并且对应于所确定的相似性和视差在正规化图像Pm1和Pm2之间的对应关系已经被确定，那么根据本发明在图像处理器2a中的匹配单元29当然可以如上有效。
虚拟视点图像发生器30基于如上由匹配单元29确定的对应关系产生虚拟视点图像Ima。例如，在匹配单元29已经确定正规化图像Pm2中的像素位置P11’为对应于正规化图像Pm1中的像素位置P11的点的情形，这样的像素位置P11的坐标被取为(x1，y1)，像素位置P11’的坐标被取为(x2，y2)，如图10所示。虚拟视点图像发生器30能够确定在虚拟视点图像Ima中与这些像素位置P11和P11’相对应的像素位置的坐标(xt，yt)，如由下面的等式(11)基于相对位置信息m所给出的：
(xt，yt)＝(1-m)×(x1，y1)+m×(x2，y2)    ……  (11)
同样，当像素位置P11和P11’的亮度成分被分别取为J11和J11’时，在这样的虚拟视点图像Ima中在像素位置Ph的亮度成分Pt由如下的等式(12)给出：
Pt＝(1-m)×J11+m×J11′                 ……  (12)
如上，虚拟视点图像发生器30能够对应于相对位置信息m来确定被包括在虚拟视点图像Ima中每个像素的坐标，以及在每个像素位置的亮度成分。应该注意的是，相对位置信息m在虚拟摄像机的虚拟视点更加接近摄像机11a时变得更小，而在该虚拟视点更加接近摄像机12a时变得更大。
所以，基于等式(11)确定的坐标(xt，yt)，在虚拟视点更加接近摄像机11a时更加接近像素位置P11的坐标(x1，y1)，而在该虚拟视点更加接近摄像机12a时将更加接近像素位置P12的坐标(x2，y2)。即，由于坐标(xt，yt)可以对应于虚拟摄像机的位置被自由地确定，所以用户a可以被显示在虚拟视点图像Ima中自由选择的位置。
同样，基于等式(12)确定的亮度成分Pt在虚拟视点更加接近摄像机11a时更加接近像素位置P11的亮度成分J11，而在该虚拟视点更加接近摄像机12a时将更加接近像素位置P11’的亮度成分J11’。即，可以使形成用户a在虚拟视点图像Ima中的图像的像素具有更加接近亮度成分J11或J11’的亮度成分。
更具体地说，由于摄像机11a和12a的成像方向相互不同，所以在正规化图像Pm1中的像素位置P11和在正规化图像Pm2中对应于像素位置P11的像素位置P11’的亮度成分相互不同。通过假设不同亮度成分中的任何一个是最小值而另一个是最大值，对应于相对位置信息m线性增加或减小亮度成分Pt，可能对应于虚拟摄像机的位置来确定形成显示在虚拟视点图像Ima中的用户a图像的像素的亮度成分。此外，由于虚拟视点图像Ima是基于在匹配单元29中创建的匹配关系而产生的，所以可能更加有效地防止由此形成的图像在图像质量方面的劣化。
与用户a的观看方向、面部方向等相互不同的正规化图像Pm1和Pm2相比，通过依次确定像素位置ph的坐标(xt，yt)和像素位置的亮度成分Pt，所产生的虚拟视点图像Ima将总是朝前定向的。
如上产生的虚拟视点图像Ima在输出控制器31的控制下被发送到网络7。然后，被发送到另一个用户位置的图像处理器2b的虚拟视点图像Ima将在图像处理器2b的控制下被显示在显示单元5b上。用户b将在看着显示在显示单元5b上的虚拟视点图像Ima中的用户a的同时，与用户a进行交谈。由于用户a的面部和视线是朝前定向的，所以用户b将感觉到他似乎正在观看由位于接近屏幕中央的虚拟摄像机捕获的图像。类似地，用户a将在观看显示在显示单元5a上的虚拟视点图像Imb中的用户b的同时，与用户b进行交谈。但是，用户a将能够看到面部朝前的用户b。即，通信系统1可以实现这样的可视通信系统，其中用户可以在始终看着对方的同时，进行更加真实的远程交谈。
特别地，该通信系统1还具有优势之处在于整个系统并不复杂，这是因为在显示单元5的两侧分别提供至少两台摄像机11和12就足够了，并且提取对象的三维信息不是必需的。
此外，通信系统1能够提供易于使用、便宜的系统，因为它不需要任何特殊的装置，比如单向透视玻璃、全息屏幕、投影仪等。
注意，根据本发明的通信系统不限于前面所述的实施方案，而是可以被应用于例如图11所示的成像系统7，该成像系统7处理用于复眼立体观看的捕获图像。成像系统7中与在前面所述的通信系统1中的那些相同或类似的元件将使用解释图像系统1时所使用的相同或类似标号指出，并将不再作出解释。
如图11所示，成像系统7包括从不同的视点对同一个对象5成像的8台摄像机71_1到71_8，被提供有由摄像机71_1到71_8中每个捕获的图像的图像校正单元72_1到72_8，提供用于对图像校正单元72_1到72_8中的图像进行校正的必要参数的摄像机校准单元26，将提供自图像校正单元72_1到72_8的图像相互匹配的匹配单元29，检测观看立体显示单元80的用户头部的位置并基于所检测的头部位置估计用户的相对视点位置的双眼位置估计单元75，对应于由双眼位置估计单元75所估计的用户视点位置产生指示用户视点到立体显示单元80的位置关系的相对位置信息的信息发生器76，被连接到匹配单元29和信息发生器76以产生由用户左眼观看的左眼视差图像和由用户右眼观看的右眼视差图像的虚拟视点图像发生器30，以及控制立体显示单元80以显示提供自虚拟视点图像发生器30的左眼视差图像和右眼视差图像的显示控制器79。
上述摄像机71_1到71_8中每个都将所捕获的对象的光学图像原样提供给CCD，以将光学图像转换为电信号。摄像机71_1到71_8将由转换的电信号所代表的图像提供给图像校正单元72_1到72_8。
图像校正单元72_1到72_8扮演着前面所述的几何图像校正单元21和22的角色，基于包括摄像机71_1到71_8之间的几何关系的控制信息来校正输入图像。
匹配单元29如上所述地结合对象5将由相互邻近的摄像机捕获的图像在每个像素位置进行匹配。
双眼位置估计单元75，检测观看立体显示单元80的用户的头部相对于立体显示单元80的三维位置和大小。双眼位置估计单元75使用距离测量装置等，这些装置使用立体或测距技术来进行实时位置检测。双眼位置估计单元75基于所检测到的用户头部的三维位置和大小，使用三维空间坐标来估计用户左眼和右眼的位置。例如，双眼的位置可以在实时基础上，同时参考有关人头部和双眼之间的位置关系的统计测量数据被估计。
信息发生器76产生从对(由双眼位置估计单元75所估计的)用户左、右眼位置的参数化所得到的相对位置信息，并且将该信息发送到虚拟视点图像发生器30。
虚拟视点图像发生器30被提供有由匹配单元29相互匹配的像素位置以及像素位置的亮度成分。此外，虚拟视点图像发生器30对应于由信息发生器76产生的相对位置信息、从被匹配的像素位置和亮度成分产生左眼视差图像和右眼视差图像，替代虚拟视点图像Ima。
显示控制器79对应于在立体显示单元80中采用的显示技术来在每个像素位置，为由虚拟视点图像发生器30产生的左眼和右眼平行图像分配亮度级别(RGB)。
立体显示单元80是光学元件与液晶显示板的组合，用于显示相互不同的左眼和右眼视差图像。其优点在于，用户不用佩戴任何特殊的眼镜就可以观看到三维图像。
图12A示出了由虚线表示的对象5与每个摄像机71之间的位置关系，其与由实线表示的立体显示单元80与用户视点之间的位置关系部分重叠。立体显示单元80将仅仅在对象5和每个摄像机71的光心之间的位置关系与观看立体显示单元80的用户的视点位置之间的位置关系重合时才提供立体视图。
为了利用与对象5位于坐标(0，0，0)的点M对齐的摄像机71_1到71_8的光轴成像，立体显示单元80的中心被放置在点M，使得该中心的坐标被定位在原点(0，0，0)。同样，由双眼位置估计单元75所测量的用户头部位置的坐标(xn，yn，zn)是基于原点(0，0，0)而确定的。应该注意的是，如何来定义用户头部的位置可以由成像系统7自由地来确定。例如，用户前额的中心可以被定义为头部位置。
如果用户头部在位置A，那么双眼位置估计单元75将基于位置A的坐标(xa，ya，za)来确定用户的左眼和右眼的位置。同样，当用户头部在位置B时，双眼位置估计单元75将确定位置B的坐标(xb，yb，zb)。同样，当用户头部在位置C时，双眼位置估计单元75将确定位置C的坐标(xc，yc，zc)。应该注意的是，双眼位置估计单元75同时标识这样的坐标和用户头部的大小。
双眼位置估计单元75基于所确定的用户头部的位置坐标(xn，yn，zn)来估计用户的左眼和右眼的位置。如图12B所示，例如，根据基于头部位置A而确定的坐标(xa，ya，za)以及所确定的用户头部大小，参考统计测量数据来估计用户左眼的坐标(xaL，yaL，zaL)和用户右眼的坐标(xaR，yaR，zaR)。于是，可能都基于立体显示单元80中心的坐标(0，0，0)来确定相互间的左眼位置的坐标(xaL，yaL，zaL)和右眼位置的坐标(xaR，yaR，zaR)。
这里注意，当所估计的左眼位置的坐标(xaL，yaL，zaL)和所估计的右眼位置的坐标(xaR，yaR，zaR)位于图12A中每个都由虚线表示的摄像机71_1到71_8中每一个的光心时，可以通过将这样的摄像机捕获的图像原样作为左眼视差图像和右眼视差图像的图像来提供立体视图。但是，在任何其它的情形，将不能获得每个摄像机71的光心和对象5之间的位置关系，所以对于用户来说难于得到立体视图。
当所估计的左眼位置的坐标(xaL，yaL，zaL)和所估计的右眼位置的坐标(xaR，yaR，zaR)不在摄像机71_1到71_8的每个的光心、而在如图12A所示的连接摄像机71光心的线Lc上时，上述位置关系可以仅仅通过形成左眼视差图像(或右眼视差图像)而被调节。
例如，如图13所示，当用户的头部在位置D而所估计的左眼和右眼的位置分别在VcL1和VcR1时，调整位置关系使得通过使用被置于VcL1和VcR1的虚拟摄像机对对象5的点M(对应于立体显示单元80中心的坐标(0，0，0))成像所形成的图像将是左眼视差图像(右眼视差图像)。
在这样的情形，信息发生器76获取由双眼位置估计单元75如上估计的左眼位置VcL1和右眼的位置VcR1。然后所获取的左眼位置VcL1被假设为将放置摄像机的虚拟位置WL1，并且该几何关系被应用到实际上以相对于对象5的位置关系被放置的摄像机71_1到71_8之间的位置关系。类似的，所获取的右眼位置VcR1被假设为将放置摄像机的虚拟位置WR1，并且该几何关系被应用到实际上以相对于对象5的位置关系被放置的摄像机71_1到71_8之间的位置关系。
例如，当左眼位置VcL1和右眼位置VcR1都如图13所示在摄像机71_4和71_5之间时，信息发生器76识别左眼位置VcL1、右眼位置VcR1与摄像机71_4和71_5之间的位置关系，并且基于该识别产生相对位置信息KL1和KR1。相对位置信息KL1指的是虚拟位置WL1位于摄像机71_4和71_5之间KL1∶(1-KL1)的比率处。同样的，相对位置信息KR1指的是虚拟位置WR1位于摄像机71_4和71_5之间KR1∶(1-KR1)的比率处。即，相对位置信息KL1和KR1越小，虚拟位置WL1和WR1将越接近摄像机71_4。相对位置信息KL1和KR1越大，虚拟位置WL1和WR1将越接近摄像机71_5。
于是，在虚拟视点图像发生器18中，当虚拟位置WL1(虚拟位置WR1)越接近摄像机71_4时，基于前面所述的等式(11)所确定的左眼视差图像(右眼视差图像)中的像素mv’的坐标(xt，yt)将越接近坐标(x1，y1)，而当虚拟位置WL1(虚拟位置WR1)越接近摄像机71_5时，坐标(xt，yt)将越接近坐标(x2，y2)。
同样，当虚拟位置WL1(虚拟位置WR1)越接近摄像机71_4时，基于前面所述的等式(12)所确定的左眼视差图像(右眼视差图像)中的像素mv’的亮度分量Pt将越接近J11’，而当虚拟位置WL1(虚拟位置WR1)越接近摄像机71_5时，亮度分量Pt将越接近J12’。
如此获得的左眼视差图像(右眼视差图像)将与假设摄像机被放置在VcL1(VcR1)所能获得的图像一致。通过经显示控制器79在立体显示单元80上显示视差图像，使用由分别被放置在所估计的左眼位置VcL1和右眼位置VcR1的摄像机捕获的图像将分别被作为左眼和右眼视差图像提供。
图14示出了合成左眼视差图像(右眼视差图像)的例子。这里假设对象5是人脸，并且由摄像机71_4和71_5成像。在这样的例子，摄像机71_4将对象5成像为在它成像范围右端捕获的图像，而摄像机71_5将从与摄像机71_4视点不同的视点将对象5成像为在成像范围左端捕获的图像。于是，如图14所示，由摄像机71_4捕获的图像将是几乎在右端向右观看的人，由摄像机71_5捕获的图像将是几乎在左端向左观看的人。
当相对位置信息k较小(k1)时，虚拟位置WL1a(虚拟位置WR1a)更接近摄像机71_4。此外，虚拟位置WL1a(WR1a)将确保左眼视差图像(右眼视差图像)基于前面所述的等式(11)和(12)被确定并且更接近于由摄像机71_4捕获的图像。
同样，随着相对位置信息从k2到k4逐渐变大，虚拟位置将逐渐从WL1b(虚拟位置WR1b)移向WL1d(虚拟位置WR1d)，即，将逐渐更接近摄像机71_5。因此，被包括在左眼视差图像中的图像将逐渐从右端移位到左端，并且被成像的人的观看方向将逐渐从右向左变化。
这里注意，当所估计的左眼位置的坐标(xaL，yaL，zaL)和所估计的右眼位置的坐标(xaR，yaR，zaR)不在线Lc上时，位置关系可以通过增大或减小左眼视差图像(右眼视差图像)的视图区(view field)而被调节。
在能够进行前面所述的立体观看的成像系统7中，即使由于视差出现了遮藏区域，匹配单元29也可以提供准确的匹配。于是，可能在根本不受观看立体显示单元80的用户视点位置影响的情形下，准确而顺利地消除视差错位，并且由此一直提供看起来更逼真的三维图像。
同样，通过在相互连接摄像机中心的线上产生随机虚拟视点图像，可以产生没有视差错位的全息图形。
在前面，已经参考附图将本发明特定优选实施方案作为例子对本发明进行了说明。但是，本领域普通技术人员应该理解的是，在不背离所附的权利要求书中所阐述和定义的本发明的范围和精神的情形，本发明不限于这些实施方案，而可以以多种方式进行修改、可替换地构建或以各种其它形式实现。
本申请要求于2003年11月27日递交的日本专利申请No.2003-398155的优先权，这里通过引用将其全文包含在内。

Claims (16)

1.一种图像处理装置，包括：
图像校正装置，用于对由至少两台摄像机从不同视点对对象成像所获取的图像进行对齐；以及
匹配装置，用于在由所述图像校正装置所校正的图像之间，对与所述对象相关的、位于相同水平线上的每个像素确定对应关系，
所述匹配装置通过在其对应关系待确定的像素位置之间进行比较来确定像素位置的亮度和色彩成分的相似性，并确定在所述对象的所述图像之间的视差，由此来对应于所确定的相似性和视差确定所述对应关系。
2.根据权利要求1的装置，其中，为确定对应关系，所述匹配装置确定将优先级给予所确定的相似性和视差中的哪一个，
在优先级被给予所述相似性的情形，所述匹配装置将所述水平线上的相同像素位置相互匹配，而在优先级被给予所述视差的情形，所述匹配装置将同一水平线上的多个像素位置与一个像素位置匹配。
3.根据权利要求1的装置，其中，所述匹配装置对为了确定所述相似性而被比较的亮度或色彩成分加权。
4.根据权利要求1的装置，其中，所述匹配装置在反映在所述水平线之上和之下的像素位置的亮度和色彩成分之间的相关性时确定所述相似性。
5.根据权利要求1的装置，其中，所述匹配装置基于从所述摄像机中的每一个到所述对象的距离来确定所述视差。
6.根据权利要求1的装置，其中，所述图像校正装置将由所述摄像机中的每一个捕获的图像的法线与虚拟设定的虚拟平面的法线方向对齐。
7.根据权利要求6的装置，其中，所述图像校正装置确定用于将由所述摄像机捕获的每一个图像投影到所述虚拟平面上的投影转换矩阵，并且基于所确定的投影转换矩阵将所述每一个图像的法线方向与所述虚拟平面的法线方向对齐。
8.根据权利要求1的装置，还包括信息发生装置，用于产生指示虚拟放置的虚拟摄像机的光心到每个所述摄像机的位置关系的相对位置信息；以及
图像发生装置，用于从由所述匹配装置相互匹配的像素位置以及所述位置中的亮度和色彩成分、对应于所产生的相对位置信息，确定形成将由所述虚拟摄像机产生的虚拟图像的像素的位置，以及确定所述像素位置中的亮度成分。
9.一种图像处理方法，包括如下步骤：
将由至少两台摄像机从不同视点对对象成像所获取的图像进行对齐；以及
在所述对齐步骤中被校正的图像之间，对与所述对象相关的、位于同一水平线上的每个像素确定对应关系，
在所述匹配步骤中，通过在其对应关系待确定的像素位置之间的比较来确定像素位置中的亮度和色彩成分的相似性，并确定在所述对象的所述图像之间的视差，由此来对应于所确定的相似性和视差确定所述对应关系。
10.根据权利要求9的方法，其中在所述匹配步骤中，为确定对应关系，确定将优先级给予所确定的相似性和视差中的哪一个，
在优先级被给予所述相似性的情形，在所述水平线上的相同像素位置相互匹配，而在优先级被给予所述视差的情形，在所述同一水平线上的多个像素位置与一个像素位置匹配。
11.根据权利要求9的方法，其中在所述匹配步骤中，为待比较来确定所述相似性的亮度或色彩成分加权。
12.根据权利要求9的方法，其中在所述匹配步骤中，在反映在所述水平线之上和之下的像素位置中的亮度和色彩成分之间的相关性时确定所述相似性。
13.根据权利要求9的方法，其中在所述匹配步骤中，基于从每个摄像机到所述对象的距离来确定所述视差。
14.根据权利要求9的方法，其中在所述图像校正步骤中，将每个由所述摄像机所捕获图像的法线与虚拟设定的虚拟平面的法线方向对齐。
15.根据权利要求14的方法，其中在所述图像校正步骤中，确定用于将每个由所述摄像机所捕获图像投影到所述虚拟平面的投影转换矩阵，并且基于所确定的投影转换矩阵将每个所述图像的法线方向与所述虚拟设定的虚拟平面的法线方向对齐。
16.根据权利要求9的方法，还包括信息发生步骤，用于产生指示虚拟放置的虚拟摄像机的光心到每个所述摄像机的位置关系的相对位置信息；以及
图像产生步骤，用于从由所述匹配装置相互匹配的像素位置以及所述位置中的亮度和色彩成分、对应于所产生的相对位置信息，确定形成将由所述虚拟摄像机产生的虚拟图像的像素的位置，以及确定所述像素位置中的亮度成分。
CN200410098224A 2003-11-27 2004-11-29 图像处理装置和方法 Expired - Fee Related CN100584040C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003398155A JP4069855B2 (ja) 2003-11-27 2003-11-27 画像処理装置及び方法
JP398155/2003 2003-11-27

Publications (2)

Publication Number Publication Date
CN1678084A true CN1678084A (zh) 2005-10-05
CN100584040C CN100584040C (zh) 2010-01-20

Family

ID=34649899

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200410098224A Expired - Fee Related CN100584040C (zh) 2003-11-27 2004-11-29 图像处理装置和方法

Country Status (4)

Country Link
US (1) US7957581B2 (zh)
JP (1) JP4069855B2 (zh)
KR (1) KR101091297B1 (zh)
CN (1) CN100584040C (zh)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007110000A1 (en) * 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. A method and device of obtaining disparity vector and its multi-view encoding-decoding
CN101237590B (zh) * 2007-02-01 2010-05-19 广达电脑股份有限公司 立体影像显示方法
CN101325724B (zh) * 2008-07-23 2010-06-02 四川虹微技术有限公司 一种立体图像对的极线校正方法
CN101540832B (zh) * 2009-04-24 2011-02-09 段江 图像信号的动态范围匹配方法
CN102362495A (zh) * 2009-03-25 2012-02-22 思科技术公司 用于具有显示墙的视频会议端点的多个相机的组合视图
CN102369550A (zh) * 2009-03-31 2012-03-07 松下电器产业株式会社 立体图像处理器和立体图像处理方法
CN102447932A (zh) * 2011-10-31 2012-05-09 华中科技大学 自由视点视频中视点的重建方法
CN102572482A (zh) * 2012-01-06 2012-07-11 浙江大学 基于fpga的立体视频到多视点视频的3d重构方法
CN102598652A (zh) * 2009-10-30 2012-07-18 佳能株式会社 信息处理设备和方法
CN102792333A (zh) * 2010-03-19 2012-11-21 拉碧斯半导体株式会社 图像处理装置、方法、程序以及记录介质
CN102972032A (zh) * 2010-06-30 2013-03-13 富士胶片株式会社 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质
CN103563369A (zh) * 2012-05-28 2014-02-05 松下电器产业株式会社 图像处理装置、摄像装置、图像处理方法、以及程序
CN104506837A (zh) * 2014-12-04 2015-04-08 北京邮电大学 一种裸眼三维立体显示的深度控制方法
CN104581112A (zh) * 2013-10-14 2015-04-29 钰创科技股份有限公司 快速产生摄像机的距离对视差关系表的系统及其相关方法
CN104913762A (zh) * 2014-03-10 2015-09-16 福特全球技术公司 用于估计行驶中的车辆和对象之间的距离的方法和装置
CN104949619A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车辆用立体图像处理装置
CN105340260A (zh) * 2013-06-25 2016-02-17 奥林巴斯株式会社 图像处理装置、图像处理方法和存储了图像处理程序的非暂时存储介质
CN106358006A (zh) * 2016-01-15 2017-01-25 华中科技大学 视频的校正方法及装置
CN109872344A (zh) * 2019-02-25 2019-06-11 广州视源电子科技股份有限公司 图像特征点的跟踪方法、匹配方法和坐标获取方法、装置
CN110100149A (zh) * 2016-12-27 2019-08-06 索尼公司 勘测标记、图像处理装置、图像处理方法和程序
CN110639143A (zh) * 2019-10-21 2020-01-03 中车大连机车研究所有限公司 一种混合动力动车组火灾防控系统
CN111340933A (zh) * 2018-12-19 2020-06-26 佳能株式会社 图像处理装置、图像处理系统、图像处理方法和存储介质
CN111465818A (zh) * 2017-12-12 2020-07-28 索尼公司 图像处理设备、图像处理方法、程序和信息处理系统
US11006098B2 (en) 2016-05-10 2021-05-11 Sony Corporation Information processing apparatus, information processing system, and information processing method
CN114633692A (zh) * 2022-03-14 2022-06-17 深圳市艾为智能有限公司 一种偏心镜头在cms系统中的应用方法

Families Citing this family (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307654B2 (en) * 2002-10-31 2007-12-11 Hewlett-Packard Development Company, L.P. Image capture and viewing system and method for generating a synthesized image
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
JP4707368B2 (ja) * 2004-06-25 2011-06-22 雅貴 ▲吉▼良 立体視画像作成方法および装置
JP2006285952A (ja) * 2005-03-11 2006-10-19 Sony Corp 画像処理方法、画像処理装置、プログラムおよび記録媒体
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
KR100682978B1 (ko) 2005-08-19 2007-02-15 한국전자통신연구원 영상을 이용한 얼굴의 광학 특성 맵 추출 시스템 및 그방법
JP4472607B2 (ja) * 2005-09-20 2010-06-02 日本電信電話株式会社 ３次元映像提示・撮像装置
KR101204076B1 (ko) * 2005-09-30 2012-11-22 삼성테크윈 주식회사 대상 영상의 기준 영상에 대한 유사도를 정확하게 판단하는방법
JP4465619B2 (ja) * 2005-10-31 2010-05-19 ソニー株式会社 登録装置、照合装置、画像補正方法及びプログラム
US7630002B2 (en) 2007-01-05 2009-12-08 Microsoft Corporation Specular reflection reduction using multiple cameras
KR100756034B1 (ko) * 2006-01-26 2007-09-07 삼성전자주식회사 변이벡터 보정장치 및 변이벡터 보정방법
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
JP4257356B2 (ja) * 2006-09-26 2009-04-22 株式会社日立製作所 画像生成装置および画像生成方法
JP2008106185A (ja) * 2006-10-27 2008-05-08 Shin Etsu Chem Co Ltd 熱伝導性シリコーン組成物の接着方法、熱伝導性シリコーン組成物接着用プライマー及び熱伝導性シリコーン組成物の接着複合体の製造方法
US8019180B2 (en) * 2006-10-31 2011-09-13 Hewlett-Packard Development Company, L.P. Constructing arbitrary-plane and multi-arbitrary-plane mosaic composite images from a multi-imager
EP2143270A1 (en) * 2007-03-30 2010-01-13 Nxp B.V. A device for and a method of processing image data representative of an object
FR2922074B1 (fr) * 2007-10-05 2010-02-26 Thales Sa Procede de synchronisation de flux video
CN101453662B (zh) * 2007-12-03 2012-04-04 华为技术有限公司 立体视频通信终端、系统及方法
US8838489B2 (en) 2007-12-27 2014-09-16 Amazon Technologies, Inc. On-demand generating E-book content with advertising
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US10229389B2 (en) * 2008-02-25 2019-03-12 International Business Machines Corporation System and method for managing community assets
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US8106924B2 (en) * 2008-07-31 2012-01-31 Stmicroelectronics S.R.L. Method and system for video rendering, computer program product therefor
JP4974984B2 (ja) * 2008-09-11 2012-07-11 三菱電機株式会社 映像記録装置及び方法
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
JP4637942B2 (ja) * 2008-09-30 2011-02-23 富士フイルム株式会社 ３次元表示装置および方法並びにプログラム
US8537196B2 (en) 2008-10-06 2013-09-17 Microsoft Corporation Multi-device capture and spatial browsing of conferences
KR100967556B1 (ko) * 2009-01-07 2010-07-05 아진산업(주) 차량실내 감시 기록장치
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
JP5388032B2 (ja) * 2009-05-11 2014-01-15 独立行政法人情報通信研究機構 遠隔コミュニケーションシステム、制御装置、制御方法およびプログラム
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
BR112012001606B1 (pt) * 2009-07-27 2021-07-13 Koninklijke Philips N. V. Dispositivo para video para o processamento de um sinal de video tridimensional 3d, metodo para o processamento de um sinal de video tridimensional 3d, metodo para o provimento de um sinal de video tridimensional 3d para a transference para um dispositivo de video 3d, e suporte de registro
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
JP2011059658A (ja) * 2009-08-11 2011-03-24 Sony Corp 表示装置、表示方法およびコンピュータプログラム
GB2473248A (en) * 2009-09-04 2011-03-09 Sony Corp Determining image misalignment by comparing image characteristics at points along a line
CN102035988A (zh) * 2009-09-29 2011-04-27 深圳富泰宏精密工业有限公司 手机摄像头拍照效果测试系统及方法
US8542267B1 (en) * 2009-10-01 2013-09-24 Hewlett-Packard Development Company, L.P. Calibrating a visual-collaborative system
CA2683206C (en) * 2009-10-17 2018-07-03 Hermary Opto Electronics Inc. Enhanced imaging method and apparatus
KR101629479B1 (ko) * 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
ES2361758B1 (es) * 2009-12-10 2012-04-27 Universitat De Les Illes Balears Procedimiento de establecimiento de correspondencia entre una primera imagen digital y una segunda imagen digital de una misma escena para la obtención de disparidades.
JP2011176800A (ja) * 2010-01-28 2011-09-08 Toshiba Corp 画像処理装置、立体表示装置及び画像処理方法
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8384770B2 (en) 2010-06-02 2013-02-26 Nintendo Co., Ltd. Image display system, image display apparatus, and image display method
EP2395768B1 (en) * 2010-06-11 2015-02-25 Nintendo Co., Ltd. Image display program, image display system, and image display method
JP5073013B2 (ja) * 2010-06-11 2012-11-14 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御方法および表示制御システム
EP2395764B1 (en) 2010-06-14 2016-02-17 Nintendo Co., Ltd. Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method
JP5573426B2 (ja) * 2010-06-30 2014-08-20 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
JP5292364B2 (ja) * 2010-07-07 2013-09-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
JP5392415B2 (ja) * 2010-09-22 2014-01-22 富士通株式会社 ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム
JP5739674B2 (ja) 2010-09-27 2015-06-24 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
JP5588812B2 (ja) * 2010-09-30 2014-09-10 日立オートモティブシステムズ株式会社 画像処理装置及びそれを用いた撮像装置
US9736462B2 (en) * 2010-10-08 2017-08-15 SoliDDD Corp. Three-dimensional video production system
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
KR20120049997A (ko) * 2010-11-10 2012-05-18 삼성전자주식회사 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
US9380285B2 (en) 2010-12-20 2016-06-28 Samsung Display Co., Ltd. Stereo image processing method, stereo image processing device and display device
US8823769B2 (en) * 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
KR101814798B1 (ko) * 2011-01-26 2018-01-04 삼성전자주식회사 입체영상 처리 장치 및 방법
KR20120091585A (ko) * 2011-02-09 2012-08-20 삼성전기주식회사 디스플레이 장치 및 삼차원 영상 제공방법
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US20120259638A1 (en) * 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Apparatus and method for determining relevance of input speech
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
JP2013038602A (ja) * 2011-08-08 2013-02-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5879873B2 (ja) * 2011-09-27 2016-03-08 日本電気株式会社 視差画像生成装置、視差画像生成方法及び視差画像生成装置の制御プログラム
KR20130036593A (ko) * 2011-10-04 2013-04-12 삼성디스플레이 주식회사 이미지 중첩 현상을 방지할 수 있는 3ｄ 디스플레이 장치
KR101841750B1 (ko) * 2011-10-11 2018-03-26 한국전자통신연구원 매칭 정보에 의한 입체 영상 보정 장치 및 그 방법
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
WO2013108339A1 (ja) * 2012-01-20 2013-07-25 パナソニック株式会社 ステレオ撮影装置
US8971611B2 (en) * 2012-02-08 2015-03-03 JVC Kenwood Corporation Image process device, image process method, and image process program
JP5953916B2 (ja) * 2012-05-02 2016-07-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
US9610101B2 (en) 2012-06-11 2017-04-04 Lihai Zhang Long-bone fracture-reduction robot
WO2014013804A1 (ja) * 2012-07-18 2014-01-23 ソニー株式会社 画像処理装置及び画像処理方法、並びに画像表示装置
JP2014102668A (ja) * 2012-11-20 2014-06-05 Toshiba Corp 表示装置
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US8957940B2 (en) * 2013-03-11 2015-02-17 Cisco Technology, Inc. Utilizing a smart camera system for immersive telepresence
JP5942129B2 (ja) * 2013-03-14 2016-06-29 株式会社ジャパンディスプレイ 表示装置
US9232183B2 (en) 2013-04-19 2016-01-05 At&T Intellectual Property I, Lp System and method for providing separate communication zones in a large format videoconference
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
US9565416B1 (en) 2013-09-30 2017-02-07 Google Inc. Depth-assisted focus in multi-camera systems
US9154697B2 (en) 2013-12-06 2015-10-06 Google Inc. Camera selection based on occlusion of field of view
CN104735360B (zh) * 2013-12-18 2017-12-22 华为技术有限公司 光场图像处理方法和装置
US9380263B2 (en) * 2014-01-03 2016-06-28 Aquifi, Inc. Systems and methods for real-time view-synthesis in a multi-camera setup
KR102214934B1 (ko) * 2014-07-18 2021-02-10 삼성전자주식회사 단항 신뢰도 및 쌍별 신뢰도 학습을 통한 스테레오 매칭 장치 및 방법
US10008027B1 (en) * 2014-10-20 2018-06-26 Henry Harlyn Baker Techniques for determining a three-dimensional representation of a surface of an object from a set of images
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
US9541998B2 (en) 2015-01-29 2017-01-10 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof
EP3274986A4 (en) 2015-03-21 2019-04-17 Mine One GmbH METHODS, SYSTEMS, AND SOFTWARE FOR VIRTUAL 3D
US10853625B2 (en) 2015-03-21 2020-12-01 Mine One Gmbh Facial signature methods, systems and software
US10701282B2 (en) * 2015-06-24 2020-06-30 Intel Corporation View interpolation for visual storytelling
WO2017046796A1 (en) * 2015-09-14 2017-03-23 Real Imaging Ltd. Image data correction based on different viewpoints
US10630965B2 (en) * 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
EP3270356A1 (en) * 2016-07-12 2018-01-17 Alcatel Lucent Method and apparatus for displaying an image transition
KR102378860B1 (ko) * 2016-07-29 2022-03-28 소니그룹주식회사 화상 처리 장치 및 화상 처리 방법
US10558881B2 (en) * 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region
JP6636963B2 (ja) * 2017-01-13 2020-01-29 株式会社東芝 画像処理装置及び画像処理方法
EP3586269A4 (en) * 2017-02-22 2021-04-14 Mine One GmbH IMAGE RECONSTRUCTION FOR VIRTUAL 3D
JP6885896B2 (ja) * 2017-04-10 2021-06-16 富士フイルム株式会社 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム
JP7121470B2 (ja) * 2017-05-12 2022-08-18 キヤノン株式会社 画像処理システム、制御方法、及び、プログラム
JP2019050451A (ja) * 2017-09-07 2019-03-28 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム及び画像処理システム
CN109785225B (zh) * 2017-11-13 2023-06-16 虹软科技股份有限公司 一种用于图像矫正的方法和装置
CN109785390B (zh) * 2017-11-13 2022-04-01 虹软科技股份有限公司 一种用于图像矫正的方法和装置
CN109840894B (zh) * 2019-01-30 2021-02-09 湖北亿咖通科技有限公司 视差图精修方法、装置及存储介质
JP7467074B2 (ja) * 2019-11-05 2024-04-15 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US20220406003A1 (en) * 2021-06-17 2022-12-22 Fyusion, Inc. Viewpoint path stabilization

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3539788B2 (ja) * 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
US6011863A (en) * 1997-06-12 2000-01-04 Nec Research Institute, Inc. Cylindrical rectification to minimize epipolar distortion
JPH1153549A (ja) 1997-08-01 1999-02-26 Sony Corp 画像処理装置、画像処理方法、および、伝送媒体
US7015951B1 (en) * 1998-05-08 2006-03-21 Sony Corporation Picture generating apparatus and picture generating method
US6519358B1 (en) * 1998-10-07 2003-02-11 Sony Corporation Parallax calculating apparatus, distance calculating apparatus, methods of the same, and information providing media
JP3593466B2 (ja) 1999-01-21 2004-11-24 日本電信電話株式会社 仮想視点画像生成方法およびその装置
JP4453119B2 (ja) * 1999-06-08 2010-04-21 ソニー株式会社 カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ
JP2001052177A (ja) 1999-08-11 2001-02-23 Univ Waseda 画像処理装置および画像処理方法
JP3280001B2 (ja) * 1999-09-16 2002-04-30 富士重工業株式会社 ステレオ画像の位置ずれ調整装置
JP3263931B2 (ja) 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
US6597807B1 (en) * 1999-09-27 2003-07-22 The United States Of America As Represented By The Secretary Of The Army Method for red green blue (RGB) stereo sensor fusion
JP2001346226A (ja) 2000-06-02 2001-12-14 Canon Inc 画像処理装置、立体写真プリントシステム、画像処理方法、立体写真プリント方法、及び処理プログラムを記録した媒体
JP4501239B2 (ja) * 2000-07-13 2010-07-14 ソニー株式会社 カメラ・キャリブレーション装置及び方法、並びに、記憶媒体
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
JP4576740B2 (ja) 2001-04-02 2010-11-10 ソニー株式会社 窓状撮像表示装置及びそれを使う双方向通信方法
JP2003150936A (ja) * 2001-11-08 2003-05-23 Fuji Heavy Ind Ltd 画像処理装置および画像処理方法

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594193B2 (en) 2006-03-29 2013-11-26 Huawei Technologies Co., Ltd. Method and device for multi-view encoding/decoding using disparity vector
WO2007110000A1 (en) * 2006-03-29 2007-10-04 Huawei Technologies Co., Ltd. A method and device of obtaining disparity vector and its multi-view encoding-decoding
CN101237590B (zh) * 2007-02-01 2010-05-19 广达电脑股份有限公司 立体影像显示方法
CN101325724B (zh) * 2008-07-23 2010-06-02 四川虹微技术有限公司 一种立体图像对的极线校正方法
CN102362495A (zh) * 2009-03-25 2012-02-22 思科技术公司 用于具有显示墙的视频会议端点的多个相机的组合视图
CN102362495B (zh) * 2009-03-25 2015-07-29 思科技术公司 用于具有显示墙的视频会议端点的多个相机的组合视图的远程呈现装置及操作方法
CN102369550A (zh) * 2009-03-31 2012-03-07 松下电器产业株式会社 立体图像处理器和立体图像处理方法
CN102369550B (zh) * 2009-03-31 2014-01-01 松下电器产业株式会社 立体图像处理器和立体图像处理方法
CN101540832B (zh) * 2009-04-24 2011-02-09 段江 图像信号的动态范围匹配方法
CN102598652B (zh) * 2009-10-30 2015-08-12 佳能株式会社 信息处理设备和方法
CN102598652A (zh) * 2009-10-30 2012-07-18 佳能株式会社 信息处理设备和方法
US8928755B2 (en) 2009-10-30 2015-01-06 Canon Kabushiki Kaisha Information processing apparatus and method
CN102792333A (zh) * 2010-03-19 2012-11-21 拉碧斯半导体株式会社 图像处理装置、方法、程序以及记录介质
CN102792333B (zh) * 2010-03-19 2016-11-23 拉碧斯半导体株式会社 图像处理装置、方法、程序以及记录介质
CN102972032A (zh) * 2010-06-30 2013-03-13 富士胶片株式会社 三维图像显示装置、三维图像显示方法、三维图像显示程序及记录介质
CN102447932B (zh) * 2011-10-31 2013-11-06 华中科技大学 自由视点视频中视点的重建方法
CN102447932A (zh) * 2011-10-31 2012-05-09 华中科技大学 自由视点视频中视点的重建方法
CN102572482A (zh) * 2012-01-06 2012-07-11 浙江大学 基于fpga的立体视频到多视点视频的3d重构方法
US9565420B2 (en) 2012-05-28 2017-02-07 Panasonic Intellectual Property Management Co., Ltd. Image processor, image capture device, image processing method and program
CN103563369A (zh) * 2012-05-28 2014-02-05 松下电器产业株式会社 图像处理装置、摄像装置、图像处理方法、以及程序
CN103563369B (zh) * 2012-05-28 2017-03-29 松下知识产权经营株式会社 图像处理装置、摄像装置以及图像处理方法
CN105340260A (zh) * 2013-06-25 2016-02-17 奥林巴斯株式会社 图像处理装置、图像处理方法和存储了图像处理程序的非暂时存储介质
CN104581112A (zh) * 2013-10-14 2015-04-29 钰创科技股份有限公司 快速产生摄像机的距离对视差关系表的系统及其相关方法
CN104913762A (zh) * 2014-03-10 2015-09-16 福特全球技术公司 用于估计行驶中的车辆和对象之间的距离的方法和装置
CN104913762B (zh) * 2014-03-10 2020-02-18 福特全球技术公司 用于估计行驶中的车辆和对象之间的距离的方法和装置
CN104949619B (zh) * 2014-03-28 2018-08-24 株式会社斯巴鲁 车辆用立体图像处理装置
CN104949619A (zh) * 2014-03-28 2015-09-30 富士重工业株式会社 车辆用立体图像处理装置
CN104506837A (zh) * 2014-12-04 2015-04-08 北京邮电大学 一种裸眼三维立体显示的深度控制方法
CN106358006B (zh) * 2016-01-15 2019-08-06 华中科技大学 视频的校正方法及装置
CN106358006A (zh) * 2016-01-15 2017-01-25 华中科技大学 视频的校正方法及装置
US11006098B2 (en) 2016-05-10 2021-05-11 Sony Corporation Information processing apparatus, information processing system, and information processing method
CN110100149A (zh) * 2016-12-27 2019-08-06 索尼公司 勘测标记、图像处理装置、图像处理方法和程序
CN111465818A (zh) * 2017-12-12 2020-07-28 索尼公司 图像处理设备、图像处理方法、程序和信息处理系统
CN111340933A (zh) * 2018-12-19 2020-06-26 佳能株式会社 图像处理装置、图像处理系统、图像处理方法和存储介质
CN109872344A (zh) * 2019-02-25 2019-06-11 广州视源电子科技股份有限公司 图像特征点的跟踪方法、匹配方法和坐标获取方法、装置
CN110639143A (zh) * 2019-10-21 2020-01-03 中车大连机车研究所有限公司 一种混合动力动车组火灾防控系统
CN114633692A (zh) * 2022-03-14 2022-06-17 深圳市艾为智能有限公司 一种偏心镜头在cms系统中的应用方法
CN114633692B (zh) * 2022-03-14 2023-10-03 深圳市艾为智能有限公司 一种偏心镜头在cms系统中的应用方法

Also Published As

Publication number Publication date
US20050129325A1 (en) 2005-06-16
JP4069855B2 (ja) 2008-04-02
CN100584040C (zh) 2010-01-20
KR20050051554A (ko) 2005-06-01
US7957581B2 (en) 2011-06-07
JP2005157921A (ja) 2005-06-16
KR101091297B1 (ko) 2011-12-07

Similar Documents

Publication Publication Date Title
CN1678084A (zh) 图像处理装置和方法
US11962940B2 (en) System and method for augmented reality multi-view telepresence
US9521362B2 (en) View rendering for the provision of virtual eye contact using special geometric constraints in combination with eye-tracking
US20060083421A1 (en) Image processing apparatus and method
TWI479452B (zh) 修正數位影像的裝置及方法
US8253776B2 (en) Image rectification method and related device for a video device
CN1863301A (zh) 视频会议系统和方法
WO2003098942A1 (fr) Appareil de traitement d'information, systeme de traitement d'information et procede d'affichage de dialogues
JP2010250452A (ja) 任意視点画像合成装置
US9380263B2 (en) Systems and methods for real-time view-synthesis in a multi-camera setup
CN109660748B (zh) 用于眼球视线校正的图像处理方法及其系统
JP2005065051A (ja) 撮像装置
US20120147121A1 (en) Method and system for audio-video communications
WO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JP2010171690A (ja) テレビ会議システムおよび映像通信方法
CN113112407B (zh) 基于电视的照镜视野生成方法、系统、设备及介质
JP2014049797A (ja) カメラ付き表示装置
JP4595313B2 (ja) 撮像表示装置及び方法、画像送受信システム
EP3884461B1 (en) Selective distortion or deformation correction in images from a camera with a wide angle lens
JP2005142765A (ja) 撮像装置及び方法
JP4586447B2 (ja) 画像処理装置及び方法、プログラム
JP2006024141A (ja) 画像処理装置及び方法、プログラム
JP2016072844A (ja) 映像システム
JP2006024142A (ja) 画像処理装置及び方法、プログラム
CN118233590A (zh) 视频会议设备、系统和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100120

Termination date: 20131129