CN108696694A - 有关深度信息/全景图像的图像装置及其相关图像系统 - Google Patents

有关深度信息/全景图像的图像装置及其相关图像系统 Download PDF

Info

Publication number
CN108696694A
CN108696694A CN201711246416.1A CN201711246416A CN108696694A CN 108696694 A CN108696694 A CN 108696694A CN 201711246416 A CN201711246416 A CN 201711246416A CN 108696694 A CN108696694 A CN 108696694A
Authority
CN
China
Prior art keywords
image
capturing images
acquisition device
depth information
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711246416.1A
Other languages
English (en)
Other versions
CN108696694B (zh
Inventor
卢超群
林明华
李季峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eys 3d Co Ltd
Original Assignee
Eys 3d Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eys 3d Co Ltd filed Critical Eys 3d Co Ltd
Publication of CN108696694A publication Critical patent/CN108696694A/zh
Application granted granted Critical
Publication of CN108696694B publication Critical patent/CN108696694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种有关深度信息/全景图像的图像装置及其相关图像系统。所述图像装置包含至少二图像撷取器。所述至少二图像撷取器中的第一图像撷取器和第二图像撷取器是分别撷取多个第一图像以及多个第二图像。所述第一图像撷取器传送所述多个第一图像至一图像处理器，所述第二图像撷取器传送所述多个第二图像至所述图像处理器，以及所述图像处理器根据所述多个第一图像产生一深度信息和根据所述多个第二图像产生一全景图像或一全景视频。因此，本发明不仅可利用所述全景图像(或所述全景视频)提供虚拟现实、扩增实境或混合实境的应用，也可利用所述深度信息提供一人脸辨识操作。

Description

有关深度信息/全景图像的图像装置及其相关图像系统
技术领域
本发明涉及一种有关深度信息/全景图像的图像装置及其相关图像系统，尤其涉及一种可同时提供用于产生深度信息的多个第一图像以及用于产生全景图像或全景视频的多个第二图像的图像装置及其相关图像系统。
背景技术
近来用户对于虚拟现实(Virtual Reality,VR)(或扩增实境(AugmentedReality,AR)或混合实境(Mixed Reality,MR))的需求越来越大，所以在便携式装置上安装虚拟现实(或扩增实境或混合实境)的应用日益普及。另外，所述用户对于自身的隐私的需求也越来越大，所以也渐渐采用生物辨识(例如人脸辨识)以解锁所述便携式装置。然而，因为虚拟现实(或扩增实境或混合实境)以及人脸辨识现在还不是所述便携式装置的标准应用，所以如何在所述便携式装置上同时实现虚拟现实(或扩增实境或混合实境)以及生物辨识变成一项重要课题。
发明内容
本发明的一实施例公开一种有关深度信息/全景图像的图像装置。所述图像装置包含至少二图像撷取器。所述至少二图像撷取器中的第一图像撷取器和第二图像撷取器是分别撷取多个第一图像以及多个第二图像。所述第一图像撷取器传送所述多个第一图像至一图像处理器，所述第二图像撷取器耦接传送所述多个第二图像至所述图像处理器，以及所述图像处理器根据所述多个第一图像产生一深度信息和根据所述多个第二图像产生一全景图像或一全景视频。
本发明的另一实施例公开一种产生深度信息/全景图像的图像系统。所述图像系统包含至少二图像撷取器和一图像处理器。所述至少二图像撷取器中的第一图像撷取器和第二图像撷取器是分别撷取多个第一图像以及多个第二图像。所述图像处理器耦接所述第一图像撷取器和通过所述第一图像撷取器耦接所述第二图像撷取器，且所述图像处理器分别根据所述多个第一图像产生一深度信息以及根据所述多个第二图像产生一全景图像或一全景视频。
本发明的另一实施例公开一种有关深度信息/全景图像的图像装置。所述图像装置包含至少一第一图像撷取器。所述至少一第一图像撷取器使所述图像装置外的至少一第二图像撷取器通过所述至少一第一图像撷取器耦接于一图像处理器。所述至少一第一图像撷取器所撷取的多个第一图像是应用于一深度信息，以及所述至少一第二图像撷取器所撷取的多个第二图像是应用于一全景图像或一全景视频。
本发明公开一种有关深度信息/全景图像的图像装置及其相关图像系统。所述图像装置及所述图像系统是利用至少二图像撷取器中的第一图像撷取器和第二图像撷取器分别撷取多个第一图像以及多个第二图像，以及利用包含在所述第一图像撷取器的传输电路使所述第一图像撷取器和所述第二图像撷取器耦接一便携式装置。然后所述便携式装置内的图像处理器可分别根据所述多个第一图像产生一深度信息以及根据所述多个第二图像产生一全景图像或一全景视频。因此，本发明不仅可利用所述全景图像(或所述全景视频)提供虚拟现实(Virtual Reality,VR)、扩增实境(Augmented Reality,AR)或混合实境(Mixed Reality,MR)的应用，也可利用所述深度信息提供一人脸辨识操作。
附图说明
图1是本发明的一第一实施例所公开的一种有关深度信息/全景图像的图像装置的示意图。
图2是说明当所述第一传输接口为一非C型通用串行总线接口或一显示端口接口时，第一图像撷取器耦接便携式装置的示意图。
图3是说明当便携式装置的充电连接器是适用于一非C型通用串行总线接口或一显示端口接口时，第二图像撷取器耦接便携式装置的示意图。
图4是说明当所述第一传输接口为一C型通用串行总线接口或一闪电接口时，第一图像撷取器耦接便携式装置的示意图。
图5是说明当所述第一传输接口为一非C型通用串行总线接口或一显示端口接口时，第一图像撷取器耦接便携式装置以及第二图像撷取器通过第一图像撷取器耦接便携式装置的示意图。
图6是说明当所述第一传输接口为一C型通用串行总线接口或一闪电接口时，第一图像撷取器耦接便携式装置以及第二图像撷取器通过第一图像撷取器耦接便携式装置的示意图。
图7是本发明的一第二实施例所公开的一种有关深度信息/全景图像的图像装置的示意图。
其中，附图标记说明如下：
100、700 图像装置
102 第一图像撷取器
104 第二图像撷取器
106 图像处理器
108 便携式装置
1022 第一镜头
1042 第二镜头
1024 传输电路
具体实施方式
请参照图1，图1是本发明的一第一实施例所公开的一种有关深度信息/全景图像的图像装置100的示意图。如图1所示，图像装置100包含一第一图像撷取器102和一第二图像撷取器104，第一图像撷取器102包含二个第一镜头1022，第二图像撷取器104包含二个第二镜头1042，且第一图像撷取器102和第二图像撷取器104为互相独立的图像撷取器(也就是说第一图像撷取器102和第二图像撷取器104分别有各自的外壳)，其中因为二个第二镜头1042是背对背设置在第二图像撷取器104内，所以图1仅显示在前方的第二镜头1042(在后方的第二镜头1042会被遮住)。另外，在本发明的一实施例中，第一图像撷取器102和第二图像撷取器104是可拆式的。但本发明并不受限于图像装置100包含第一图像撷取器102和第二图像撷取器104，也就是说图像装置100可包含二个以上的图像撷取器。另外，本发明也不受限于第一图像撷取器102包含二个第一镜头1022，以及第二图像撷取器104包含二个第二镜头1042，也就是说第一图像撷取器102可包含二个以上第一镜头1022，以及第二图像撷取器104也可包含二个以上第二镜头1042。另外，在本发明的一实施例中，第一图像撷取器102和第二图像撷取器104是摄像机。
如图1所示，第一图像撷取器102直接通过一传输电路1024耦接一图像处理器106，第二图像撷取器104是通过传输电路1024耦接图像处理器106，其中传输电路1024是包含在第一图像撷取器102中，传输电路1024是一集线器(例如通用串行总线(universal serialbus,USB)集线器)或一切换器，图像处理器106是设置在一便携式装置108中，以及便携式装置108可为一智能手机、一平板计算机或一笔记本电脑。另外，在本发明的另一实施例中，图像处理器106是包含在一桌面计算机中。另外，传输电路1024是利用其第一传输接口(未绘示于图1)和图像处理器106沟通，利用其第二传输接口(未绘示于图1)和第二图像撷取器104沟通，以及利用其第三传输接口(未绘示于图1)和第一镜头1022沟通，其中所述第一传输接口、所述第二传输接口和所述第三传输接口可为C型(type-C)通用串行总线接口、非C型通用串行总线接口(例如A型(type-A)通用串行总线接口、B型(type-B)通用串行总线接口、Mini-A型通用串行总线接口、Mini-B型通用串行总线接口、Micro-A型通用串行总线接口或Micro-B型通用串行总线接口)，闪电(lightning)接口，或显示端口(display port,DP)接口。另外，在本发明的另一实施例中，图像装置100包含第一图像撷取器102、第二图像撷取器104和图像处理器106。
请参照图2，图2是说明当所述第一传输接口为一非C型通用串行总线接口或一显示端口接口时，第一图像撷取器102耦接便携式装置108的示意图，其中第一图像撷取器102是通过传输电路1024和便携式装置108的外壳上的充电连接器(未绘示于图2)耦接便携式装置108，且所述充电连接器适用于一非C型通用串行总线接口或一显示端口接口。因为所述第一传输接口为一非C型通用串行总线接口或一显示端口接口，所以当第一图像撷取器102耦接便携式装置108时，便携式装置108的外壳上的充电连接器会限制第一图像撷取器102的正面和便携式装置108的正面朝同一方向。因此，第一图像撷取器102便可利用二个第一镜头1022朝便携式装置108的前方(frontside)(对应便携式装置108的正面)撷取多个第一图像。例如第一图像撷取器102可利用二个第一镜头1022朝便携式装置108的前方撷取有关便携式装置108的一用户脸部的多个图像。在第一图像撷取器102利用二个第一镜头1022撷取有关所述用户脸部的多个图像后，第一图像撷取器102可通过传输电路1024传送有关所述用户脸部的多个图像至便携式装置108内的图像处理器106，以及图像处理器106即可根据有关所述用户脸部的多个图像，产生有关所述用户脸部的深度信息。因此，图像处理器106便可利用有关所述用户脸部的多个图像的深度信息执行一人脸辨识操作。例如图像处理器106可先利用有关所述用户脸部的多个图像的深度信息执行所述人脸辨识操作，然后通过所述人脸辨识操作对便携式装置108的屏幕解锁。
另外，在本发明的另一实施例中，第一图像撷取器102还可包含至少一红外线光源，用于发射一随机图案(random pattern)或一结构光(structure light)，所以第一图像撷取器102便可利用二个第一镜头1022撷取有关所述随机图案或所述结构光的多个图像，其中所述至少一红外线光源是根据图像装置100所处环境的亮度、对应所述多个图像的深度信息的质量和所述深度信息对应所述至少一红外线光源开启与关闭时的差异的其中至少一项开启。另外，本发明并不受限于第一图像撷取器102包含至少一红外线光源，也就是说第一图像撷取器102可包含其他形式的光源。例如，第一图像撷取器102可包含至少一可见光源)。或者，在本发明的其他实施例中，第一图像撷取器102也可包含至少一红外线雷射光源。
当所述至少一红外线光源是根据图像装置100所处环境的亮度开启时，第一图像撷取器102(或第二图像撷取器104，或便携式装置108的图像撷取器)可根据其目前所设定的一快门时间、一曝光时间和一ISO感亮度(增益)的其中至少一项，判断图像装置100所处环境的亮度。以所述曝光时间为例，在本发明的一实施例中，当第一图像撷取器102的快门时间固定(或无快门)时,第一图像撷取器102可根据式(1)所产生的值GEX，决定是否开启所述至少一红外线光源：
GEX＝gain*EXPT (1)
其中gain为对应第一图像撷取器102的增益以及EXPT为对应第一图像撷取器102的曝光时间。当值GEX大于一高临界值时，意味着图像装置100所处环境的亮度太暗，所以第一图像撷取器102开启所述至少一红外线光源；当值GEX小于一低临界值时，意味着图像装置100所处环境的亮度够亮，所以第一图像撷取器102关闭所述至少一红外线光源，其中所述高临界值大于所述低临界值。另外，当值GEX的一最大值(对应第一图像撷取器102的最大曝光时间与最大增益)都无法大于所述高临界值时，第一图像撷取器102会根据图像装置100所处环境的目前亮度，开启所述至少一红外线光源。
当所述至少一红外线光源是根据对应所述多个图像的深度信息的质量开启时，第一图像撷取器102可根据对应所述多个图像的深度信息的无效区(invalid area)和对应所述多个图像的深度信息的平滑度的其中至少一项，判断对应所述多个图像的深度信息的质量。例如，在本发明的一实施例中，第一图像撷取器102可根据式(2)所产生的成本值COST，决定是否开启所述至少一红外线光源：
COST＝a*mean(HPF(x))+b*invalid_cnt(x) (2)
其中HPF(x)为对应一高通滤波器的响应(所述多个图像的深度信息的平滑度是有关所述多个图像的深度信息的高频区域)，mean(HPF(x))为对应对应所述高通滤波器的响应的平均值(但在本发明的另一实施例中，mean(HPF(x))可被对应对应所述高通滤波器的响应的总和取代)，invalid_cnt(x)为所述无效区的像素数目，x为对应所述多个图像的深度信息，以及a、b为系数。当成本值COST大于一临界值时，意味着图像装置100所处环境的亮度太暗或是所述多个图像中的被摄对象无纹理，所以第一图像撷取器102开启所述至少一红外线光源。另外，在所述至少一红外线光源开启一预定时间后，第一图像撷取器102可尝试关闭所述至少一红外线光源并撷取至少一图像，然后第一图像撷取器102计算出对应所述至少一图像的成本值。如果对应所述至少一图像的成本值仍然大于所述临界值，则第一图像撷取器102重新开启所述至少一红外线光源直到所述预定时间后再次重复上述动作；如果对应所述至少一图像的成本值小于所述临界值，则第一图像撷取器102关闭所述至少一红外线光源直到对应所述至少一图像的成本值再次大于所述临界值。
另外，第一图像撷取器102可开启与关闭所述至少一红外线光源，并根据所述深度信息对应所述至少一红外线光源开启与关闭时的差异，判断所述深度信息的质量。如果所述深度信息对应所述至少一红外线光源开启与关闭时的差异小于一参考值，意味着所述至少一红外线光源的开启与关闭并不会影响所述深度信息的质量，所以第一图像撷取器102可关闭所述至少一红外线光源。
另外，当所述至少一红外线光源开启后，第一图像撷取器102可根据对应所述多个图像的亮度和一目标值被选择性地调整所述至少一红外线光源的强度，其中所述目标值是根据一人体皮肤对所述至少一红外线光源的发射光的反射系数而设定。例如第一图像撷取器102可根据所述多个图像产生对应所述多个图像的亮度分布图，以及根据所述亮度分布图中大于所述目标值的至少一亮度值中的最大亮度值所在的面积占所述深度信息的百分比，选择性地调整所述至少一红外线光源的强度。另外，在本发明的另一实施例中，第一图像撷取器102是根据所述多个图像产生对应所述多个图像的平均亮度，以及根据所述平均亮度和所述目标值，选择性地调整所述至少一红外线光源的强度。另外，在本发明的另一实施例中，第一图像撷取器102是根据所述多个图像产生对应于所述多个图像的多个像素的亮度直方图，以及根据所述亮度直方图的中位数和所述目标值或所述亮度直方图的四分位数和所述目标值，选择性地调整所述至少一红外线光源的强度。
另外，在本发明的另一实施例中，当所述至少一红外线光源开启后，第一图像撷取器102可根据所述多个图像中的至少一预定对象与第一图像撷取器102之间的距离和一第一查阅表，选择性地动态调整所述至少一红外线光源的强度，其中所述第一查阅表储存对象距离与所述至少一红外线光源的强度之间的关系。另外，在本发明的另一实施例中，第一图像撷取器102是根据所述多个图像中的至少一预定对象与第一图像撷取器102之间的距离和一第一相关公式，选择性地动态调整所述至少一红外线光源的强度。
另外，在本发明的另一实施例中，第一图像撷取器102一直检测在所述至少一红外线光源关闭的情况下图像装置100所处环境的亮度，当所述环境的亮度越亮时，则根据一第二查阅表增加所述至少一红外线光源开启时的强度，其中所述第二查阅表储存所述至少一红外线光源开启时的强度与所述环境的亮度之间的关系。另外，在本发明的另一实施例中，当所述环境的亮度越亮时，第一图像撷取器102是根据一第二相关公式增加所述至少一红外线光源开启时的强度。
另外，在本发明的另一实施例中，第一图像撷取器102先关闭所述至少一红外线光源后，检测所述环境的亮度。然后根据本技术领域的技术人员所熟知的自动曝光(AE)算法，利用第一图像撷取器102的曝光时间(或快门时间、曝光时间和ISO感亮度(增益)的其中至少一项)将所述环境的亮度降低至不会干扰第一图像撷取器102，并固定当下的第一图像撷取器102的曝光时间。然后第一图像撷取器102开启所述至少一红外线光源并检测所述至少一红外线光源的强度到一目标值。
另外，便携式装置108可通过所述充电连接器和传输电路1024驱动第一图像撷取器102，也就是说便携式装置108可通过所述充电连接器和传输电路1024传送电能以驱动第一图像撷取器102。但在本发明的另一实施例中，第一图像撷取器102可由一外部电源供应器(非便携式装置108)驱动，其中所述外部电源供应器可为一有线外部电源供应器或一无线外部电源供应器。
另外，当所述第一传输接口为一非C型通用串行总线接口或一显示端口接口且便携式装置108的前方是背对着所述用户时，第一图像撷取器102可利用二个第一镜头1022朝便携式装置108的前方撷取有关所述用户所面对的环境的多个图像。然后，第一图像撷取器102可通过传输电路1024传送有关所述用户所面对的环境的多个图像至图像处理器106，以及图像处理器106即可根据有关所述用户所面对的环境的多个图像，产生有关所述用户所面对的环境的深度信息。
另外，请参照图3，图3是说明当便携式装置108的充电连接器是适用于一非C型通用串行总线接口或一显示端口接口时，第二图像撷取器104耦接便携式装置108的示意图，其中第二图像撷取器104是通过便携式装置108的外壳上的充电连接器(未绘示于图3)耦接便携式装置108。虽然便携式装置108的充电连接器是适用于一非C型通用串行总线接口或一显示端口接口，但因为二个第二镜头1042是背对背设置在第二图像撷取器104内，所以第二图像撷取器104可利用二个第二镜头1042分别朝便携式装置108的前方(frontside)和后方(rear side，其中便携式装置108的后方对应便携式装置108的背面)撷取多个第二图像。例如第二图像撷取器104可利用二个第二镜头1042分别朝便携式装置108的前方和后方撷取有关便携式装置108的所处环境的多个图像。此外，在本发明的另一实施例中，第二图像撷取器104也可利用二个第二镜头1042分别朝便携式装置108的其他方向来撷取多个第二图像。换句话说，依照设计需求，本发明可使第二图像撷取器104中的二个第二镜头1042朝任意方向(world side)撷取多个第二图像，而不仅限制于朝向特定方向。在第二图像撷取器104利用二个第二镜头1042撷取有关便携式装置108的所处环境的多个图像后，第二图像撷取器104可通过便携式装置108的外壳上的充电连接器传送有关便携式装置108的所处环境的多个图像至便携式装置108内的图像处理器106，以及图像处理器106可根据有关便携式装置108的所处环境的多个图像，产生有关便携式装置108的所处环境的360°全景图像或360°全景视频，其中所述360°全景图像和所述360°全景视频包含有关便携式装置108的所处环境的色彩信息。另外，在本发明的另一实施例中，便携式装置108的图像处理器106是利用第二图像撷取器104所撷取的有关便携式装置108的所处环境的多个图像，执行一物体移动检测。另外，当图像处理器106执行所述物体移动检测时，图像处理器106可继续(或可停止)利用第二图像撷取器104所撷取的有关便携式装置108的所处环境的多个图像产生有关便携式装置108的所处环境的360°全景图像或360°全景视频。另外，便携式装置108可通过所述充电连接器驱动第二图像撷取器104，也就是说便携式装置108可通过所述充电连接器传送电能以驱动第二图像撷取器104。但在本发明的另一实施例中，第二图像撷取器104可由所述外部电源供应器(非便携式装置108)驱动。另外，在本发明的另一实施例中，便携式装置108的图像处理器106可利用内建于便携式装置108的图像撷取器(未绘示于图3)所撷取的有关便携式装置108的所处环境的多个图像，执行所述物体移动检测。
另外，在本发明的另一实施例中，当第二图像撷取器104耦接便携式装置108，且便携式装置108的充电连接器是适用于一C型通用串行总线接口或一闪电接口时，第二图像撷取器104和便携式装置108的耦接关系可参照图3，在此不再赘述。另外，当第二图像撷取器104耦接便携式装置108，且便携式装置108的充电连接器是适用于一C型通用串行总线接口或一闪电接口时，第二图像撷取器104和便携式装置108的操作原理可参照图3的相关说明，在此也不再赘述。
请参照图4，图4是说明当所述第一传输接口为一C型通用串行总线接口或一闪电接口时，第一图像撷取器102耦接便携式装置108的示意图，其中第一图像撷取器102是通过传输电路1024和便携式装置108的外壳上的充电连接器(未绘示于图4)耦接便携式装置108，且所述充电连接器适用于一C型通用串行总线接口或一闪电接口。因为所述第一传输接口为一C型通用串行总线接口或一闪电接口，所以第一图像撷取器102耦接便携式装置108时，第一图像撷取器102的正面和便携式装置108的正面可朝不同方向或朝同一方向(也就是说此时便携式装置108的外壳上的充电连接器不会限制第一图像撷取器102的正面和便携式装置108的正面朝同一方向)。例如，如图4所示，第一图像撷取器102的背面和便携式装置108的正面朝同一方向。因此，如图4所示，第一图像撷取器102便可利用二个第一镜头1022朝便携式装置108的后方(对应便携式装置108的背面)撷取有关所述用户所面对的环境的多个图像。在第一图像撷取器102通过传输电路1024传送有关所述用户所面对的环境的多个图像至便携式装置108内的图像处理器106后，图像处理器106即可根据有关所述用户所面对的环境的多个图像，产生有关所述用户所面对的环境的深度信息。因此，例如图像处理器106便可利用有关所述用户所面对的环境(包含至少一人脸，其中所述至少一人脸非所述用户的脸)的深度信息执行所述人脸辨识操作。但在本发明的另一实施例中，图像处理器106是利用有关所述用户所面对的环境的深度信息产生有关所述用户所面对的环境的立体图像。
请参照图5，图5是说明当所述第一传输接口为一非C型通用串行总线接口或一显示端口接口时，第一图像撷取器102耦接便携式装置108以及第二图像撷取器104通过第一图像撷取器102(传输电路1024)耦接便携式装置108的示意图。如图5所示，第一图像撷取器102的操作原理可参照图2的相关说明，在此不再赘述。另外，第二图像撷取器104的操作原理可参照图3的相关说明，在此也不再赘述。另外，图5所示的第一图像撷取器102、第二图像撷取器104和便携式装置108之间的耦接关系可参照图1，在此也不再赘述。因此，如图5所示，第一图像撷取器102和便携式装置108可执行对应所述用户的人脸辨识操作或产生有关所述用户所面对的环境的深度信息，以及第二图像撷取器104和便携式装置108可产生有关便携式装置108的所处环境的360°全景图像或360°全景视频。另外，在本发明的另一实施例中，图像处理器106是包含在图像装置100中，且第一图像撷取器102、第二图像撷取器104和图像处理器106为互相独立的硬件。因此，第一图像撷取器102和图像处理器106可执行对应所述用户的人脸辨识操作或产生有关所述用户所面对的环境的深度信息，以及第二图像撷取器104和图像处理器106可产生有关便携式装置108的所处环境的360°全景图像或360°全景视频。另外，在本发明的另一实施例中，图像处理器106是包含在第一图像撷取器102中，其中第一图像撷取器102、第二图像撷取器104和图像处理器106的操作原理可参照上述说明，在此不再赘述。
另外，在本发明的另一实施例中，如图5所示，图像处理器106是利用第二图像撷取器104所撷取的有关便携式装置108的所处环境的多个图像，执行所述物体移动检测。另外，如图5所示，传输电路1024是通过一时间分隔(time-division)的方式，传送第一图像撷取器102所撷取的图像和第二图像撷取器104所撷取的图像至图像处理器106。另外，如图5所示，便携式装置108可通过所述充电连接器和传输电路1024利用所述分时多任务的方式驱动第一图像撷取器102以及第二图像撷取器104。但在本发明的另一实施例中，第一图像撷取器102和第二图像撷取器104可由所述外部电源供应器驱动。另外，在本发明的另一实施例中，第一图像撷取器102由所述外部电源供应器驱动，以及所述外部电源供应器另通过第一图像撷取器102(传输电路1024)驱动第二图像撷取器104。
请参照图6，图6是说明当所述第一传输接口为一C型通用串行总线接口或一闪电接口时，第一图像撷取器102耦接便携式装置108以及第二图像撷取器104通过第一图像撷取器102耦接便携式装置108的示意图，其中第一图像撷取器102的操作原理可参照图2的相关说明，在此不再赘述。另外，第二图像撷取器104的操作原理可参照图3的相关说明，在此也不再赘述。另外，图6所示的第一图像撷取器102、第二图像撷取器104和便携式装置108之间的耦接关系可参照图1，在此也不再赘述。因此，如图6所示，第一图像撷取器102和便携式装置108可产生有关所述用户所面对的环境的深度信息，以及第二图像撷取器104和便携式装置108可产生有关便携式装置108的所处环境的360°全景图像或360°全景视频。另外，在本发明的另一实施例中，如图6所示，图像处理器106是利用第二图像撷取器104所撷取的有关便携式装置108的所处环境的多个图像，执行所述物体移动检测。另外，当所述第一传输接口为一C型通用串行总线接口或一闪电接口时，所述第一传输接口可提供至少二渠道(channel)给第一图像撷取器102和第二图像撷取器104以使第一图像撷取器102和第二图像撷取器104与便携式装置108沟通。例如在本发明的一实施例中，所述第一传输接口提供所述至少二渠道中的第一渠道(例如TX1/RX1)给第一图像撷取器102以使第一图像撷取器102与便携式装置108沟通，以及提供所述至少二渠道中的第二渠道(例如TX2/RX2)给第二图像撷取器104以使第二图像撷取器104与便携式装置108沟通。另外，在本发明的另一实施例中，所述第一传输接口同时提供所述第一渠道和所述第二渠道以及利用所述分时多任务的方式以使第一图像撷取器102和第二图像撷取器104选择所述第一渠道和所述第二渠道的其中之一与便携式装置108沟通。
请参照图7，图7是本发明的一第二实施例所公开的一种有关深度信息/全景图像的图像装置700的示意图。如图7所示，图像装置700包含第一图像撷取器102和第二图像撷取器104，第一图像撷取器102包含二个第一镜头1022和第二图像撷取器104包含二个第二镜头1042，且第一图像撷取器102、第二图像撷取器104和传输电路1024可以是设置在一电路板上以及一相同外壳中，其中因为二个第二镜头1042是背对背设置在第二图像撷取器104内，所以图7仅显示在前方的第二镜头1042(在后方的第二镜头1042会被遮住)。另外，在本发明的另一实施例中，图像装置700可包含二个以上的图像撷取器。另外，在本发明的另一实施例中，图像装置700包含第一图像撷取器102、第二图像撷取器104和图像处理器106。另外，图像装置700内的第一图像撷取器102的操作原理可参照图2的相关说明，在此不再赘述。另外，图像装置700内的第二图像撷取器104的操作原理可参照图3的相关说明，在此也不再赘述。另外，图7所示的第一图像撷取器102、第二图像撷取器104和便携式装置108之间的耦接关系可参照图1，在此也不再赘述。
综上所述，本发明公开有关深度信息/全景图像的图像装置及其相关图像系统是利用所述第一图像撷取器和所述第二图像撷取器分别撷取所述多个第一图像以及所述多个第二图像，以及利用所述传输电路使所述第一图像撷取器和所述第二图像撷取器耦接所述便携式装置。然后所述图像处理器可分别根据所述多个第一图像产生一深度信息以及根据所述多个第二图像产生一全景图像或一全景视频。因此，本发明不仅可利用所述全景图像(或所述全景视频)提供虚拟现实(Virtual Reality,VR)、扩增实境(AugmentedReality,AR)或混合实境(Mixed Reality,MR)的应用，也可利用所述深度信息提供人脸辨识操作。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (19)

1.一种有关深度信息/全景图像的图像装置，其特征在于包含：
至少二图像撷取器，其中所述至少二图像撷取器中的第一图像撷取器和第二图像撷取器是分别撷取多个第一图像以及多个第二图像；
其中所述第一图像撷取器传送所述多个第一图像至一图像处理器，所述第二图像撷取器通过所述第一图像撷取器传送所述多个第二图像至所述图像处理器，以及所述图像处理器根据所述多个第一图像产生一深度信息和根据所述多个第二图像产生一全景图像或一全景视频。
2.如权利要求1所述的图像装置，其特征在于：所述第一图像撷取器包含至少二第一镜头和所述第二图像撷取器包含至少二第二镜头，且所述第一图像撷取器和所述第二图像撷取器是设置在一电路板上以及一相同外壳中。
3.如权利要求2所述的图像装置，其特征在于：所述第一图像撷取器通过一传输电路传送所述多个第一图像至所述图像处理器，以及所述第二图像撷取器通过所述传输电路传送所述多个第二图像至所述图像处理器，其中所述传输电路是设置在所述电路板上。
4.如权利要求1所述的图像装置，其特征在于：所述第一图像撷取器包含至少二第一镜头和所述第二图像撷取器包含至少二第二镜头，且所述第一图像撷取器和所述第二图像撷取器为互相独立的撷取器。
5.如权利要求4所述的图像装置，其特征在于：所述第一图像撷取器直接通过一传输电路传送所述多个第一图像至所述图像处理器，所述第二图像撷取器是通过所述传输电路传送所述多个第一图像至所述图像处理器，其中所述传输电路是包含在所述第一图像撷取器中。
6.如权利要求3或5所述的图像装置，其特征在于：所述传输电路是一集线器或一切换器。
7.如权利要求3或5所述的图像装置，其特征在于：所述传输电路包含至少一非C型通用串行总线接口，至少一C型通用串行总线接口，一闪电接口，或一显示端口接口。
8.如权利要求1所述的图像装置，其特征在于：当所述图像处理器另利用所述多个第二图像执行一移动检测时，所述图像处理器停止产生所述全景图像或所述全景视频。
9.如权利要求1所述的图像装置，其特征在于：所述图像处理器是设置在一便携式装置或设置在所述第一图像撷取器中。
10.如权利要求9所述的图像装置，其特征在于：所述图像处理器是利用所述便携式装置内建的一图像撷取器所撷取的多个第三图像执行一移动检测。
11.一种产生深度信息/全景图像的图像系统，其特征在于包含：
至少二图像撷取器，其中所述至少二图像撷取器中的第一图像撷取器和第二图像撷取器是分别撷取多个第一图像以及多个第二图像，其中所述第一图像撷取器和所述第二图像撷取器是可拆式的；及
一图像处理器，耦接所述第一图像撷取器和所述第二图像撷取器，且所述图像处理器分别根据所述多个第一图像产生一深度信息以及根据所述多个第二图像产生一全景图像或一全景视频。
12.如权利要求11所述的图像系统，其特征在于：所述第一图像撷取器包含至少二第一镜头和所述第二图像撷取器包含至少二第二镜头，且所述第一图像撷取器和所述第二图像撷取器是整合在一电路板上以及一相同外壳中。
13.如权利要求11所述的图像系统，其特征在于：所述第一图像撷取器包含至少二第一镜头和所述第二图像撷取器包含至少二第二镜头，且所述第一图像撷取器和所述第二图像撷取器为互相独立的撷取器。
14.如权利要求11所述的图像系统，其特征在于：所述图像处理器是设置在一便携式装置。
15.一种有关深度信息/全景图像的图像装置，包含：
至少一第一图像撷取器；以及
其特征在于：
至少一光源，用于发射一随机图案或一结构光，且所述至少一光源的强度可选择性地动态调整，其中所述至少一第一图像撷取器是用于撷取包含所述随机图案或所述结构光的图像。
16.如权利要求15所述的图像装置，其特征在于：所述至少一光源是根据所述图像装置所处环境的亮度、所述深度信息的质量和所述深度信息对应所述至少一光源开启与关闭时的差异的其中至少一项开启。
17.如权利要求16所述的图像装置，其特征在于：当所述至少一光源开启后，所述至少一光源的强度是根据对应所述多个第一图像的亮度和一目标值选择性地动态调整。
18.如权利要求15所述的图像装置，其特征在于：所述至少一光源的强度是根据包含所述随机图案或所述结构光的图像中的至少一对象与所述图像装置之间的距离，选择性地动态调整。
19.如权利要求15所述的图像装置，其特征在于：所述至少一光源的强度是根据所述图像装置所处环境的亮度，选择性地动态调整。
CN201711246416.1A 2017-03-31 2017-12-01 有关深度信息/全景图像的图像装置及其相关图像系统 Active CN108696694B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762479332P 2017-03-31 2017-03-31
US62/479,332 2017-03-31

Publications (2)

Publication Number Publication Date
CN108696694A true CN108696694A (zh) 2018-10-23
CN108696694B CN108696694B (zh) 2023-04-07

Family

ID=63671067

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711246416.1A Active CN108696694B (zh) 2017-03-31 2017-12-01 有关深度信息/全景图像的图像装置及其相关图像系统

Country Status (3)

Country Link
US (1) US11102401B2 (zh)
CN (1) CN108696694B (zh)
TW (1) TWI660231B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670407A (zh) * 2018-11-26 2019-04-23 维沃移动通信有限公司 一种人脸识别方法及移动终端
CN109982036A (zh) * 2019-02-20 2019-07-05 华为技术有限公司 一种全景视频数据处理的方法、终端以及存储介质
CN113361308A (zh) * 2020-03-06 2021-09-07 技嘉科技股份有限公司 人脸识别方法以及人脸识别装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7442522B2 (ja) * 2019-06-17 2024-03-04 株式会社小糸製作所 車載赤外線照明装置
TWI756956B (zh) 2020-12-01 2022-03-01 財團法人工業技術研究院 用於環景影像的影像處理方法及裝置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052918A (zh) * 2004-07-14 2007-10-10 富士胶片株式会社 感光性组合物、图案形成材料、感光性层叠体以及图案形成装置和图案形成方法
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
TW201501533A (zh) * 2013-06-27 2015-01-01 Altek Semiconductor Corp 調整對焦位置的方法及電子裝置
CN104408732A (zh) * 2014-12-10 2015-03-11 东北大学 一种基于全向结构光的大视场深度测量系统及方法
US9007431B1 (en) * 2013-11-27 2015-04-14 Dmitry Kozko Enabling the integration of a three hundred and sixty degree panoramic camera within a consumer device case
US20160105649A1 (en) * 2014-10-10 2016-04-14 IEC Infrared Systems LLC Panoramic View Imaging System With Drone Integration
CN105890520A (zh) * 2016-04-20 2016-08-24 感知控股集团有限公司 一种结构光发生装置及结构光测量系统
CN105940675A (zh) * 2014-01-29 2016-09-14 Lg伊诺特有限公司 深度信息提取装置和方法
US20160295197A1 (en) * 2015-04-03 2016-10-06 Microsoft Technology Licensing, Llc Depth imaging

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355624A (ja) * 1998-06-05 1999-12-24 Fuji Photo Film Co Ltd 撮影装置
JP2001292085A (ja) * 2000-04-10 2001-10-19 Mitsubishi Electric Corp 非接触伝送装置
JP4061473B2 (ja) * 2002-04-26 2008-03-19 日本電気株式会社 折り畳み型携帯電話機
JP4448844B2 (ja) * 2006-11-22 2010-04-14 富士フイルム株式会社 複眼撮像装置
US20100194860A1 (en) * 2009-02-03 2010-08-05 Bit Cauldron Corporation Method of stereoscopic 3d image capture using a mobile device, cradle or dongle
US8922625B2 (en) * 2009-11-19 2014-12-30 Lg Electronics Inc. Mobile terminal and controlling method thereof
JP5532297B2 (ja) * 2009-12-18 2014-06-25 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
TWI405030B (zh) * 2011-02-23 2013-08-11 Largan Precision Co Ltd 轉變成像軸線立體取像方法及裝置
JP5893262B2 (ja) * 2011-04-19 2016-03-23 株式会社ザクティ 複合カメラ装置
US10848731B2 (en) * 2012-02-24 2020-11-24 Matterport, Inc. Capturing and aligning panoramic image and depth data
US9324190B2 (en) * 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
TWI446089B (zh) * 2012-04-24 2014-07-21 Wistron Corp 鏡頭擴充座
CN104350734B (zh) * 2012-06-11 2017-12-12 索尼电脑娱乐公司 图像生成设备以及图像生成方法
JP5828038B2 (ja) * 2012-06-11 2015-12-02 株式会社ソニー・コンピュータエンタテインメント 画像撮像装置および画像撮像方法
US9699379B1 (en) * 2012-09-17 2017-07-04 Amazon Technologies, Inc. Camera arrangements for wide-angle imaging
US9332167B1 (en) * 2012-11-20 2016-05-03 Amazon Technologies, Inc. Multi-directional camera module for an electronic device
JP5541430B1 (ja) * 2013-08-19 2014-07-09 ソニー株式会社 撮像ユニット、装着装置
US20150085184A1 (en) * 2013-09-25 2015-03-26 Joel Vidal Smartphone and tablet having a side-panel camera
US20150103146A1 (en) * 2013-10-16 2015-04-16 Qualcomm Incorporated Conversion of at least one non-stereo camera into a stereo camera
KR102249831B1 (ko) * 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
TWI514065B (zh) * 2014-11-07 2015-12-21 Papago Inc 360 degree road traffic recorder
US10244098B2 (en) * 2015-01-27 2019-03-26 Prasad Muthukumar Autonomous mobility, orientation and rotation providing mechanism for mobile devices [AMORPM]
WO2016182502A1 (en) * 2015-05-14 2016-11-17 Medha Dharmatilleke Multi purpose mobile device case/cover integrated with a camera system & non electrical 3d/multiple video & still frame viewer for 3d and/or 2d high quality videography, photography and selfie recording
TWI558208B (zh) * 2015-07-14 2016-11-11 旺玖科技股份有限公司 影像處理方法、影像處理裝置及顯示系統
US9892488B1 (en) * 2015-08-28 2018-02-13 Amazon Technologies, Inc. Multi-camera frame stitching
US20170150112A1 (en) * 2015-11-25 2017-05-25 Google Inc. Methodologies for Mobile Camera Color Management
CN205430338U (zh) * 2016-03-11 2016-08-03 依法儿环球有限公司 带vr内容采集组件的智能手机或便携式电子通讯装置
TWM533238U (en) * 2016-07-18 2016-12-01 Suyin Optronics Corp 360 degree panoramic camera module and apparatus

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101052918A (zh) * 2004-07-14 2007-10-10 富士胶片株式会社 感光性组合物、图案形成材料、感光性层叠体以及图案形成装置和图案形成方法
US20100097444A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
TWM458748U (zh) * 2012-12-26 2013-08-01 Chunghwa Telecom Co Ltd 影像式深度資訊擷取裝置
TW201501533A (zh) * 2013-06-27 2015-01-01 Altek Semiconductor Corp 調整對焦位置的方法及電子裝置
US9007431B1 (en) * 2013-11-27 2015-04-14 Dmitry Kozko Enabling the integration of a three hundred and sixty degree panoramic camera within a consumer device case
CN105940675A (zh) * 2014-01-29 2016-09-14 Lg伊诺特有限公司 深度信息提取装置和方法
US20160105649A1 (en) * 2014-10-10 2016-04-14 IEC Infrared Systems LLC Panoramic View Imaging System With Drone Integration
CN104408732A (zh) * 2014-12-10 2015-03-11 东北大学 一种基于全向结构光的大视场深度测量系统及方法
US20160295197A1 (en) * 2015-04-03 2016-10-06 Microsoft Technology Licensing, Llc Depth imaging
CN105890520A (zh) * 2016-04-20 2016-08-24 感知控股集团有限公司 一种结构光发生装置及结构光测量系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109670407A (zh) * 2018-11-26 2019-04-23 维沃移动通信有限公司 一种人脸识别方法及移动终端
CN109982036A (zh) * 2019-02-20 2019-07-05 华为技术有限公司 一种全景视频数据处理的方法、终端以及存储介质
CN113361308A (zh) * 2020-03-06 2021-09-07 技嘉科技股份有限公司 人脸识别方法以及人脸识别装置

Also Published As

Publication number Publication date
TW201837595A (zh) 2018-10-16
US20180288324A1 (en) 2018-10-04
CN108696694B (zh) 2023-04-07
TWI660231B (zh) 2019-05-21
US11102401B2 (en) 2021-08-24

Similar Documents

Publication Publication Date Title
CN108696694A (zh) 有关深度信息/全景图像的图像装置及其相关图像系统
CN105359540B (zh) 头戴式显示设备及用于控制这样的设备的方法
CN108495032B (zh) 图像处理方法、装置、存储介质及电子设备
EP3134850B1 (en) Method for controlling a camera based on processing an image captured by other camera
JP7142575B2 (ja) 画像を合成するための方法及び装置
CN106101687B (zh) Vr图像拍摄装置及其基于移动终端的vr图像拍摄系统
CN103493480A (zh) 视频会议显示装置
CN108632543B (zh) 图像显示方法、装置、存储介质及电子设备
SG189164A1 (en) Immersive video conference system
JP2016020891A (ja) 形状計測システムおよび撮像装置
US20180288333A1 (en) Displaying Images on a Smartglasses Device Based on Image Data Received from External Camera
WO2021170123A1 (zh) 视频生成方法、装置及对应的存储介质
CN113329172B (zh) 拍摄方法、装置及电子设备
JP2011035638A (ja) 仮想現実空間映像制作システム
US10082672B2 (en) Display apparatus and method of displaying using electromechanical faceplate
CN114268775A (zh) 投影系统、方法及存储介质
JP2020016767A (ja) 撮像装置
CN103376637A (zh) 一种3d拍照系统
CN107861244A (zh) 具热显像功能的穿戴式装置
CN207460393U (zh) 一种激光投影系统
US20210303824A1 (en) Face detection in spherical images using overcapture
CN108427195A (zh) 一种基于增强现实的信息处理方法及设备
JP5781017B2 (ja) 映像会話システム
JP2002027419A (ja) 画像端末装置及びそれを用いる通信システム
WO2023160219A1 (zh) 补光模型的训练方法、图像处理方法及其相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant