CN109246410B - 全息影像的成像方法和数据生成方法及装置 - Google Patents
全息影像的成像方法和数据生成方法及装置 Download PDFInfo
- Publication number
- CN109246410B CN109246410B CN201710398583.1A CN201710398583A CN109246410B CN 109246410 B CN109246410 B CN 109246410B CN 201710398583 A CN201710398583 A CN 201710398583A CN 109246410 B CN109246410 B CN 109246410B
- Authority
- CN
- China
- Prior art keywords
- frame
- data
- image
- sub
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 90
- 238000003384 imaging method Methods 0.000 title claims abstract description 83
- 238000012545 processing Methods 0.000 claims abstract description 33
- 238000009826 distribution Methods 0.000 claims description 53
- 230000004075 alteration Effects 0.000 claims description 38
- 201000009310 astigmatism Diseases 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000006835 compression Effects 0.000 claims description 9
- 238000007906 compression Methods 0.000 claims description 9
- 206010010071 Coma Diseases 0.000 claims description 8
- 238000004806 packaging method and process Methods 0.000 claims description 8
- 230000009191 jumping Effects 0.000 claims description 7
- 238000013139 quantization Methods 0.000 claims description 6
- 238000001228 spectrum Methods 0.000 claims description 5
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 4
- YTAHJIFKAKIKAV-XNMGPUDCSA-N [(1R)-3-morpholin-4-yl-1-phenylpropyl] N-[(3S)-2-oxo-5-phenyl-1,3-dihydro-1,4-benzodiazepin-3-yl]carbamate Chemical compound O=C1[C@H](N=C(C2=C(N1)C=CC=C2)C1=CC=CC=C1)NC(O[C@H](CCN1CCOCC1)C1=CC=CC=C1)=O YTAHJIFKAKIKAV-XNMGPUDCSA-N 0.000 claims description 4
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 13
- 238000006243 chemical reaction Methods 0.000 abstract description 5
- 230000003287 optical effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000003086 colorant Substances 0.000 description 9
- 238000013507 mapping Methods 0.000 description 9
- 230000001419 dependent effect Effects 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 208000001491 myopia Diseases 0.000 description 5
- 230000004379 myopia Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 206010020675 Hypermetropia Diseases 0.000 description 2
- 230000004305 hyperopia Effects 0.000 description 2
- 201000006318 hyperopia Diseases 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000010791 quenching Methods 0.000 description 1
- 230000000171 quenching effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2202—Reconstruction geometries or arrangements
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2294—Addressing the hologram to an active spatial light modulator
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
- G03H2001/0816—Iterative algorithms
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/22—Processes or apparatus for obtaining an optical image from holograms
- G03H1/2294—Addressing the hologram to an active spatial light modulator
- G03H2001/2297—Addressing the hologram to an active spatial light modulator using frame sequential, e.g. for reducing speckle noise
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
- G03H2210/44—Digital representation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
- G03H2210/44—Digital representation
- G03H2210/441—Numerical processing applied to the object data other than numerical propagation
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H2210/00—Object characteristics
- G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
- G03H2210/45—Representation of the decomposed object
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Holo Graphy (AREA)
Abstract
本发明提供了一种影像的成像方法,包括以下步骤:步骤1,接收影像数据,该影像数据包括影像数据主体和影像特征数据;步骤10,根据该影像特征数据处理该影像数据主体,生成全息影像并输出。本发明提供了一种包含全息影像各特征要素,同时能提高存储、传输及转换个环节效率的全息影像的成像方法和数据生成方法及装置。
Description
技术领域
本发明主要涉及一种全息影像技术,尤其涉及一种动态全息影像的成像方法和数据生成方法及装置。
背景技术
通过在离观察者不同距离上的多个图像,可以实现类似三维的全息显示效果。这种影像能够与外部实际景物的距离一致,使观众感觉到图像真实的贴合在实际物体上,在增强显示应用中有着重要意义,同时在表现力上也远超平面影像,因而许多诸如医疗行业、工业应用、车载及骑行运动、电影制作商、体育节目转播公司的团体或组织一直希望能够以全息影像的方式向观众传达内容。另一方面,观众们也十分期待能够观赏全息的影像。随着技术的进步,通过计算全息的方式实现实时的全息成像已成为可能。但是全息影像包含常规2维影像所不具有的多种信息,例如各物体的实际成像距离,观看角度,反应物体间的相互遮挡的消隐关系等等,而目前仍然没有一个完整的技术方案来很好的集成全息影像所具有的各个要素,规范整个处理流程,同时又能提高存储及转换效率。
针对上述缺陷,有必要提出一种能够很好包含全息影像各要素,同时又能提高存储、传输及转换个环节效率的全息影像的成像方法和数据生成方法及装置。
发明内容
本发明要解决的技术问题是提供一种包含全息影像各特征要素,同时能提高存储、传输及转换个环节效率的全息影像的成像方法和数据生成方法及装置。为解决本发明的至少一部分技术问题,本发明提供了一种全息影像的成像方法,包括以下步骤:步骤1,接收影像数据,该影像数据包括影像数据主体和影像特征数据;步骤10,根据该影像特征数据处理该影像数据主体,生成全息影像并输出。
根据本发明的至少一个实施例,该影像特征数据包括文件影像特征数据、帧影像特征数据和子帧影像特征数据,该成像方法还包括以下步骤:
步骤2,识别该影像数据中包含的影像数据主体或文件影像特征数据和影像数据主体;
步骤3,将该影像数据主体分为一个或多个帧数据;
步骤4,读取该帧数据,识别该帧数据的帧数据主体或帧数据主体和帧影像特征数据;
步骤5,将该帧数据主体分为一个或多个子帧数据,读取每个该子帧数据,识别该子帧数据的子帧数据主体和子帧影像特征数据,该子帧影像特征数据包括第一特征,每个该子帧数据主体中的影像元素具有相同的该第一特征,提取该第一特征;
步骤6,根据该文件影像特征数据、帧影像特征数据和子帧影像特征数据处理该子帧数据主体,生成全息影像并输出,该文件影像特征数据和帧影像特征数据包括实质内容或不包括实质内容。
根据本发明的至少一个实施例,步骤6进一步包括以下步骤:
步骤6.1,读取每个子帧数据,识别每个子帧数据的子帧特征数据和子帧数据主体;
步骤6.2,将该子帧数据主体分为一个或多个分子帧数据,读取每个该分子帧数据,识别该分子帧数据的分子帧数据主体和分子帧影像特征数据其中每个该分子帧数据中的影像元素具有相同的第二特征;
步骤6.,3,根据该文件影像特征数据、帧影像特征数据、子帧影像特征数据和分子帧影像特征数据,生成全息影像并输出。
根据本发明的至少一个实施例,该影像特征数据包括影像距离、接收目标、影像角度、缩放比例、影像消隐关系、左右帧、影像颜色、光强中的一种或几种。
根据本发明的至少一个实施例,该影像数据主体是需要显示的位图、矢量图或全息图,该位图、矢量图或全息图是加密的或未加密的、压缩的或未压缩的。
根据本发明的至少一个实施例,该第一特征是颜色,每个该帧数据主体分为多个子帧数据,每个该子帧数据中的影像元素的颜色是光谱中的一种;
或,该第二特征是颜色,每个该子帧数据主体分为多个分子帧数据,每个该分子帧数据中的影像元素的颜色是光谱中的一种。
根据本发明的至少一个实施例,该文件影像特征数据中包含帧识别信息,帧识别信息包含代表每个帧数据长度的帧长信息,在步骤3中根据该帧长信息将该影像数据分为多个帧数据;
和/或该帧影像特征数据中包含子帧识别信息,该子帧识别信息中包含代表每一子帧的长度的子帧长信息,在步骤5中根据该子帧长信息将每个该帧数据主体分为一个或多个子帧数据。
和/或根据本发明的至少一个实施例,该子帧影像特征数据中包含分子帧识别信息,分子帧识别信息中包含代表每一分子帧的长度的分子帧长信息;在步骤6.1中根据该分子帧长信息将每个该子帧数据主体分为一个或多个分子帧数据。
根据本发明的至少一个实施例,该文件影像特征数据中包含帧识别信息,帧识别信息包含帧尾字段,每个该帧数据的末尾都具有该帧尾字段,在步骤3中根据该帧尾字段将该影像数据分为一个或多个帧数据;
和/或该帧影像特征数据中包含子帧识别信息,该子帧识别信息包含子帧尾字段,每个该子帧的末尾都具有该子帧尾字段,在步骤5中根据该子帧尾字段将每个该帧数据主体分为一个或多个子帧数据。
和/或根据本发明的至少一个实施例,该子帧影像特征数据中包含分子帧识别信息,分子帧识别信息中包含分子帧尾字段,每个该分子帧的末尾都具有该分子帧尾字段,在步骤6.1中根据该分子帧尾字段将每个该子帧数据主体分为多个分子帧数据。
根据本发明的至少一个实施例,本发明提供的成像方法,还包括以下步骤:步骤3.1识别该文件影像特征数据中还包含左右帧信息,该左右帧信息代表该影像数据主体中的帧数据属于左帧数据还是右帧数据;
步骤10.1将属于对应左帧的帧的子帧或分子帧向用户的左眼投射,将属于右帧的帧的子帧或分子帧向用户的右眼投射。
根据本发明的至少一个实施例,处理该影像数据主体、帧影像数据主体和子帧影像数据主体的方法为根据该文件影像特征数据、帧影像特征数据或子帧影像特征数据生成对应的相位分布。
根据本发明的至少一个实施例,将该相位分布加载到该影像数据主体、帧影像数据主体和/或子帧影像数据主体和/或分子帧影像数据主体上,并将加载后的影像数据、帧数据和/或子帧数据和/或分子帧数据输出。
根据本发明的至少一个实施例,本发明提供的成像方法,还包括以下步骤:步骤3.2识别该影像数据中的补偿信息,该补偿信息包括离焦系数、球差系数、彗差系数、像散系数、畸变系数、场曲系数、倍率色差、位置色差和高阶像差中的一种或多种。
根据本发明的至少一个实施例,本发明提供的成像方法,还包括以下步骤:步骤3.3,识别该帧影像特征数据中的角度信息;
步骤6.3,将属于同一帧数据的帧或子帧或分子帧数据根据该帧影像特征数据中的角度信息对应的角度旋转,将旋转后的该帧或子帧或分子帧数据输出。
根据本发明的至少一个实施例,本发明提供的成像方法,还包括以下步骤:步骤3.4识别该文件影像特征数据中还包含相关信息,该相关信息包括该影像数据长度信息、补偿信息、温度信息、亮度信息、位深度信息、分辨率信息、播放速度信息、单帧数据格式信息、帧影像特征数据长度信息、是否压缩和压缩方式、创立时间信息、是否加密和加密方式信息中的一种或者多种;
步骤6.4根据该相关信息调整该子帧或分子帧数据。
根据本发明的至少一个实施例,本发明提供的成像方法,还包括以下步骤:步骤6.5,读取帧数据或子帧特征数据或分子帧特征数据中的光强信息;
在显示该帧数据或子帧数据或该分子帧数据时,将该光强信息发送至光源驱动或光源,将该帧数据或子帧数据主体或分子帧数据主体处理后生成的全息图发送至空间光调制器。
根据本发明的至少一个实施例,该特征数据的至少一部分,直接或转化为相位分布后输出到空间光调制器上。
根据本发明的至少一个实施例,该影像数据中至少包含一个从属帧/子帧/分子帧数据,该从属帧/子帧/分子帧数据仅包含该从属帧/子帧/分子帧数据与该从属帧/子帧/分子帧数据的前一帧/子帧/分子帧数据的差别信息;
在显示该从属帧/子帧/分子帧数据时,将该前一帧/子帧/分子帧数据的帧/子帧/分子帧数据与该从属帧/子帧/分子帧数据的帧/子帧/分子帧数据的组合作为该从属帧/子帧/分子帧数据。
根据本发明的至少一个实施例,步骤1和/或步骤2在服务器完成,该服务器将结果发送至一个或者多个客户端。
根据本发明的至少一个实施例,步骤1-6在服务器完成,该服务器将结果发送至一个或者多个客户端。
根据本发明的至少一个实施例,用户端将文件影像特征数据和/或帧影像特征数据的至少一部分发送至服务器端;
和/或,用户端将要求服务器端生成该影像数据的指令信息发送至服务器端。
根据本发明的至少一个实施例,步骤1-6中的至少一个步骤在用户端完成,其余在服务器端完成;
该服务器将结果发送至一个或者多个客户端。
根据本发明的至少一个实施例,本发明提供的成像方法,还包括以下步骤:步骤1.1用户端将该影像文件发送至服务器端;
和/或步骤1.2用户端将播放场景参数发送至该服务器;
步骤6.5该服务器根据该播放场景参数优化该帧数据或子帧数据或分子帧数据,并将优化过的该帧数据、子帧数据或分子帧数据生成的全息图发送至用户端,该播放场景参数包括显示器尺寸、分辨率、成像与用户间的距离、观看角度、环境光强、影像消隐信息、颜色信息、补偿信息、缩放比例、接收目标、左右帧中的一种或者多种。
根据本发明的至少一个实施例,该服务器端通过无线或有线方式与客户端连接。
根据本发明的至少一个实施例,该无线连接为蓝牙、Wi-Fi、3G、4G、5G中的一种或几种。
根据本发明的至少一个实施例,确定为显示完该影像数据的最后一帧数据且没有后续输入时,循环显示当前帧数据。
根据本发明的至少一个实施例,显示时,将该步骤6输出的该全息影像缓存,再以颜色循环排列的方式输出到空间光调制器。
根据本发明的至少一个实施例,根据该文件影像特征数据处理该影像数据主体的方法包括以下步骤:
步骤a,输入目标图像的能量分布,预设叠加的全息子帧数,预设迭代条件,或目标图像的能量分布,预设叠加的全息子帧数,预设迭代条件,和成像距离、成像角度和补偿信息中的至少一种;
步骤b,计算需显示帧/子帧/分子帧图像的强度及相位分布;
步骤c,计算全息图或全息图子帧或全息图分子帧;
步骤d,判断是否满足迭代条件,若满足则运行步骤e,若不满足则跳至步骤g;
步骤e,计算量化全息图帧或量化全息图子帧或量化全息图分子帧;
步骤f,根据量化全息图帧或量化全息图子帧或量化全息图分子帧对应的图像和/或需显示帧/子帧/分子帧图像的强度和/或相位分布和/或补偿信息计算新的强度及相位分布,跳回步骤c,或更改迭代条件或参数并跳回步骤c;
步骤g,输出相应帧/子帧/分子帧对应的量化全息图帧/子帧/分子帧;
步骤h,令叠加的全息图子帧/分子帧数累加,并重置迭代条件;
步骤i,判断叠加全息图子帧/分子帧数是否达到预设值,若否,则运行步骤j,若是,则本帧或子帧图像计算结束,等待或接受下一帧或子帧图像;
步骤j,改变该示帧/子帧/分子帧图像的强度和/或相位分布或相应参数,跳转至步骤b。
为解决本发明的至少一部分技术问题,本发明还提供一种影像数据的生成方法,包括以下步骤:
步骤101,提取需要显示的影像元素的特征,并将所提取的特征作为影像特征数据,该特征包括、影像距离、接收目标、缩放比例、观看角度、左右帧、消隐信息、颜色、光强中的一种或几种;
步骤102,将提取特征后的该影像元素按照时序分为一个或多个帧,并将该一个或多个帧作为影像数据主体;
步骤130,将该影像数据主体,与该影像特征数据封装成影像数据。
根据本发明的至少一个实施例,本发明提供的影像数据的生成方法,还包括以下步骤:步骤103,把将要生成的帧数据的帧数据格式对应的帧识别信息写入该文件影像特征数据。
根据本发明的至少一个实施例,本发明提供的影像数据的生成方法,还包括以下步骤:步骤104,将每一帧中具有相同第一特征的影像元素作为同一子帧数据的子帧数据主体,将该第一特征写入子帧影像特征数据;该第一特征是颜色、影像距离、接收目标、观看角度、缩放比例、左右帧、消隐关系、光强中的一种或多种;
步骤105,将每一帧中的子帧数据并作为一个帧数据主体,将该帧数据主体和该帧影像特征数据封装为帧数据。
根据本发明的至少一个实施例,本发明提供的影像数据的生成方法,还包括以下步骤:步骤106,把将要生成的子帧数据的子帧数据格式对应的子帧识别信息写入帧影像特征数据。
根据本发明的至少一个实施例,本发明提供的影像数据的生成方法,还包括以下步骤:步骤106,将具有相同第二特征的影像元素作为一个分子帧数据主体,将该第二特征写入该分子帧影像特征数据,该第二特征是颜色、影像距离、接收目标、观看角度、缩放比例、左右帧、消隐关系、光强中与该第一特征不同的一种或多种;步骤107,将该分子帧数据主体与相应的分子帧影像特征数据封装为一个分子帧数据;
步骤120,将每一帧中具有相同第一特征的分子帧作为一个子帧数据主体将该子帧数据主体与相应的子帧影像特征数据封装为一个子帧数据;
步骤121,将每一帧中的子帧数据作为一个帧数据主体,将该帧数据主体与该帧影像特征数据封装为帧数据。
根据本发明的至少一个实施例,本发明提供的影像数据的生成方法,还包括以下步骤:步骤108,把将要生成的分子帧数据的分子帧数据格式对应的分子帧识别信息写入该子帧影像特征数据,和/或把将要生成的子帧数据的子帧数据格式对应的子帧识别信息写入该帧影像特征数据。
根据本发明的至少一个实施例,该文件影像特征数据、帧影像特征数据、子帧影像特征数据和分子帧影像特征数据中的至少一个为相位分布。
根据本发明的至少一个实施例,将该文件影像特征数据、帧影像特征数据、子帧影像特征数据或分子帧影像特征数据转换为相位分布的方法,针对当前的该影像特征数据、帧影像特征数据、子帧影像特征数据或分子帧影像特征数据计算相位分布,或在根据该文件影像特征数据、帧影像特征数据、子帧影像特征数据或分子帧影像特征数据,在预设的相位分布库中调取相应的相位分布。
根据本发明的至少一个实施例,该第一特征是颜色,在步骤104中将该子帧数据的颜色写入子帧影像特征数据,该子帧数据中的影像元素的颜色是色彩空间基本参数中的一种;
或,该第二特征是颜色,在步骤104中将该相同的颜色写入该分子帧的分子帧影像特征数据,每个该分子帧数据中的影像元素的颜色是色彩空间基本参数中的一种。
根据本发明的至少一个实施例,该第一特征是影像距离,在步骤104中将该子帧的影像距离写入子帧影像特征数据,每个该子帧数据中的影像元素的影像距离相同;
或,该第二特征是影像距离,在步骤106中将该相同的影像距离写入该分子帧的分子帧影像特征数据,每个该分子帧数据中的影像元素的影像距离相同。
根据本发明的至少一个实施例,该帧识别信息、子帧识别信息或分子帧识别信息是该帧数据、子帧数据或分子帧数据的长度。
根据本发明的至少一个实施例,该帧识别信息、子帧识别信息或分子帧识别信息是帧数据末尾的帧尾字段、子帧数据末尾的子帧尾字段或分子帧数据末尾的分子帧尾字段。
根据本发明的至少一个实施例,本发明提供的影像数据的生成方法,还包括以下步骤:识别该影像元素中需要向用户的左眼投射的左帧影像元素和需要向用户的右眼投射的右帧影像元素,将左帧影像元素写入左帧数据,将右帧影像元素写入右帧数据,将关于每一帧数据是左帧数据或右帧数据的左右帧信息写入该文件影像特征数据。
根据本发明的至少一个实施例,该左帧数据和该右帧数据的数量相同并在该影像数据中交替排列。
根据本发明的至少一个实施例,本发明提供的影像数据的生成方法,还包括以下步骤:根据设备和/或使用者信息,生成补偿信息,该补偿信息包括球差系数、彗差系数、像散系数、畸变系数、场曲系数、倍率色差、位置色差高阶像差和屈光度系数、散光系数中的一种或多种;并将该补偿信息写入文件影像特征数据。
根据本发明的至少一个实施例,本发明提供的影像数据的生成方法,还包括以下步骤:根据所需显示的影像,生成每一帧的角度信息,并将该每一帧的角度信息写入对应的帧数据的帧影像特征数据。
根据本发明的至少一个实施例,将所需显示的影像的相关信息写入该文件影像特征数据,该相关信息包括该影像数据长度信息、补偿信息、温度信息、位深度信息、亮度信息、分辨率信息、播放速度信息、单帧数据格式信息、帧影像特征数据长度信息、是否压缩及压缩方式、创立时间信息、是否加密和加密方式信息中的一种或者多种。
根据本发明的至少一个实施例,本发明提供的影像数据的生成方法,还包括以下步骤:将每一分子帧数据中的分子帧数据主体的总光强作为光强信息写入该分子帧数据的分子帧影像特征数据,并将分子帧数据主体归一化后,作为分子帧数据主体;
或,将每一子帧数据中的子帧数据主体的总光强作为光强信息写入该子帧数据的子帧影像特征数据,并将子帧数据主体归一化后,作为子帧数据主体;
或,将每一帧数据中的帧数据主体的总光强作为光强信息写入该帧数据的帧影像特征数据,并将帧数据主体归一化后,作为帧数据主体。
根据本发明的至少一个实施例,本发明提供的影像数据的生成方法,还包括以下步骤:将至少一单元作为从属单元,将该从属单元与该从属单元的前一单元的差异作为该从属单元的内容;
该单元是该帧数据、该子帧数据、或该分子帧数据。
为了解决本发明的至少一部分技术问题,本发明还提供一种装置,包括:处理器,其中该处理器运行时促使该装置至少执行上述的一种方法。
为了解决本发明的至少一部分技术问题,本发明还提供一种装置,包括:存储器;以及处理器,其中该存储器包括其上存储的计算机代码,该代码被配置为当在该处理器上运行时促使该装置至少执行上述的一种方法。
为了解决本发明的至少一部分技术问题,本发明还提供一种包括其上存储的计算机代码的计算机可读介质,该计算机代码被配置为当在处理器上运行时,执行上述的一种方法。
本发明提供的成像方法和数据生成方法及装置,既能够包含全息影像各特征要素,同时又能提高存储、传输及转换个环节效率。
附图说明
图1示出了本发明的一个实施例的全息影像成像方法的流程示意图;
图2示出了本发明的一个实施例的全息影像数据的结构示意图;
图3示出了本发明的一个实施例的全息影像数据的生成方法的流程示意图;
图4示出了本发明的一个实施例的全息影像成像方法的硬件实现方法示意图。
具体实施方式
为让本发明的上述目的、特征和优点能更明显易懂,以下结合附图对本发明的具体实施方式作详细说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是本发明还可以采用其它不同于在此描述的其它方式来实施,因此本发明不受下面公开的具体实施例的限制。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其他的步骤或元素。
首先以一个非限制性的例子说明本发明提供的全息影像成像方法。本发明提供的,全息影像成像方法包含两个步骤,第一个步骤是,接收包含该影像的影像数据。其中影像数据进一步包括作为显示内容的主体的影像数据主体和描述显示内容的主体中没有被影像数据主体所包括(独立于影像数据主体)的影像特征数据。即,将影像数据中一些共性的但又独立的特征作为特征数据接收,将其余部分作为影像数据主体接收。第二个步骤是,根据接收到的影像特征数据处理该影像数据主体,生成全息影像并输出。
下面参考图1-2,以一个非限制性的例子进一步说明本发明提供的影像成像方法。在当前的非限制性例子中,全息影像的成像方法,包括以下步骤:
步骤1001,接收包含影像内容的影像数据。这一步骤可以在用户端上实施。例如,可以是用户的掌上智能设备接收来自于网络的数据,或者用户的穿戴式设备产生的数据等。另外“接收”的含义是广义的,例如,在本地的个人计算机中运行的单机游戏中产生的影像数据,也可以被理解为是作为显示设备的个人计算机在显示全息图像时,从自身接收影像数据。影像数据中包括影像数据主体及影像特征数据,影像特征数据既可以是包含整个影像数据的特征,并被整合在一起的数据,也可以是代表影像中的一部分内容的特征并分布式的设置在整个影像数据中的数据。在完成这一步骤之后既可以直接根据影像特征数据处理该影像数据主体,生成全息影像并输出。也可以跳转至步骤1002。
步骤1002,识别该影像数据中包含的影像特征数据和影像数据主体。其中影像特征数据包括子帧影像特征数据、文件影像特征数据和帧影像特征数据。可选的,文件影像特征数据位于影像数据的前端,影像数据主体之前。这样的设置使得影像数据适宜于以流媒体的方式发送。或者影像特征数据也可以通过专门的硬件线路来传输,从而使特征数据可以独于与影像数据主体,两者同时以数据流的方式发送。此外,还可以仅具有子帧特征数据、不具有帧影像特征数据和/或文件影像特征数据。
步骤1003,将该影像数据主体分为一个或多个帧数据。在这一步骤中,既可以通过文件影像特征数据中的帧识别信息将其分为多个较小的,仅包含一个时间段内所需显示的内容的帧数据。帧识别信息中的信息也可以在设计硬件和/或软件时就事先约定,而无需再专门写入帧识别信息,则影像特征数据中不包含帧识别信息。
值得注意的是,在某些例子中在这一步骤后,可以直接执行最终步骤根据帧特征数据处理帧数据主体并输出。但是在当前的例子中,不直接处理并输出,而是条转入后续步骤1004。此外,还可以仅具有子帧特征数据和文件影像特征数据不具有帧影像特征数据。
步骤1004,读取每个帧数据,识别每个帧数据的帧影像特征数据和帧数据主体。这一步骤可以与步骤1002中的方法类似。
步骤1005,首先将该帧数据主体分为一个或多个子帧数据,读取每个该子帧数据。分为子帧的方法可以是,例如根据该帧影像特征数据中的子帧识别信息,将每个该帧数据主体分为一个或多个子帧数据。对于分割出来的子帧,识别每个子帧数据的子帧数据主体和子帧影像特征数据述子帧影像特征数据包括第一特征,每个子帧数据主体中的影像元素具有相同的该第一特征,提取该第一特征。这里的第一特征是颜色、影像距离、接收目标、缩放比例、观看角度、光强、消隐信息、左右帧中的一种或几种的组合。值得注意的是,这里的“颜色”也应做广义理解,既可以理解为RGB色彩空间中的红、黄、蓝三种颜色。也可以理解为,HSB色彩空间中使用的色相、饱和度和明度。此外,该子帧识别信息中的信息也可以事先在硬件和/或软件设计时约定,则此处的子帧数据可以没有子帧识别信息而直接识别第一特征和子帧数据主体。
在当前步骤完成后可以根据该子帧影像特征数据,或子帧影像特征数据和文件影像特征数据以及帧影像特征数据中的至少一个处理子帧数据主体,生成全息影像并输出。也可以跳转至步骤1006。此外文件影像特征数据和帧影像特征数据包括实质内容或不包括实质内容。即,当文件影像特征数据和帧影像特征数据都不包括实质内容时,文件影像特征数据和帧影像特征数据可以仅包含形式内容,也可以完全不存在,成像时仅根据子帧特征数据处理子帧数据主体。
步骤1006,读取每个子帧数据,识别每个子帧数据的子帧特征数据和子帧数据主体。
步骤1007将该子帧数据主体分为一个或多个分子帧数据,读取每个该分子帧数据,识别该分子帧数据的分子帧数据主体和分子帧影像特征数据其中每个该分子帧数据中的影像元素具有相同的第二特征;第二特征是颜色、影像距离、接收目标、缩放比例、观看角度、消隐信息、光强、左右帧中的另一种或几种的组合,然后提取该第二特征。此外,该的分子帧识别信息中的信息也可以事先在硬件和/或软件设计时约定,则此处的分子帧数据可以没有分子帧识别信息而直接识别第二特征和分子帧数据主体。例如:分辨率为1920x1080,每一帧固定包含6个子帧,数据主体通过24根数据线和1根行同步数据线,1根列同步数据线传输,每个时钟周期传输3个像素点,第一特征为距离和颜色的组合,其中颜色按照RGBRGB的固定顺序排列,距离信息通过1根数据线传输。每个帧主体的6个子帧主体在691200x 6个时钟周期内传输完毕,每个子帧对应的第一特征距离信息在每个子帧主体开始传输后的16个时钟周期内传输完毕。因为例子中所有的帧与子帧数据都按照硬件和软件设计时所约定的格式传输,所以无需再专门写入相应的识别信息。
步骤1008,根据文件影像特征数据、帧影像特征数据、子帧影像特征数据和分子帧影像特征数据,生成全息影像并输出。与步骤1005中类似的,的文件影像特征数据和帧影像特征数据包括实质内容或不包括实质内容。
上述步骤的顺序并非限定,可以根据实际需要或本领域人员易于理解的方式变换顺序或者删减某些步骤。
在步骤1008中,根据该第一特征和该第二特征处理该分子帧数据中包含的影像元素的方法可以是多样的,其中一种可选的处理方法包含如下步骤:
1.输入目标图像IpmX 11(x,y)与初始相位ΦpmX i(x,y),迭代次数R,叠加的全息子帧/分子帧数S,初始化r=1,s=1,
3.计算量化全息图HpmX sr(ξ,η)=Q{C(Trans{TpmX sr(x,y)},Aξη,Pξη,Gξη)}
4.判断r<R,若是运行步骤5,若否跳至步骤8
5.计算HpmX sr(ξ,η)生成的图像T'pmX sr=Trans-1{C-1(HpmX sr(ξ,η),Aξη,Pξη,Gξη)}
6.令r=r+1
7.计算TpmX sr=l(TpmX s1,TpmX s(r-1),T'pmX s(r-1),Aξη,Pξη,Gξη),跳回步骤3
8.输出相应帧或子帧或分子帧对应的量化全息图HpmX sr(ξ,η),
9.令s=s+1,并重置r,令r=1
10.判断s≤S,若是,则运行步骤11。若否,则本帧/子帧/分子帧图像计算结束,等待或接受下一帧/子帧图像。
11.令下一子帧的能量分布为IpmX s1=k(TpmX 11,T'pmX 1R,T'pmX 2R,...,T'pmX (s-1)R),沿用或生成新的ΦpmX i(x,y),跳回步骤2。
其中IpmX 11(x,y)是输入的帧或子帧或分子帧的图像数据,TpmX s1(x,y)是强度分布,ΦpmX i(x,y)可以是继承上一帧图像迭代后得到相位,也可以是预存的或用其它方法得到的。Trans{}和Trans-1{}是对应生成全息图变换及其逆变换(例如傅立叶变换,傅立叶逆变换,菲涅尔变换,菲涅耳逆变换,淬火算法等),Aξη为照明光强度及相位分布,Pξη为特征数据,Gξη为光学补偿数据,用来补偿光学系统中产生的像差(球差、彗差、像散、场曲、畸变、高阶像差,倍率色差、位置色差等)和/或人眼产生光学像差(近视、远视、像散等),C(),C-1()是加入补偿数据后生成全息图及图像的强度相位分布的函数及逆函数关系。Q{}是量化的方法(例如丢弃强度,量化相位分布;或者采用双相位方法合成强度及相位,并量化相位分布等等),l(TpmX s1,TpmX s(r-1),T'pmX s(r-1),Aξη,Pξη,Gξη)是有关帧或子帧或分子帧目标强度及相位分布TpmX s1,上一迭代目标强度TpmX s(r-1)、实际上一强度及相位分布T'pmX s(r-1)及光学补偿数据,成像距离数据等相关的运算方法。IpmX s1=k(TpmX 11,T'pmX 1R,T'pmX 2R,...,T'pmX (s-1)R)表明每一全息分子帧对应的目标能量分布与之前生成的全息子帧/分子帧(相应数据子帧或分子帧对应的全息子帧/分子帧)相关,k()为对应的函数关系。
上述步骤的顺序并非限定,可以根据实际需要或本领域人员易于理解的方式变换顺序或删减。
此外,全息图的帧/子帧/分子帧也可以不完全和图像帧/子帧/分子帧一一对应。因为理论上一副全息图就可以包含显示图像的所有信息(包括多种成像距离,角度等等),而无需通过多个子帧或分子帧在时间上快速叠加的方式实现。例如一个图像子帧内有10个分子帧分别表示不同成像距离的影像元素,而计算全息图时可以只生成一帧全息图子帧(只有一个分子帧或没有分子帧)同时包含10个不同成像距离的元素,即一帧全息图子帧(无需10个分子帧)即可在实际显示时包含影像元素中的所有特征信息。上例中的全息图子帧(只包含一个分子帧)可以直接计算获得,或者也可以先计算10个包含不同距离影像对应的全息图分子帧,但不实际输出,而是将10个全息图分子帧处理(例如使用强度和/或相位上叠加的方式)成一个全息图子帧(只包含一帧全息图分子帧)后再输出。
根据图1所示的方法及其前述的变化方案,可以将图2所示的影像数据结构或其前述的变化方案解封装后处理显示。另外,根据图1所示的方法及其前述的变化方案也可以将包含影像内容的其他结构的影像数据,按照图2及其前述的变化方案所示的影像数据结构重新组织后显示。
这样的设置方式使得每个帧或子帧或分子帧的颜色和影像距离、角度都有所记载,并且记载在相对统一的位置,形成统一的规范,使得在提取的时候较有效率。另一方面,可以使得具有类似特征的影像内容记载在一起,在显示的时候一起按时间顺序一一显示,提高传输效率,减少显示设备在不同影像距离和颜色之间切换的频率,使得在显示时对硬件要求低,且具有较高较好的显示效果。
在上述的例子中,帧、子帧、分子帧对于观看者来说的区别在于,对于观看者,每一帧是其在某一时刻看到的一幅完整图像(虽然实际上子帧图像很可能是在时间上快速切换,利用人眼的视觉残留效应让观看者认为其看到的是同一幅图像的不同部分,而非时间上前后看到多副不同图像),而子帧和分子帧是这幅图像中的不同特性的元素,但通过在同一时刻空间中的叠加,和/或不同时刻的快速叠加(利用人眼的视觉残留)使观看这认为这是一帧完整的图像。
值得注意的是,以上的例子只是对本发明所提出的成像方法的一个可选的例子的说明。本发明所提出的成像方法的许多步骤都可以具有多种多样的实施方式,下面以一些非限制性的例子进行进一步的说明。
根据一个非限制性的例子,文件影像特征数据包括代表影像元素成像时的位置的影像距离、代表哪个用户接收的接收目标、代表影像元素成像时与观看者所成角度的影像角度、影像元素成像时相互遮挡关系的影像消隐关系、代表影像数据中的哪一帧是向左眼发送,哪一帧是向右眼发送的左右帧、影像颜色和影像元素成像时的光的总强度的光强中的一种或几种,代表所生成或记录的影像元素与实际显示的影像元素大小关系的缩放比例关系。
此外,影像数据主体可以是需要显示的位图、矢量图或全息图,并且既可以是加密的,也可以是未加密的,既可以是压缩的,也可以是未压缩的。
根据一个非限制性的例子,第一特征是颜色。在步骤1005每个帧数据主体分为多个子帧,每个子帧中的影像元素的颜色是光谱中的一种。例如,当采用RGB色彩空间时,每个帧数据主体分为三个子帧,第一子帧中的影像元素的颜色是红色,第二子帧中的影像元素的颜色是绿色,第三子帧中的影像元素的颜色是蓝色。在当前的非限制性的例子中,第二特征是影像距离,即在显示时图像距离用户的距离。例如,在步骤1007中,将每个子帧数据主体分为三个分子帧,三个分子帧中的影像元素的影像距离分别是空间中的任意距离,例如第一帧的第一子帧的三个分子帧的距离分别是0.5米、3米、20米,第一帧的第二子帧的三个分子帧的距离分别是0.8米、19米、5米,第一帧的第三子帧的三个分子帧的距离分别是0.5米、19米、30米,第二帧的第一子帧的三个分子帧的距离分别是0.1米、15米、8米,第二帧的第二子帧的三个分子帧的距离分别是0.1米、15米、8米,第二帧的第三子帧的三个分子帧的距离分别是0.2米、8米、10米,依次类推。这样的设置使得每个帧数据被分为9个分子帧。RGB三色可以形成各种色彩,而不同的影像距离可以分别用来显示近景,中距离景物和远景。通过任意改变距离形成较好的显示效果。
根据另一个非限制性的例子,第一特征是影像距离。例如,在步骤1005每个帧文件数据主体分为多个子帧,第一子帧中的影像元素的影像距离是0至1米中的任意距离,第二子帧中的影像元素的影像距离是1至5米中的任意距离,第三子帧中的影像元素的影像距离是5至20米至无穷远中的任意距离。与之相对的,第二特征是颜色,在步骤1007中,将每个子帧文件数据主体分为三个分子帧,每个分子帧中的影像元素的颜色采用的是450nm蓝、520nm绿、638nm红,因此,每个分子帧的颜色是这三种颜色中的一种。
将颜色信息列为特征信息而不是如普通显示这样按照一般RGB之类的固定格式顺序排列是因为全息显示往往存在一些颜色较为简单的图像显示需求,例如一台具有RGB全彩显示功能的设备在某段视频中很长一段时间只有白色图案,在这种情况下可以将原先的RGB三个子帧或分子帧数据主体和并为一个子帧或分子帧数据主体,只在特征信息中标出这个数据主体有R色、G色和B色,这样可以降低对于存储和传输的要求,并且在某些情况下也可以只计算一个颜色的全息图(例如G色),将此全息图直接或做简单处理后输出作为其它颜色的全息图(例如R色和B色),通过不同光源照射合成出白色图像,这样还可以大大降低运算量。
此外,由于全息显示利用光的干涉衍射原理成像,而实际空间光调制器对于不同光波长的衍射角不同,为简化后续生成全息图时的运算,或降低光学硬件的成本和设计难度,也可以将每个颜色图像的分辨率设置为不同,将各颜色子帧对应的分辨率写入文件影像特征数据。
另一方面,在步骤1003中,根据文件影像特征数据中的帧识别信息将整个影像数据分为多个帧数据的具体方法可以是多样的,下面以一些非限制性的例子进行进一步的说明。
根据一个非限制性的例子,文件影像特征数据中的帧识别信息包含代表每一帧数据长度的帧长信息。例如,帧长信息可以是“每一帧的帧数据长度为1MB”。则在步骤1003中,可以根据这一帧长信息,将影像数据中的影像数据主体以1MB的长度切分,即可得到帧数据。同样的方法也可以运用在将帧数据切分为子帧数据时,以及在将子帧数据切分为分子帧数据时。这样的好处在于,每一个帧、子帧、分子帧数据的长度确定,处理时比较容易。
根据另一个非限制性的例子,文件影像特征数据中的帧识别信息包含特定的帧尾字段。例如帧识别信息中包含“0XFF”的帧尾字段。同时,在该影像数据中,每一个帧数据的末尾都具有该帧尾字段。在步骤1003中可以根据这一帧尾字段,将影像数据分为多个帧。这样的方法也可以应用在将帧数据切分为子帧数据,及将子帧数据切分为分子帧数据的步骤中。
此外,每帧数据中的子帧数和/或分子帧数和/或特征信息数都可以是可变的,例如第一帧中包含3个子帧,第一子帧包含1个分子帧,第二个子帧包含5个分子帧,第三个子帧包含20个分子帧,第二帧包含5个子帧,第一个子帧包含3个分子帧等等,以此类推。相关的帧数及特征信息都可以写入帧、子帧、分子帧识别信息中。
本发明所提出的成像方法的其他方面的变化还包括,根据一个非限制性的例子,在步骤1004中还包括:识别文件影像特征数据中的左右帧信息。左右帧信息代表这一影像数据主体中的各个帧数据属于左帧数据还是右帧数据。例如,左右帧信息可以是“奇数帧数据为左帧数据,偶数帧数据为右帧数据”。识别这一左右帧信息就能将各个帧数据属于何种数据明确出来。在当前的例子中,在步骤1007中相应的包括:将属于左帧的帧的分子帧向用户的左眼投射,将属于右帧的帧的分子帧帧向用户的右眼投射的步骤。左右帧数据往往是存在细微差别的数据主体,对应着观看者观看帧中所显示的景物时存在的细微角度差。由于左右帧数据的差别往往非常细微,也可以使用从属帧的方式来记录左右帧,例如左帧为主帧,右帧为从属帧,记录的是与左帧图像的差别数据。此外,还可将左右帧分为多个左右帧对,对于多个位于不同观看角度的使用者分别投射不同的左右帧对。例如分为3个左右帧对,对于位于-20°的观看者投射左右帧对1,对于位于0°的观看者投射左右帧对2,对于位于10°的观看者,投射左右帧对3。
根据本发明的一个非限制性例子,数据中还可以包含多个不同角度的左右帧,例如有3个用户分别位于-35°,1°,50°的观看位置,则左右帧信息进一步细分为左右帧1、左右帧2及左右帧3,在处理模块处理完毕生成相应的全息图后分别向位于不同位置的用户分别投射左右帧1、2、3。这种投射可以通过在服务器端生成相关全息图后分别发送至3位用户分别佩戴的终端设备1、2、3,从而使客户能够观看到影像的不同角度,同时当他们移动时,各人观看影像的角度也会通过接受到的角度和距离参数的改变分别实时变化。这种投射还可以通过将所有帧(帧1、2、3)都显示在一台特殊的全息显示设备上,将三个角度的图像分别引导到三位用户的眼中。服务器端能够通过无线或有线方式与客户端连接。可选的,无线连接为蓝牙、Wi-Fi、3G、4G、5G中的一种或几种。
根据一个非限制性的例子,在帧影像特征数据中还包含补偿信息,以便对显示的影像进行补偿。与之对应的在步骤1003中还包括:识别该文件影像特征数据中的补偿信息。补偿信息包括球差系数、彗差系数、像散系数、畸变系数、场曲系数、倍率色差、位置色差、和高阶像差和、屈光度系数、和散光系数中的一种或多种。补偿信息可以是根据用于诸如成像设备、与使用者的情况相关的使用者信息生成的。并且,补偿信息也可以是根据多个信息共同生成的。
根据一个非限制性的例子,处理影像数据主体、帧影像数据主体和子帧影像数据主体的方法可以通过使用和相关相位分布运算来进行。具体的方法是,先将文件影像特征数据、帧影像特征数据或子帧影像特征数据转化为相应的相位分布矩阵,并在处理该影像数据主体、帧影像数据主体和子帧影像数据主体时使用该相位分布的矩阵。
值得注意的是,相位数据可以是特征数据,比如图像的距离、角度等、也可以是补偿信息,例如用户近视情况(屈光度,散光等)、光学系统本身的像差、屏幕大小中的一种或者多种,或者还可以是特征数据与补偿信息的结合。相位数据也可以根据上述数据生成。特征数据是与显示内容相关的,因此往往一直在变化中。而补偿信息,主要与播放场景、播放设备、观看者等相对固定的因素有关,因而在整个成像过程中基本不变。针对特征数据与补偿信息,既可以在用数据主体生成全息图、相息图或矢量图后,在再进行补偿,并将运算后得出最终的全息图、相息图或矢量图输出显示,也可以将相关补偿信息与特征信息一起生成相位矩阵和数据主体一起计算,并直接生成最终的全息图、相息图或矢量图。将特征数据和/或补偿信息转化为相位分布矩阵的方法可以是使用Zernike多项式或者使用Seidel多项式。
利用特性信息和/或补偿信息的相位分布处理影像数据主体、帧影像数据主体和子帧影像数据的方法可以是,将该相位分布加载到影像数据主体、帧影像数据主体和子帧影像数据主体上,并将加载后的影像数据、帧数据、子帧数据或分子帧数据输出。加载的方法是,先将在之前步骤中获得的相位分布的矩阵转化为与图像数据主体的矩阵一样的大小。然后对图像数据或其对应的全息图的矩阵与相位分布获得的矩阵进行对应点四则运算。例如,对相应的点进行同一的加、减、乘、除。将结合后的矩阵传输到空间光调制器,就可以显示出所希望获得的图像。具体的,对相应的点进行同一的加、减、乘、除中的哪一种,则由具体情况决定。
根据一个非限制性的例子,在帧/子帧/分子帧相应特征数据中的特征信息和/或补偿信息记录的是对应的相位分布信息。例如距离信息对应的相位分布作为特征信息记录在子帧的第一特征信息中,这样在生成全息图显示时只需用其直接和全息图运算即可,无需再生成对应的相位信息,从而降低运算量,降低系统功耗。
与之类似的,以补偿为例,说明如何将特征数据处理入数据主体中,生成全息图。HpmR ξη为未经补偿的全息图帧/子帧/分子帧,经补偿和加入特征信息后的全息图为H'pmR ξη=C(HpmR ξη,Aξη,Pξη,Gξη),其中Aξη为照明光强度及相位分布,Gξη=g(ξ,η,x',y',θ)为补偿信息,ξ,η为空间光调制器上对应的频域坐标,x',y'为光学系统中光阑的大小。C()是加入补偿数据后生成全息图的强度相位分布的映射或逆映射关系,由采用的具体算法及硬件的处理能力决定。或者也可以取Gξη=g(ξ,η,x',y',θ,D,a,e1,e2,e3,...),其中D为观看者的近视或远视的度数,a为散光度数,e1,e2,e3,...为其它的光学像差系数,例如离焦系数、球差系数、彗差系数、像散系数、畸变系数、场曲系数、倍率色差、位置色差、和高阶像差和、屈光度系数、和散光系数,其中g()为某种函数关系。Pξη=f(ξ,η,d,θ)为特征信息对应的强度和/或相位分布,d为成像距离,θ为观看角度,f()为其对应的映射关系,g(),f()根据不同的算法或光学系统可以取不同的映射关系。
根据一个非限制性的例子,全部或部分补偿信息和/或全部或部分特征信息或其相位分布还可以直接输出到空间光调制器上,而相应的数据主体及其它部分的补偿信息和/或特征信息可以输出到另一显示器件上(例如OLED,LCoS、DMD屏等),这样做的好处是另一显示器件上显示的数据主体可以无需再做全息图的计算,从而简化运算,并且在某些情况下可以达到更好的显示效果。
根据一个非限制性的例子,在帧数据/子帧/分子帧影像特征数据中还包含角度信息。以便使影像元素可以针对不同角度的观察者进行优化。例如,在步骤1004中还包括:识别帧影像特征数据中的代表该帧的映射角度信息。其中映射角度是任意角度的一种或几种的组合。在步骤1007中,先将属于同一帧数据的子帧/分子帧数据根据该帧数据的该角度信息偏转,将偏转后的该分子帧数据用于显示。与补偿类似的,偏转的步骤也可以多种方式实施。
根据一个非限制性的例子,在帧/子帧/分子帧特征数据中还包含消隐信息。以便使影像元素能够正确的体现空间中的前后关系。例如一帧图像中包含两个子帧,子帧1的主体数据包含一个正方形,位于距离观看者2米处,子帧2的主体数据是一个不透明的三角形,位于观看者1米处,实际显示中位于后方的正方形的右下角被位于前方的三角形遮挡而无法被看见,则子帧1的消隐关系中将会按照角度记录正方形被遮蔽部分的像素坐标,实际生成全息图时将去除子帧1的这部分图像,不再最终输出时显示。与之对应的,在步骤1004中还包括:识别特征数据中的代表该帧数据的消隐信息。在步骤1007中,先将属于同一帧/子帧/分子帧数据的数据主体根据该帧/子帧/分子帧该消隐信息处理,去除被遮挡部分,将处理后的该帧/子帧/分子帧数据用于处理显示。
此外,根据一个非限制性的例子,在文件影像特征数据中还包含其他相关信息。这些信息可以包括:该相关信息包括该影像数据长度信息、补偿信息、温度信息、亮度信息、位深度信息、分辨率信息、播放速度信息、单帧数据格式信息、帧影像特征数据长度信息、是否压缩及压缩方式、创立时间信息和加密方式信息中的一种或者多种。。输出时可以根据这些信息对输出数据进行调整。其中温度信息可以记录设备工作的使用温度,方便系统中的温控系统(如有)将设备的工作温度控制在适当范围内。
根据一个非限制性的例子,子帧影像特征数据中还包括光强信息,子帧数据主体中的内容是图像光强的分布。在显示子帧时,将从子帧影像特征数据中读取的光强信息发送至光源或光源驱动,将子帧数据主体生成的全息图发送至空间光调制器。这样设置的原因在于,全息图调制光的强度及其相位的分布,其成像是通过干涉衍射原理引导光能到需要的地方,而不是普通显示技术那样遮蔽不需要的光成像,空间光调制器将全部的光强聚集到所显示的图像内容上(即对于全息图本身来说,一帧全部灰阶为1的图像和全部灰阶为255的图像是没有任何区别的),需要通过调节光源的总输出来调节总亮度,所以需要将光强信息写入子帧影像特征数据。
根据一个非限制性的例子,帧/子帧/分子帧的数据主体是矢量图,例如一个分子帧的数据主体记录了100个三角形的顶点坐标及其填充的纹理信息。实际处理时先将矢量图计算生成对应的位图,然后再生成全息图。这样做的好处是矢量图对于任意的放大缩小、角度偏转都不会失真,在对应不同的特征信息时,能够达到更好的显示质量。或者也可以先生成100个三角形对应的全息图,然后在将所有相关全息图进行运算(例如在频域叠加)得出最终输出图像。
根据一个非限制性的例子,帧/子帧/分子帧的数据主体是全息图,例如一个分子帧的数据主体记录了1只花瓶的全息图。实际处理时只需将特征信息和/或补偿信息与已有全息图运算即可,例如根据特征信息将这只花瓶的成像距离调整到1米远,角度调整到距中心10°,大小缩放到原来的95%。这样做的好处是无需重新计算生成目标图像的全息图,只需加入特征信息或补偿信息的计算,可以大大降低运算量,提高效率,降低功耗。
根据一个非限制性的例子,影像数据所包含的全部的帧数据中,至少有一部分是从属帧。从属帧只记录与前一帧的差别信息。差别信息可以是帧/子帧/分子帧数据主体,和/或特征信息。显示时,将前一帧的分子帧数据与差别信息组合和作为当前帧的分子帧数据显示。若有多个连续的帧都是从属帧时,可以将前一帧最终显示的分子帧作为前一帧,与当前帧中包含的差别信息组合,再显示组合后的分子帧。这样设置的好处在于可以使影像数据的大小较小,节省传输带宽。此外,对于一些差别较小的图像,可以直接再前一帧/子帧/分子帧对应的全息图上做处理得出本帧需要显示的全息图,从而降低运算量。
根据一个非限制性的例子,前述的步骤1002-1008都可以部分或全部在服务器端进行,以进一步减小本地硬件的负荷。具体的,可以是用户端在生成需要显示的影像数据后,先将该影像数据发送至服务器端。并且用户端还将播放场景参数,例如播显示器尺寸、显示距离、观看角度、环境光强信息等信息也发送至服务器端。根据这些信息,服务器端可以执行步骤1002-1008的任务。并在完成后,将根据播放场景参数处理该帧/子帧/分子帧数据,并将处理过的可直接用于显示的全息图子帧/分子帧发送至用户端。可选的,在显示完最后一帧的帧数据对应的全息图时,判断有无后续输入,在没有后续输入时,持续显示最后一帧的帧数据对应的全息图。
当然,用户端也可以将文件影像特征数据和/或帧影像特征数据发送至服务器端(这些特征数据可以通过用户端的传感器获得,例如摄像头、GPS、光强传感器、陀螺仪、加速度计等等),使得服务器端根据文件影像特征数据和/或帧影像特征数据对影像数据主体和/或帧影像数据主体进行处理。或者,在其他的非限制性例子中,用户端可以将要求服务器端生成该影像数据的指令信息发送至服务器端,服务器处理完成后再发回用户端显示。此外,服务器端接受相关数据或指令时可以从多个客户端接收,发送回客户端时,也可以发送给不止一个客户端。
可选的,用户端在将影像文件发送至服务器端时,还将播放场景参数发送至该服务器。播放场景参数包括显示器尺寸、显示器图像与用户间的距离、分辨率、观看角度、缩放比例、环境光强、影像消隐信息、颜色信息中的一种或者多种。服务器根据接收到的播放场景参数优化该子帧数据或分子帧数据,并将优化过的该子帧或分子帧数据生成的全息图发送至用户端。
具体的显示帧/子帧/分子帧数据的方法可以是多样的。例如,其中一种可选的方式是先将一定数量的子帧/分子帧数据缓存,再以颜色循环排列的方式输出到空间光调制器。例如,在使用RGB色彩空间时,以红色分子帧、绿色分子帧、蓝色分子帧,下一个红色分子帧的顺序显示,以便取得更好的合色效果。也可以是RGB三种颜色的分子帧分别同时输出到3块空间光调制器上,通过合色光路同时输出显示所需色彩。
为了解决本发明的至少一部分技术问题,本发明还提供一种全息影像成像装置。这种装置包括存储器和处理器。存储器可以是硬盘、闪存、内存等,处理器可以是通用处理器(例如CPU、GPU),也可以是专门的处理器(ASIC)或者可编程门电路(FPGA)等。其中存储器内存有计算机代码,处理器在运行存储在存储器上的计算机代码时,执行上文提及的全息影像成像方法。也可以是通过专门开发的处理机(ASIC)将上述全息影像成像方法固化成硬件,这样某些情况下就无需存储器存储再存储代码了。
并且,为了解决本发明的至少一部分技术问题,本发明还提供一种其上存储的计算机代码的计算机可读介质。该可读介质可以是光盘、硬盘、闪存等。存储在该计算机可读介质上的计算机代码被配置为,处理器运行这些代码时,执行上文提及的全息影像成像方法。
为了解决本发明的至少一部分技术问题,本发明还提供一种动态全息影像数据的生成方法,下面参考图3进行说明。本发明的全息影像数据的生成方法包括以下步骤:
步骤2001,提取将需要显示的影像元素的特征,将所提取的特征作为文件影像特征数据,该特征包括、影像距离、接收目标、观看角度、缩放比例、左右帧、消隐信息、颜色、光强中的一种或几种。
步骤2002,将提取特征后的该影像元素按照时序分为一个或多个帧,并将该一个或多个帧作为影像数据主体。
步骤2003把将要生成的帧数据的帧数据格式对应的帧识别信息写入文件影像特征数据。将所需显示的全部元素按照时间切分的方法和目的大致与一般的平面影像切分为帧的方法和目的相同。将要生成的影像数据的帧影像数据格式对应的帧识别信息写入该文件影像特征数据的目的在于,使得在后续步骤制作的每一帧都对应这一步骤的识别信息。文件影像特征数据先行完成的意义在于,使整个影像数据适于以流媒体的方式传输。此外,帧识别信息中的信息(例如数据格式)也可以在设计硬件和/或软件时就事先约定,而无需再专门写入帧识别信息,则步骤2003可以被省略。例如:影像分辨率为1024x1024,数据主体通过8根数据线和1根行同步数据线,1根列同步数据线传输,每个时钟周期传输1个像素点,特征为距离和角度的组合,距离和角度分别通过各1根相互独立的数据线传输。每个帧主体在1024x 1024个时钟周期内传输完毕,每个帧对应的特征距离和角度信息在每个帧主体开始传输后的24个时钟周期内传输完毕。因为例子中所有的帧数据都按照硬件和软件设计时所约定的格式传输,所以无需再专门写入帧识别信息,可以省略步骤2003;
值得注意的是,在某些例子中在这一步骤后,可以直接执行步骤2020将一个或多个该帧数据按时序排成影像数据主体,将该影像数据主体,与该文件影像特征数据封装成影像数据。但是,在当前的例子中,在这一步骤结束后跳转至步骤2004。
步骤2004,把将要生成的子帧数据的子帧数据格式对应的子帧识别信息写入帧影像特征数据。此外,该子帧识别信息也可以事先约定,从而像省略步骤2003一样省略步骤2004
步骤2005,把将要生成的分子帧数据的分子帧数据格式对应的分子帧识别信息写入该子帧影像特征数据。此外,该分子帧识别信息也可以事先约定,从而像省略步骤2003、2004一样省略步骤2005
步骤2006,将每一帧中具有相同第一特征和第二特征的影像元素作为同一分子帧数据的分子帧数据主体,将该第二特征写入该分子帧影像特征数据,该第二特征是颜色、和影像距离、接收目标、缩放比例、观看角度、光强、消隐信息、左右帧中的一种或几种的组合,该第一特征是颜色和影像距离、接收目标、缩放比例、观看角度、光强、消隐信息、左右帧中的另一种或几种的组合。颜色、影像距离及观看角度等的含义此处不再赘述。这一步骤的意义在于,能够按照统一的数据格式封装所需要的影像及其对应的特征参数,使得具有同样特征的影像元素能够一次性或顺序的被处理并显示出来。
步骤2007,将该分子帧数据主体与相应的分子帧影像特征数据封装为一个分子帧数据,
步骤2008将每一帧中具有相同第一特征的分子帧作为一个子帧数据主体,将该第一特征写入该子帧影像特征数据,该第一特征是颜色、影像距离、接收目标、缩放比例、观看角度、左右帧、消隐关系、光强中与该第二特征不同的一种或多种;
步骤2009,将该子帧数据主体与相应的子帧影像特征数据封装为一个子帧数据;
步骤2010,将每一帧中的子帧数据作为一个帧数据主体,将该帧数据主体与该帧影像特征数据封装为帧数据。
当然,也可以不具有分子帧这一层次,直接将第一特征相同的元素分装成子帧数据主体。根据上述内容,其方法不难想到因此不再赘述。
进一步的上述图像生成方法也可以是在硬件设备上预先定义的,例如每帧的长度,子帧第一特征所代表的具体参数等等,如此则无需再生成头数据,实际应用时设备上按照约定的格式直接生成需要显示的内容数据流及对应的特征信息的数据流,传输到处理模块供处理输出显示。
上述步骤的具体的实施设备也可以是多样的,例如文件影像特征数据可以在与影像数据主体一起,在空间光调制器上完成调制,也可以影像数据主体在别的芯片(例如OLED、LCoS或DMD等)上完成调制。此外,上述步骤顺序并非固定,可以根据本领域人员易知晓的方式随意改变或删减相关步骤。
根据图3所示的方法,可以将包含动态影像内容的影像数据转换成图2所示的动态影像数据结构。
值得注意的是,以上的例子只是对本发明所提出的影像数据的生成的一个可选的例子的说明。本发明所提出的影像数据的生成的许多步骤都可以具有多种多样的实施方式:
首先,与成像方法类似的,该第一特征可以是颜色、影像距离、接收目标、缩放比例、左右帧、消隐信息、光强或者观看角度。相应的第二特征可以是影像距离、接收目标、缩放比例、左右帧、消隐信息、光强、观看角度或者颜色。
其次,与成像方法类似的,帧识别信息既可以是帧长信息,也可以是帧尾字段。子帧识别信息、分子帧识别信息的情况也与之类似。
此外,根据一个非限制性的例子,在生成影像数据时,可以先识别该影像元素中需要向用户的左眼投射的左帧影像元素和需要向用户的右眼投射的右帧影像元素。这里的“识别”应做广义理解,即,将同一元素计算为左帧影像元素和右帧影像元素也应当被理解为“识别”左帧影像元素和右帧影像元素。据此,可以将左帧影像元素写入左帧数据,将右帧影像元素写入右帧数据以便将左帧影像元素最终向用户的左眼投射,将右帧影像元素最终向用户的右眼投射。并且,将关于每一帧数据是左帧数据或右帧数据的左右帧信息写入文件影像特征数据。以便在成像时可以识别每一个帧数据是左帧数据还是右帧数据。可选的,左帧数据和右帧数据可以数量相同,并按照交替方式排列,则相关信息可事先约定而无需写入文件影像特征数据。
根据一个非限制性的例子,在生成动态影像数据时,可以根据设备的硬件和/或观看者,生成每一帧的补偿信息。补偿信息可以包括球差系数、慧差系数、像散系数、畸变系数、场曲系数、倍率色差、位置色差和高阶像差中的一种或多种。补偿信息还可以包括观看者本身眼镜的近视/远视度数、散光度等等。在生成补偿信息后,将补偿信息写入对应的文件影像特征数据。这些补偿信息既可以是根据播放设备的信息生产的,也可以是根据播放的场景参数生成的,或者是根据观看者产生的。此外,部分补偿信息也可以不集成在影像数据中,而是每次播放时动态输入,例如,每个观看者眼睛的近视度数可能不同,则影像数据并不记录与观看者近视度数相关的补偿信息,而是每次播放时根据输入的观看者信息生成相关补偿信息。
根据一个非限制性的例子,在生成动态影像数据时,还可以根据所需显示的动态影像,生成每一帧的角度信息。角度信息被用来代表该帧在被投射时所需形成的映射角度。将该每一帧的角度信息写入对应的帧数据的特征信息,以便在显示该帧时先行读取。映射角度的选择可以是多样的,其中一种可选的方式是,所有映射角度都是可以任意实时调节的,是空间中任意的角度。
根据一个非限制性的例子,在生成动态影像数据时,还可以将所需显示的动态影像的其他相关信息写入文件影像特征数据。此处的相关信息可以该影像数据长度信息、温度信息、深度信息、分辨率信息、播放速度信息、单帧数据格式信息、位深度信息、播放速度信息、帧影像特征数据长度信息、创立时间信息、是否压缩及如何压缩、是否加密和加密方式信息中的一种或者多种,以便播放时可以使用这些信息。
根据一个非限制性的例子,在生成动态影像数据时,还可以将每一帧/子帧/分子帧数据中的帧/子帧/分子帧数据主体的总光强作为光强信息写入该帧/子帧/分子帧数据的影像特征数据,并将帧/子帧/分子帧数据主体归一化后,作为帧/子帧/分子帧数据主体。以便在显示时无需计算总光强或额外获得总光强信息。
根据一个非限制性的例子,在生成动态影像数据时,还可以将至少一帧/子帧/分子帧作为从属帧/子帧/分子帧,将该帧/子帧/分子帧与该帧/子帧/分子帧的前一帧/子帧/分子帧的差别信息作为该帧/子帧/分子帧数据的内容。这样的设置有利于使影像数据的大小较小,从而节省传输带宽。
根据一个非限制性的例子,在生成影像数据时,还可以将所需显示影像的矢量图作为影像主体存储在第一帧中,其后多个帧/子帧/分子帧中不再存储影像主体,而只是改变特征信息,例如观看角度、距离等等。处理模块根据影像主体及多个帧/子帧/分子帧的特征信息来生成全息图帧/子帧/分子帧并输出显示。这样的设置有利于大大减小影像数据大小,从而节省传输带宽。
为了解决本发明的至少一部分技术问题,本发明还提供一种影像数据的生成装置。这种装置包括处理器,也可以包括存储器。存储器可以是硬盘、闪存、内存等,处理器可以是通用处理器,也可以是可编程门电路等。其中存储器内存有计算机代码,处理器在运行存储在存储器上的计算机代码时,执行上文提及的动态全息影像数据的生成方法。
并且,为了解决本发明的至少一部分技术问题,本发明还提供一种其上存储的计算机代码的计算机可读介质。该可读介质可以是光盘、硬盘、闪存等。存储在该计算机可读介质上的计算机代码被配置为,处理器运行这些代码时,处理器执行上文提及的动态影像数据的生成方法。
为了解决本发明的至少一部分技术问题,本发明还提供一种影像成像装置。这种装置包括处理器(例如FPGA,或订制开发的ASIC芯片),通过硬件的方式专门实现上文提及的全息影像成像方法,下面以一个非限制性的例子进行说明。图4示出了一种单色的全息显示设备,在当前的例子中,特征数据为影像距离。在当前的例子中,处理模块使用FPGA制成。特征信息及分子帧数据分别使用不同引脚输入处理模块,两者在输入时间上同步。例如当输入子帧数据1时,输入距离数据的引脚维持传输特定的电平(代表距离1)。处理模块根据本发明中所描述的方法将距离1及子帧数据1结合生成对应的全息图或相息图并输出。当处理模块接收完子帧数据1后开始接受子帧数据2的同时,接受距离信息的引脚上的电平也同时改变为传输代表距离2的数据,依次类推。
上述例子中的显示设备可以是头戴式的AR眼镜,影像数据主体来自其自带软件或者与其连接的外置设备(例如手机、个人电脑、电信服务器等),特征数据可以是来自其自带的传感器设备(例如摄像头经过slam方法分析得出的数据,激光测距仪、陀螺仪、加速度计、光强传感器等等传感器的数据),或者来自与其连接的外置设备(手机、个人电脑、电信服务器等)。处理模块可以内置在眼镜上,根据接收到数据实时生成对应的全息图输出显示具有不同成像距离的图像,例如第一帧图像分别标识距离观看者0.5米和3米的两个物体,则对应的全息图帧/子帧分别将对应的图像显示在0.5米和3米处,第二帧图像对应物体的距离分别变为0.55米和4米的两个物体,则对应的第二全息图帧/子帧分别将对应的图像显示在0.55米和4米处。值得注意的是,处理模块也可以位于外置的设备上(例如服务器、手机、个人电脑等),从而减小AR眼镜的体积,降低功耗。
虽然本发明已参照当前的具体实施例来描述,但是本技术领域中的普通技术人员应当认识到,以上的实施例仅是用来说明本发明,在没有脱离本发明精神的情况下还可做出各种等效的变化或替换或删减,因此,只要在本发明的实质精神范围内对上述实施例的变化、变型都将落在本申请的权利要求书的范围内。
Claims (50)
1.一种影像的成像方法,包括以下步骤:
步骤1,接收影像数据,所述影像数据包括影像数据主体和影像特征数据;
步骤10,根据所述影像特征数据处理所述影像数据主体,生成全息影像并输出;
其中,所述影像特征数据包括文件影像特征数据和帧影像特征数据,所述成像方法还包括在步骤1和步骤10之间执行以下步骤:
步骤2,识别所述影像数据中包含的影像数据主体或文件影像特征数据和影像数据主体;
步骤3,将所述影像数据主体分为一个或多个帧数据;
步骤4,读取所述帧数据,识别所述帧数据的帧数据主体或帧数据主体和帧影像特征数据。
2.根据权利要求1所述的成像方法,所述影像特征数据还包括子帧影像特征数据,所述成像方法还包括以下步骤:
步骤5,将所述帧数据主体分为一个或多个子帧数据,读取每个所述子帧数据,识别所述子帧数据的子帧数据主体和子帧影像特征数据,所述子帧影像特征数据包括第一特征,每个所述子帧数据主体中的影像元素具有相同的所述第一特征,提取所述第一特征;
步骤6,根据所述文件影像特征数据、帧影像特征数据和子帧影像特征数据处理所述子帧数据主体,生成全息影像并输出,所述文件影像特征数据和帧影像特征数据包括实质内容或不包括实质内容。
3.根据权利要求2所述的成像方法,其特征在于:步骤6进一步包括以下步骤:
步骤6.1,读取每个子帧数据,识别每个子帧数据的子帧特征数据和子帧数据主体;
步骤6.2,将所述子帧数据主体分为一个或多个分子帧数据,读取每个所述分子帧数据,识别所述分子帧数据的分子帧数据主体和分子帧影像特征数据其中每个所述分子帧数据中的影像元素具有相同的第二特征;
步骤6.3,根据所述文件影像特征数据、帧影像特征数据、子帧影像特征数据和分子帧影像特征数据,生成全息影像并输出。
4.根据权利要求1所述的成像方法,其特征在于:所述影像特征数据包括影像距离、接收目标、影像角度、缩放比例、影像消隐关系、左右帧、影像颜色、光强中的一种或几种。
5.根据权利要求1所述的成像方法,其特征在于:所述影像数据主体是需要显示的位图、矢量图或全息图,所述位图、矢量图或全息图是加密的或未加密的、压缩的或未压缩的。
6.根据权利要求3所述的成像方法,其特征在于:所述第一特征是颜色,每个所述帧数据主体分为多个子帧数据,每个所述子帧数据中的影像元素的颜色是光谱中的一种;
或,所述第二特征是颜色,每个所述子帧数据主体分为多个分子帧数据,每个所述分子帧数据中的影像元素的颜色是光谱中的一种。
7.根据权利要求2或3所述的成像方法,其特征在于:所述文件影像特征数据中包含帧识别信息,帧识别信息包含代表每个帧数据长度的帧长信息,在步骤3中根据所述帧长信息将所述影像数据分为多个帧数据;
和/或所述帧影像特征数据中包含子帧识别信息,所述子帧识别信息中包含代表每一子帧的长度的子帧长信息,在步骤5中根据所述子帧长信息将每个所述帧数据主体分为一个或多个子帧数据。
8.根据权利要求7所述的成像方法,其特征在于:所述子帧影像特征数据中包含分子帧识别信息,分子帧识别信息中包含代表每一分子帧的长度的分子帧长信息;在步骤6.1中根据所述分子帧长信息将每个所述子帧数据主体分为一个或多个分子帧数据。
9.根据权利要求2或3所述的成像方法,其特征在于:所述文件影像特征数据中包含帧识别信息,帧识别信息包含帧尾字段,每个所述帧数据的末尾都具有所述帧尾字段,在步骤3中根据所述帧尾字段将所述影像数据分为一个或多个帧数据;
和/或所述帧影像特征数据中包含子帧识别信息,所述子帧识别信息包含子帧尾字段,每个所述子帧的末尾都具有所述子帧尾字段,在步骤5中根据所述子帧尾字段将每个所述帧数据主体分为一个或多个子帧数据。
10.根据权利要求9所述的成像方法,其特征在于:所述子帧影像特征数据中包含分子帧识别信息,分子帧识别信息中包含分子帧尾字段,每个所述分子帧的末尾都具有所述分子帧尾字段,在步骤6.1中根据所述分子帧尾字段将每个所述子帧数据主体分为多个分子帧数据。
11.根据权利要求2或3所述的成像方法,其特征在于,步骤3之后还包括步骤3.1,步骤10之后还包括步骤10.1:
步骤3.1,识别所述文件影像特征数据中还包含左右帧信息,所述左右帧信息代表所述影像数据主体中的帧数据属于左帧数据还是右帧数据;
步骤10.1,将属于对应左帧的帧的子帧或分子帧向用户的左眼投射,将属于右帧的帧的子帧或分子帧向用户的右眼投射。
12.根据权利要求2或3所述的成像方法,其特征在于:处理所述影像数据主体和/或帧影像数据主体和/或子帧影像数据主体的方法为根据所述文件影像特征数据和/或帧影像特征数据和/或子帧影像特征数据生成对应的相位分布。
13.根据权利要求12所述的成像方法,其特征在于:将所述相位分布加载到所述影像数据主体和/或帧影像数据主体和/或子帧影像数据主体和/或分子帧影像数据主体上,并将加载后的影像数据和/或帧数据和/或子帧数据和/或分子帧数据输出。
14.根据权利要求13所述的成像方法,其特征在于,步骤3之后还包括步骤3.2:
步骤3.2,识别所述影像数据中的补偿信息,所述补偿信息包括离焦系数、球差系数、彗差系数、像散系数、畸变系数、场曲系数、倍率色差、位置色差、高阶像差、屈光度系数和散光系数中的一种或多种。
15.根据权利要求2或3所述的成像方法,其特征在于,步骤3之后还包括步骤3.3,步骤6之后还包括步骤6.4:
步骤3.3,识别所述帧影像特征数据中的角度信息;
步骤6.4,将属于同一帧数据的帧或子帧或分子帧数据根据所述帧影像特征数据中的角度信息对应的角度旋转,将旋转后的所述帧或子帧或分子帧数据输出。
16.根据权利要求2或3所述的成像方法,其特征在于:步骤3之后还包括步骤3.4,步骤6之后还包括步骤6.5:
步骤3.4,识别所述文件影像特征数据中包含的相关信息,所述相关信息包括所述影像数据长度信息、补偿信息、温度信息、亮度信息、位深度信息、分辨率信息、播放速度信息、单帧数据格式信息、帧影像特征数据长度信息、压缩方式、创立时间信息、和加密方式信息中的一种或者多种;
步骤6.5,根据所述相关信息调整所述子帧或分子帧数据。
17.根据权利要求1-3中任意一项所述的成像方法,其特征在于:步骤6之后还包括步骤6.6:
步骤6.6,读取帧数据或子帧特征数据或分子帧特征数据中的光强信息;
在显示所述帧数据或子帧数据或所述分子帧数据时,将所述光强信息发送至光源驱动或光源,将所述帧数据或子帧数据主体或分子帧数据主体处理后生成的全息图发送至空间光调制器。
18.根据权利要求1-3中任意一项所述的成像方法,其特征在于:所述特征数据的至少一部分,直接或转化为相位分布后输出到空间光调制器上。
19.根据权利要求1-3中任意一项所述的成像方法,其特征在于:所述影像数据中至少包含一个从属帧/子帧/分子帧数据,所述从属帧/子帧/分子帧数据仅包含所述从属帧/子帧/分子帧数据与所述从属帧/子帧/分子帧数据的前一帧/子帧/分子帧数据的差别信息;
在显示所述从属帧/子帧/分子帧数据时,将所述前一帧/子帧/分子帧数据的帧/子帧/分子帧数据与所述从属帧/子帧/分子帧数据的帧/子帧/分子帧数据的组合作为所述从属帧/子帧/分子帧数据。
20.根据权利要求1所述的成像方法,其特征在于:步骤1和/或步骤2在服务器完成,所述服务器将结果发送至一个或者多个客户端。
21.根据权利要求2所述的成像方法,其特征在于:步骤1-6中的至少一个步骤在服务器完成,所述服务器将结果发送至一个或者多个客户端。
22.根据权利要求21所述的成像方法,其特征在于:用户端将文件影像特征数据和/或帧影像特征数据的至少一部分发送至服务器端;
和/或,用户端将要求服务器端生成所述影像数据的指令信息发送至服务器端。
23.根据权利要求2或3所述的成像方法,其特征在于:步骤1-6中的至少一个步骤在用户端完成,其余在服务器端完成;
所述服务器将结果发送至一个或者多个客户端。
24.根据权利要求23所述的成像方法,其特征在于:步骤1之后还包括步骤1.1,步骤6之后还包括步骤6.7:
步骤1.1,用户端将所述影像文件和/或播放场景参数发送至服务器端;
步骤6.7,所述服务器根据所述播放场景参数优化所述帧数据或子帧数据或分子帧数据,并将优化过的所述帧数据、子帧数据或分子帧数据生成的全息图发送至用户端,所述播放场景参数包括显示器尺寸、分辨率、成像与用户间的距离、观看角度、环境光强、影像消隐信息、颜色信息、补偿信息、缩放比例、接收目标、左右帧中的一种或者多种。
25.根据权利要求20-22中任一项所述的成像方法,其特征在于:所述服务器端通过无线或有线方式与客户端连接。
26.根据权利要求25中任一项所述的成像方法,其特征在于:所述无线连接为蓝牙、Wi-Fi、3G、4G、5G中的一种或几种。
27.根据权利要求1-3中任意一项所述的成像方法,其特征在于:确定为显示完所述影像数据的最后一帧数据且没有后续输入时,循环显示当前帧数据。
28.根据权利要求2或3所述的成像方法,其特征在于:显示时,将所述步骤6输出的所述全息影像缓存,再以颜色循环排列的方式输出到空间光调制器。
29.根据权利要求2或3所述的成像方法,其特征在于:处理所述影像数据主体,或处理所述影像数据主体和所述影像特征数据的方法包括以下步骤:
步骤a,输入目标图像的能量分布,预设叠加的全息子帧数,预设迭代条件,或目标图像的能量分布,预设叠加的全息子帧数,预设迭代条件,以及成像距离、成像角度和补偿信息中的至少一种;
步骤b,计算需显示帧/子帧/分子帧图像的强度及相位分布;
步骤c,计算全息图帧或全息图子帧或全息图分子帧;
步骤d,判断是否满足迭代条件,若满足则运行步骤e,若不满足则跳至步骤g;
步骤e,计算量化全息图帧或量化全息图子帧或量化全息图分子帧;
步骤f,根据量化全息图帧或量化全息图子帧或量化全息图分子帧对应的图像和/或需显示帧/子帧/分子帧图像的强度和/或相位分布和/或补偿信息计算新的强度及相位分布,跳回步骤c,或更改迭代条件或参数并跳回步骤c;
步骤g,输出相应帧/子帧/分子帧对应的量化全息图帧/子帧/分子帧;
步骤h,令叠加的全息图子帧/分子帧数累加,并重置迭代条件;
步骤i,判断叠加全息图子帧/分子帧数是否达到预设值,若否,则运行步骤j,若是,则本帧或子帧图像计算结束,等待或接受下一帧或子帧图像;
步骤j,改变所述示帧/子帧/分子帧图像的强度和/或相位分布或相应参数,跳转至步骤b。
30.一种影像数据的生成方法,包括以下步骤:
步骤101,提取需要显示的影像元素的特征,并将所提取的所述特征作为影像特征数据,所述特征包括、影像距离、接收目标、缩放比例、观看角度、左右帧、消隐信息、颜色、光强中的一种或几种;
步骤102,将提取特征后的所述影像元素按照时序分为一个或多个帧,并将所述一个或多个帧作为影像数据主体;
其中,所述影像特征数据包括文件影像特征数据和帧影像特征数据,其中帧影像特征数据写入影像数据主体,在步骤102中,将所述影像数据主体,与所述文件影像特征数据封装成影像数据;
所述影像数据的生成方法还包括在步骤102后执行以下步骤:
步骤103,把将要生成的帧数据的帧数据格式对应的帧识别信息写入所述文件影像特征数据。
31.根据权利要求30所述的影像数据的生成方法,其特征在于,所述影像特征数据还包括子帧影像特征数据,在步骤102中,将所述影像数据主体,与所述文件影像特征数据封装成影像数据;
所述影像数据的生成方法还包括以下步骤:
步骤104,将每一帧中具有相同第一特征的影像元素作为同一子帧数据的子帧数据主体,将所述第一特征写入子帧影像特征数据;所述第一特征是颜色、影像距离、接收目标、观看角度、缩放比例、左右帧、消隐关系、光强中的一种或多种;
所述文件影像特征数据和所述帧影像特征数据包括实质内容或不包括实质内容。
32.根据权利要求31所述的影像数据的生成方法,其特征在于还包括以下步骤:
步骤106,把将要生成的子帧数据的子帧数据格式对应的子帧识别信息写入帧影像特征数据。
33.根据权利要求31所述的影像数据的生成方法,其特征在于,所述影像特征数据还包含分子帧影像特征数据,所述影像数据的生成方法还包括以下步骤:
步骤106,将具有相同第二特征的影像元素作为一个分子帧数据主体,将所述第二特征写入所述分子帧影像特征数据,所述第二特征是颜色、影像距离、接收目标、观看角度、缩放比例、左右帧、消隐关系、光强中与所述第一特征不同的一种或多种;
步骤107,将所述分子帧数据主体与相应的分子帧影像特征数据封装为一个分子帧数据;
步骤120,将每一帧中具有相同第一特征的分子帧作为一个子帧数据主体将所述子帧数据主体与相应的子帧影像特征数据封装为一个子帧数据;
步骤121,将每一帧中的子帧数据作为一个帧数据主体,将所述帧数据主体与所述帧影像特征数据封装为帧数据。
34.根据权利要求33所述的影像数据的生成方法,其特征在于,还包括以下步骤:
步骤108,把将要生成的分子帧数据的分子帧数据格式对应的分子帧识别信息写入所述子帧影像特征数据,和/或把将要生成的子帧数据的子帧数据格式对应的子帧识别信息写入所述帧影像特征数据。
35.根据权利要求34所述的影像数据的生成方法,其特征在于:所述文件影像特征数据、帧影像特征数据、子帧影像特征数据和分子帧影像特征数据中的至少一个为相位分布。
36.根据权利要求31所述的影像数据的生成方法,其特征在于:将所述文件影像特征数据、帧影像特征数据、子帧影像特征数据或分子帧影像特征数据转换为相位分布的方法,针对当前的所述影像特征数据、帧影像特征数据、子帧影像特征数据或分子帧影像特征数据计算相位分布,或在根据所述文件影像特征数据、帧影像特征数据、子帧影像特征数据或分子帧影像特征数据,在预设的相位分布库中调取相应的相位分布。
37.根据权利要求33所述的影像数据的生成方法,其特征在于:所述第一特征是颜色,在步骤104中将所述子帧数据的颜色写入子帧影像特征数据,所述子帧数据中的影像元素的颜色是色彩空间基本参数中的一种;
或,所述第二特征是颜色,在步骤104中将所述相同的颜色写入所述分子帧的分子帧影像特征数据,每个所述分子帧数据中的影像元素的颜色是色彩空间基本参数中的一种。
38.根据权利要求33所述的影像数据的生成方法,其特征在于:所述第一特征是影像距离,在步骤104中将所述子帧的影像距离写入子帧影像特征数据,每个所述子帧数据中的影像元素的影像距离相同;
或,所述第二特征是影像距离,在步骤106中将所述相同的影像距离写入所述分子帧的分子帧影像特征数据,每个所述分子帧数据中的影像元素的影像距离相同。
39.根据权利要求34所述的影像数据的生成方法,其特征在于:所述帧识别信息、子帧识别信息或分子帧识别信息是所述帧数据、子帧数据或分子帧数据的长度。
40.根据权利要求34所述的影像数据的生成方法,其特征在于:所述帧识别信息、子帧识别信息或分子帧识别信息是帧数据末尾的帧尾字段、子帧数据末尾的子帧尾字段或分子帧数据末尾的分子帧尾字段。
41.根据权利要求31所述的影像数据的生成方法,其特征在于:还包括以下步骤:
识别所述影像元素中需要向用户的左眼投射的左帧影像元素和需要向用户的右眼投射的右帧影像元素,将左帧影像元素写入左帧数据,将右帧影像元素写入右帧数据,将关于每一帧数据是左帧数据或右帧数据的左右帧信息写入所述文件影像特征数据。
42.根根据权利要求41所述的影像数据的生成方法,其特征在于:所述左帧数据和所述右帧数据的数量相同并在所述影像数据中交替排列。
43.根据权利要求30所述的影像数据的生成方法,其特征在于:还包括以下步骤:
根据设备和/或使用者信息,生成补偿信息,所述补偿信息包括球差系数、彗差系数、像散系数、畸变系数、场曲系数、倍率色差、位置色差、高阶像差和、屈光度系数和散光系数中的一种或多种;并将所述补偿信息写入文件影像特征数据。
44.据权利要求30所述的影像数据的生成方法,其特征在于:还包括以下步骤:
根据所需显示的影像,生成每一帧的角度信息,并将所述每一帧的角度信息写入对应的帧数据的帧影像特征数据。
45.据权利要求31所述的影像数据的生成方法,其特征在于:将所需显示的影像的相关信息写入所述文件影像特征数据,所述相关信息包括所述影像数据长度信息、补偿信息、温度信息、亮度信息、位深度信息、分辨率信息、播放速度信息、单帧数据格式信息、帧影像特征数据长度信息、是否压缩及压缩方式、创立时间信息和加密方式信息中的一种或者多种。
46.据权利要求30所述的影像数据的生成方法,其特征在于,还包括以下步骤:
将每一分子帧数据中的分子帧数据主体的总光强作为光强信息写入所述分子帧数据的分子帧影像特征数据,并将分子帧数据主体归一化后,作为分子帧数据主体;
或,将每一子帧数据中的子帧数据主体的总光强作为光强信息写入所述子帧数据的子帧影像特征数据,并将子帧数据主体归一化后,作为子帧数据主体;
或,将每一帧数据中的帧数据主体的总光强作为光强信息写入所述帧数据的帧影像特征数据,并将帧数据主体归一化后,作为帧数据主体。
47.据权利要求33所述的影像数据的生成方法,其特征在于:还包括以下步骤:
将至少一单元作为从属单元,将所述从属单元与所述从属单元的前一单元的差异作为所述从属单元的内容;
所述单元是所述帧数据、所述子帧数据、或所述分子帧数据。
48.一种装置,包括:处理器,其中所述处理器运行时促使所述装置至少执行如权利要求1-47中任一项所述的方法。
49.一种装置,包括:存储器;以及处理器,其中所述存储器包括其上存储的计算机代码,所述代码被配置为当在所述处理器上运行时促使所述装置至少执行如权利要求1-47任一项所述的方法。
50.一种包括其上存储的计算机代码的计算机可读介质,所述计算机代码被配置为当在处理器上运行时,执行如权利要求1-47任一项所述的方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710398583.1A CN109246410B (zh) | 2017-05-31 | 2017-05-31 | 全息影像的成像方法和数据生成方法及装置 |
EP18809154.0A EP3633989B1 (en) | 2017-05-31 | 2018-03-06 | Hologram imaging method, and data generation method and device |
US16/618,347 US20220011721A1 (en) | 2017-05-31 | 2018-03-06 | Imaging method and data generation method for holographic image, and apparatus |
PCT/CN2018/078083 WO2018219004A1 (zh) | 2017-05-31 | 2018-03-06 | 全息影像的成像方法和数据生成方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710398583.1A CN109246410B (zh) | 2017-05-31 | 2017-05-31 | 全息影像的成像方法和数据生成方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109246410A CN109246410A (zh) | 2019-01-18 |
CN109246410B true CN109246410B (zh) | 2021-04-02 |
Family
ID=64454449
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710398583.1A Active CN109246410B (zh) | 2017-05-31 | 2017-05-31 | 全息影像的成像方法和数据生成方法及装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220011721A1 (zh) |
EP (1) | EP3633989B1 (zh) |
CN (1) | CN109246410B (zh) |
WO (1) | WO2018219004A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110049409B (zh) * | 2019-04-30 | 2021-02-19 | 中国联合网络通信集团有限公司 | 用于全息影像的动态立体声调节方法及装置 |
CN114245010B (zh) * | 2021-12-08 | 2023-07-14 | 浙江大华技术股份有限公司 | 图像的调整方法、装置、存储介质及电子装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6829430B1 (en) * | 1998-09-02 | 2004-12-07 | Sony Corporation | Image recording apparatus |
CN102542581A (zh) * | 2010-12-18 | 2012-07-04 | 谈顺毅 | 全息图生成方法 |
CN104837004A (zh) * | 2015-05-08 | 2015-08-12 | 天脉聚源(北京)传媒科技有限公司 | 一种3d数据的传输方法和装置 |
CN105072434A (zh) * | 2015-08-24 | 2015-11-18 | 张景生 | 一种全息影像的远程传输系统和方法 |
CN106687886A (zh) * | 2014-07-25 | 2017-05-17 | 微软技术许可有限责任公司 | 三维混合现实视口 |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5270857A (en) * | 1987-10-30 | 1993-12-14 | Canon Kabushiki Kaisha | Optical system for stabilizing an image |
US5748164A (en) * | 1994-12-22 | 1998-05-05 | Displaytech, Inc. | Active matrix liquid crystal image generator |
JP2002328664A (ja) * | 2001-03-02 | 2002-11-15 | Sharp Corp | 画像表示装置 |
KR100561393B1 (ko) * | 2002-11-30 | 2006-03-16 | 삼성전자주식회사 | 무선 네트워크에 있어서 매체 접근 제어 방법 및 시스템 |
CN1609705A (zh) * | 2004-04-28 | 2005-04-27 | 李明 | 观看立体电影的方法和设备 |
US7949207B2 (en) * | 2004-12-24 | 2011-05-24 | Nec Corporation | Video structuring device and method |
US7738733B2 (en) * | 2005-09-29 | 2010-06-15 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Systems and methods for 3-D imaging |
US20070210985A1 (en) * | 2006-03-13 | 2007-09-13 | Royer George R | Three dimensional imaging system |
JP2009535609A (ja) * | 2006-04-28 | 2009-10-01 | マイクロニック レーザー システムズ アクチボラゲット | 画像の記録及び表面の調査のための方法及び装置 |
JP4462234B2 (ja) * | 2006-05-26 | 2010-05-12 | セイコーエプソン株式会社 | 電気光学装置及び電子機器 |
AU2008303331A1 (en) * | 2007-09-26 | 2009-04-02 | Bae Systems Plc | Improvements in or relating to displaying a holographic image |
US9129295B2 (en) * | 2010-02-28 | 2015-09-08 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear |
US20120249731A1 (en) * | 2011-03-30 | 2012-10-04 | Mark Zelinsky | Method and Apparatus for Volumetric and Holographic Video, N-View Human Eye Depth Cuing Autostereoscopic Display and Transmission |
KR101898490B1 (ko) * | 2012-02-29 | 2018-09-13 | 엘지전자 주식회사 | 홀로그래픽 디스플레이 장치 및 3차원 동영상의 중복성을 이용한 홀로그램 생성 방법 |
US8749541B2 (en) * | 2012-04-05 | 2014-06-10 | Apple Inc. | Decreasing power consumption in display devices |
US9952556B2 (en) * | 2012-07-05 | 2018-04-24 | Hazen Paper Company | Method for single-write holographic imaging |
US9541899B2 (en) * | 2013-11-11 | 2017-01-10 | City University Of Hong Kong | Fast generation of pure phase digital holograms |
US20150146269A1 (en) * | 2013-11-27 | 2015-05-28 | Electronics And Telecommunications Research Institute | Holographic content providing method, and holographic content providing apparatus and display apparatus using the method |
KR102132264B1 (ko) * | 2014-09-03 | 2020-07-10 | 삼성전자주식회사 | eMBMS 서비스를 제공하는 방법 및 이를 위한 전자 장치 |
JP2016116132A (ja) * | 2014-12-16 | 2016-06-23 | 富士通株式会社 | 通信制御装置、通信制御方法、および、通信制御プログラム |
KR101820563B1 (ko) * | 2014-12-31 | 2018-01-19 | 한국전자통신연구원 | 홀로그램 데이터 포맷과 홀로그래픽 비디오 시스템 장치 및 방법 |
US9874932B2 (en) * | 2015-04-09 | 2018-01-23 | Microsoft Technology Licensing, Llc | Avoidance of color breakup in late-stage re-projection |
GB2558095B (en) * | 2015-08-13 | 2020-04-01 | Arris Entpr Llc | System and method for detecting advertisements in multimedia assets |
KR102513274B1 (ko) * | 2015-08-21 | 2023-03-24 | 삼성전자주식회사 | 무선 통신 시스템에서 복합 재전송을 수행하는 방법 및 장치 |
US10168667B2 (en) * | 2015-08-31 | 2019-01-01 | City University Of Hong Kong | Fast generation of digital holograms |
US9798290B2 (en) * | 2015-09-25 | 2017-10-24 | City University Of Hong Kong | Holographic encryption of multi-dimensional images and decryption of encrypted multi-dimensional images |
CN105704469A (zh) * | 2015-11-26 | 2016-06-22 | 中国传媒大学 | 一种全息视频播放方法 |
US20180035101A1 (en) * | 2016-07-29 | 2018-02-01 | Osterhout Group, Inc. | See-through computer display systems |
US10999602B2 (en) * | 2016-12-23 | 2021-05-04 | Apple Inc. | Sphere projected motion estimation/compensation and mode decision |
US10810753B2 (en) * | 2017-02-27 | 2020-10-20 | Microsoft Technology Licensing, Llc | Single-frequency time-of-flight depth computation using stereoscopic disambiguation |
-
2017
- 2017-05-31 CN CN201710398583.1A patent/CN109246410B/zh active Active
-
2018
- 2018-03-06 WO PCT/CN2018/078083 patent/WO2018219004A1/zh active Application Filing
- 2018-03-06 EP EP18809154.0A patent/EP3633989B1/en active Active
- 2018-03-06 US US16/618,347 patent/US20220011721A1/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6829430B1 (en) * | 1998-09-02 | 2004-12-07 | Sony Corporation | Image recording apparatus |
CN102542581A (zh) * | 2010-12-18 | 2012-07-04 | 谈顺毅 | 全息图生成方法 |
CN106687886A (zh) * | 2014-07-25 | 2017-05-17 | 微软技术许可有限责任公司 | 三维混合现实视口 |
CN104837004A (zh) * | 2015-05-08 | 2015-08-12 | 天脉聚源(北京)传媒科技有限公司 | 一种3d数据的传输方法和装置 |
CN105072434A (zh) * | 2015-08-24 | 2015-11-18 | 张景生 | 一种全息影像的远程传输系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
US20220011721A1 (en) | 2022-01-13 |
EP3633989A1 (en) | 2020-04-08 |
WO2018219004A1 (zh) | 2018-12-06 |
EP3633989A4 (en) | 2020-05-06 |
EP3633989B1 (en) | 2023-10-25 |
CN109246410A (zh) | 2019-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7415931B2 (ja) | 画像周辺領域内のリアルタイム圧縮による画像表示制御 | |
US10958834B2 (en) | Method to capture, store, distribute, share, stream and display panoramic image or video | |
TWI806854B (zh) | 用於近眼顯示器之系統 | |
US8994728B2 (en) | Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth | |
US20220014723A1 (en) | Enhancing performance capture with real-time neural rendering | |
US20180189980A1 (en) | Method and System for Providing Virtual Reality (VR) Video Transcoding and Broadcasting | |
US11308682B2 (en) | Dynamic stereoscopic rendering method and processor | |
US11849264B2 (en) | Apparatus and method for white balance editing | |
CN105323423A (zh) | 图像处理方法、图像处理装置及摄像装置 | |
CN109246410B (zh) | 全息影像的成像方法和数据生成方法及装置 | |
US20210405585A1 (en) | Method and apparatus for processing hologram image data | |
US20230106679A1 (en) | Image Processing Systems and Methods | |
KR20220109433A (ko) | 다중 뷰포인트 3DoF+ 콘텐츠의 인코딩 및 디코딩을 위한 방법 및 장치 | |
US20190332055A1 (en) | Apparatus and method for evaluating hologram encoding/holographic image quality for amplitude-modulation hologram | |
CN115293994B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN103995454A (zh) | 一种单空间光调制器实现彩色全息实时三维显示的方法 | |
US11277633B2 (en) | Method and apparatus for compensating motion for a holographic video stream | |
CN104350748B (zh) | 使用低分辨率深度图的视图合成 | |
KR20200116715A (ko) | 컬러 홀로그래픽 디스플레이 장치 및 그 방법 | |
US11350065B2 (en) | Video generation device, video generation method, and program | |
US11954786B2 (en) | Reprojection for high field rate displays | |
US20240355033A1 (en) | Reprojection for high field rate displays | |
US20240312140A1 (en) | Split compute reprojection | |
TW202209026A (zh) | 全息資料計算裝置及方法 | |
KR20240045248A (ko) | 구성 데이터 교환을 위한 홀로그래픽 디코딩 및 디스플레이 방법 및 디바이스 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |