CN104636099A

CN104636099A - 一种视、触觉文件格式转换装置及其方法

Info

Publication number: CN104636099A
Application number: CN201410560023.8A
Authority: CN
Inventors: 帅立国; 陈慧玲; 朱宝立; 张恒东; 张磊
Original assignee: JIANGSU DISEASE PREVENTION CONTROL CENTRAL; Southeast University
Current assignee: JIANGSU DISEASE PREVENTION CONTROL CENTRAL; Southeast University
Priority date: 2014-10-20
Filing date: 2014-10-20
Publication date: 2015-05-20
Anticipated expiration: 2034-10-20
Also published as: CN104636099B

Abstract

本发明公开了一种视、触觉文件格式转换装置及其方法，包括：视觉图像文件转化为射流触觉文件的视觉文件格式转换装置及其方法、射流触觉文件转化为视觉图像文件的射流触觉文件格式转换装置及其方法，其中，视觉图像像素点采用RGB三原色表征，而射流触觉图像的像素点则采用PTF三要素表征，通过视觉空间RGB三原色与射流触觉空间PTF三要素之间的全映射关系，实现RGB三原色与PTF三要素之间的转换，实现影像信息在触觉图像格式与视觉影像格式之间的自由转换；而且由各种源得到的射流触觉数据通过射流触觉文件格式进行保存，进而形成触觉文件，以实现触觉数据的离线存储和跨平台应用。

Description

一种视、触觉文件格式转换装置及其方法

技术领域

本发明涉及一种视触觉文件格式转换方法，尤其是一种建立了视觉空间RGB参数和射流触觉空间PTF参数之间可逆映射关系，并实现了影像信息在触觉图像格式与视觉影像格式之间自由转换的视触觉文件格式转换方法，而且，无论是直接构建的射流触觉数据还是由视觉影像信息转换得到的射流触觉数据通过文中涉及的射流触觉文件格式进行保存，进而形成触觉文件，能够实现触觉数据的离线存储和跨平台应用。

背景技术

现代控制系统主要包括传感器、执行器和控制中枢三个部分，其中控制中枢是数据处理和指令控制中心，传感器主要用于感知环境变量，并将相关数据发送至控制中枢，而执行器则用于输出信息，并通过驱动装置产生控制动作。在数据量较小的情况下，通过简单的数据和指令交互即可完成整个系统的协调运行，在大数据情况下，则需要完整复杂的协议才能够实现协调运行，而当涉及到数据的离线处理、存储和跨平台应用时，还需要借助数据结构将数据固化在数据文件中，如视觉相关的bmp、jpg、mov文件，及听觉相关的mid、wmv、mp4等。在触觉领域，长期以来，相关的应用系统多为实时或准实时的实验系统，一般不涉及触觉参数和图文数据的离线存储问题，更谈不上数据信息的跨领域应用或表达。

随着视觉应用系统的日新月异和触觉应用系统渐趋成熟，触觉应用系统迫切需要引进视觉领域的海量图文或影像数据，使之能够进行触觉式呈现或表达，而视觉应用系统也期望把触角延伸，以实现功能上的拓展。所以，在领域内，建立公知和可互认的数据结构及数据文件格式以记录触觉数据，进而形成触觉数据文件，以实现触觉数据的离线存储和跨平台、跨领域应用，在领域间，建立一种直接、方便、无衰减且全映射式的视触文件格式转换方法，以实现数据的跨领域呈现和应用，已成为两种研究领域都亟需解决的问题。

触觉数据文件的应用对象为触觉显示器。触觉显示器属于执行器，其价值在于信息输出，是一种通过技术手段使触觉感官感知图像和文字信息的物理刺激装置。现阶段，可应用于触觉显示的技术手段主要包括水压、温度、振动和电刺激等物理刺激，由此衍生出振动触觉、电触觉、顶针触觉、射流触觉、气动触觉、电流变液、磁流变液以及热刺激等触觉显示方式，其中，电触觉、振动触觉、气动触觉、热刺激触觉为较早提出的触觉显示方式，射流触觉、电流变液、磁流变液则为近几年提出的新型触觉显示方式。

发明内容

本发明的目的是针对触觉显示器的技术现状，提供一种面向射流触觉应用的视、触觉文件格式转换装置及其方法。本发明采用RGB三原色表征视觉图像像素点，而采用PTF三要素表征射流触觉图像像素点，通过建立视觉图像像素点到射流触觉图像像素点的映射关系，得到某一视觉图像各像素点RGB三原色的PTF映射表，并根据通常的射流触觉图像文件格式以及该视觉图像的图像大小，得到与PTF映射表匹配的射流触觉图像文件格式，再将两者结合，即可得到对应的射流触觉图像文件，实现视觉图像文件向射流触觉图像文件的转换；而射流触觉图像文件向视觉图像文件的转换，则是通过建立射流触觉图像像素点到视觉图像像素点的映射关系，得到某一射流触觉图像各像素点PTF三原色的RGB映射表，并根据通常的视觉图像文件格式以及该射流触觉图像的图像大小，得到与RGB映射表匹配的视觉图像文件格式，再将两者结合，即可得到对应的视觉图像文件；由此可知，本发明基于同一技术构思，分别建立视觉颜色数据RGB和射流触觉数据PTF之间的正反双向全映射关系，以实现影像信息在触觉图像格式与视觉影像格式之间的自由转换；而且由各种源得到的射流触觉数据通过射流触觉文件格式进行保存，进而形成触觉文件，以实现触觉数据的离线存储和跨平台应用。

本发明为解决上述技术问题，本发明采用的技术方案是：

一种视觉文件格式转换装置，包括视觉图像要素提取模块、视觉图像要素映射模块、射流触觉图像文件格式形成模块以及射流触觉图像文件形成模块；其中：

所述视觉图像要素提取模块，用于提取视觉图像的图像大小以及该视觉图像中各构成像素点的表征参数，视觉图像像素点的表征参数为RGB值，RGB值对应为红、绿、蓝三原色数值；

所述视觉图像要素映射模块，用于生成与视觉图像中各构成像素点RGB值对应的PTF值映射表；所述的PTF值映射表中，每一个与RGB值对应的PTF值均表征一个与视觉图像中相应像素点对应的射流触觉图像像素点，PTF值对应为压力、温度、频率数值；

所述射流触觉图像文件格式形成模块，用于生成与PTF值映射表相匹配的射流触觉图像文件格式，该射流触觉图像文件格式根据视觉图像的图像大小来确立，包括信息头和文件头；

所述射流触觉图像文件形成模块，用于生成射流触觉图像文件，将PTF值映射表以及与其相匹配的射流触觉图像文件格式组建成射流触觉图像文件。

作为本发明的进一步改进，所述视觉图像要素映射模块基于自定义的视觉空间RGB三原色到射流触觉空间PTF三要素的全映射关系建立。

作为本发明的进一步改进，所述自定义的视觉空间RGB三原色到射流触觉空间PTF三要素的全映射关系为：

其中：Vx表示视觉图像中第x像素的视觉参数值，为R、G、B三原色集合，取值为0-255；WJx表示射流触觉图像中第x像素的射流触觉参数值，为参数P、T、F的集合，WJmax和WJmin分别表示射流触觉参数最大和最小值。

本发明的另一个技术目的是提供一种基于上述视觉文件格式转换装置的视觉文件格式转换方法，用于将视觉图像文件转化为射流触觉文件，包括以下步骤：

步骤S1、读取视觉图像文件，并提取视觉图像的大小和视觉图像各像素点的RGB值；

步骤S2、根据自定义的视觉空间RGB三原色到射流触觉空间PTF三要素的全映射关系，将步骤S1中所述视觉图像各像素点的RGB数据转换为相应射流触觉图像像素点的PTF数据，其中：射流触觉空间PTF三要素对应为压力、温度和频率；

步骤S3、根据预设的射流触觉文件格式，通过步骤S1中所读取的视觉图像的大小，落实射流触觉文件的各项参数，包括射流触觉文件的文件头、信息头和校验码，其中：射流触觉文件的文件头包含射流触觉文件的大小、文件类型和数据地址偏移量，射流触觉文件的信息头包含射流触觉图像的宽度、高度和压缩方式，而校验码提供了奇偶校验和CRC32校验的校验方式；

步骤S4、将射流触觉文件头、信息头、PTF数据和校验码形成通过射流触觉显示装置进行显示或者表达的射流触觉文件。

本发明基于同一技术构思，为实现射流触觉图像向视觉图像的“逆”转换，提供了一种射流触觉文件格式转换装置，包括射流触觉图像要素提取模块、射流触觉图像要素映射模块、视觉图像的文件格式形成模块以及视觉图像文件形成模块；其中：

所述射流触觉图像要素提取模块，用于提取射流触觉图像的图像大小以及该射流触觉图像中各构成像素点的表征参数，射流触觉图像像素点的表征参数为PTF值，PTF值对应为压力、温度、频率数值；

所述射流触觉图像要素映射模块，用于生成与射流触觉图像中各构成像素点PTF值对应的RGB值映射表；所述的RGB值映射表中，每一个与PTF值对应的RGB值均表征一个与射流触觉图像中相应像素点对应的视觉图像像素点，RGB值对应为红、绿、蓝三原色数值；

所述视觉图像文件格式形成模块，用于生成与RGB值映射表相匹配的视觉图像文件格式，该视觉图像文件格式根据射流触觉图像的图像大小来确立，包括文件头和信息头；

所述视觉图像文件形成模块，用于生成视觉图像文件，将RGB值映射表以及与其相匹配的视觉图像文件格式组建成射流图像文件。

所述射流触觉图像要素映射模块基于射流触觉空间PTF三要素到视觉空间RGB三原色的全映射关系建立。所述射流触觉空间PTF三要素到视觉空间RGB三原色的全映射关系为：

本发明的再一技术目的是提供一种基于上述射流触觉文件格式转换装置的射流触觉文件格式转换方法，包括以下步骤：

步骤S5、读取射流触觉图像文件，并提取射流触觉图像的大小和射流触觉图像像素点的PTF值；

步骤S6、根据所构建的射流触觉空间PTF三要素到视觉空间RGB三原色的全映射关系，将射流触觉图像的PTF数据转换为视觉图像的RGB数据；

步骤S7、根据图像的大小和转换得到的图像RGB数据构建24位色BMP彩色图像的文件头和信息头；

步骤S8、将文件头、信息头和RGB数据形成图像格式文件。

有益效果：

本发明基于同一技术构思，提供了一种射流触觉数据文件与视触觉文件的双向转换方法，该方法建立了视觉颜色数据RGB和射流触觉数据PTF之间一一对应的全映射关系，并实现了影像信息在触觉图像格式与视觉影像格式之间自由转换。同时，无论是自主构建的射流触觉数据还是由视觉影像信息转换得到的射流触觉数据通过文中涉及的射流触觉文件格式进行保存，进而形成触觉文件，能够实现触觉数据的离线存储和跨平台应用。

附图说明

图1是根据本发明实施的视觉触觉图像文件的相互转换流程图。

图2是根据本发明实施的一种射流触觉文件格式结构图。

图3是根据本发明实施的视觉空间的RGB和触觉空间的PTF的全映射关系图。

具体实施方式

本发明提供的视触觉转换方法实施的主体可以是各种类型的智能装置。下面结合附图和实例对本发明的技术方案进一步说明。

图1是根据本发明实施的视觉影像文件到触觉图像文件之间的相互转换方法流程图，包括视觉影像文件到射流触觉文件的转换和射流触觉文件到视觉图像文件的转换两大步骤。其中，对于一个初始的视觉图像文件需要转换为射流触觉文件，要经过S1-S4步骤：读取视觉图像文件，并根据图像的格式采用对应的方法提取图像的大小和图像像素点的RGB值等参数，其中对常用的图像格式事先设置好相应的参数提取方法，并打包成函数以备调用，即步骤S1；步骤S2根据构建的视觉空间RGB三原色与射流触觉空间PTF三要素之间的全映射关系如图3所示，将视觉图像的RGB数据转换为射流触觉图像的PTF数据；步骤S3是根据读取的图像大小和基于图3中规定的射流触觉文件格式，构建射流触觉文件的文件头、信息头和校验码，其中文件头定义了射流触觉文件的大小、文件类型和数据地址偏移量等，信息头定义了射流触觉图像的宽度、高度、压缩方式等，而校验码提供了奇偶校验、CRC32校验等校验方式；步骤S4是将射流触觉文件头、信息头、PTF数据和校验码形成射流触觉文件*.wjt，最后形成的射流触觉文件可以通过射流触觉显示装置进行显示或者表达。对于通过视触觉转换得到的射流触觉文件或者自主构建的射流触觉文件，需要转换成视觉图像文件，要经过S5-S9步骤：读取射流触觉图像文件.wjt，并提取图像的大小和图像像素点的PTF值等参数即步骤S5；步骤S6是根据构建的视觉空间RGB三原色与射流触觉空间PTF三要素之间的全映射关系将射流触觉图像的PTF数据转换为视觉图像的RGB数据；步骤S7是根据图像的大小参数和转换得到的图像RGB参数构建24位色BMP彩色图像的文件头和信息头；步骤S8是将文件头、信息头和RGB数据形成BMP文件；最后根据需要可将BMP文件格式转换为对应的JPG、TIF等图像格式，即步骤S9。本发明提供的视触觉转换方法，不仅实现了视觉影像文件格式和触觉图像文件格式之间的自由转换，并且实现了全像素信息的可逆映射。

图2是根据本发明实施的一种射流触觉文件格式结构图。它包括文件头、信息头、数据区和校验码，其中文件头规定了射流触觉文件的大小、文件的类型、图像数据的偏移地址等；信息头主要定义了射流触觉图像的大小、图像的压缩形式、像素表示方法、射流触觉参数的取值范围等；数据区就是射流触觉像素点的数据，每个像素点用PTF索引值表示，然后根据信息头和索引值与实际值之间的对应关系得到对应的实际值，以进行信息表达；校验区规定了射流触觉文件的校验方式，此处提供了CRC32校验、奇偶校验等方式。由各种源得到的射流触觉数据，按照本发明涉及的射流触觉文件格式进行存储，能够实现触觉数据的离线存储和跨平台应用。

图3是根据本发明实施的视觉空间的RGB和触觉空间的PTF的全映射关系图，包括“视觉颜色数据RGB11”、“射流触觉索引PTF12”、“射流触觉参数值ptf13”和“关系式14”。视觉图像中的RGB全映射到射流触觉图像中的PTF，即视觉图像中每一像素的RGB值可以直接对应到射流触觉图像中的PTF，作为射流触觉文件中的数据，该数据即射流刺激的索引值，而索引值通过信息头定义的ptf取值范围和公式得到。其中：V表示视觉参数R、G、B，V_x表示视觉图像第x像素的视觉参数值（0-255，注：R_x表示第x像素R的值，同样G_x表示G的值，B_x表示B的值）；WJ表示射流触觉参数P、T、F；WJ_max和WJ_min分别表示对应参数的最大和最小值，并且这些值在射流触觉文件的信息头里设定，WJ_x表示与视觉图像第x像素对应的射流触觉图像第x像素射流触觉参数所对应的值。

对于一个已知的视觉图像，屏蔽掉文件头和信息头部分，直接将数据全映射为射流触觉图像数据，然后再添加上文件头和信息头就构成了射流触觉文件，反之亦然。

[0025] 对于一个宽和高分别为w和h的24位色BMP，其文件头有14个字节，信息头有40个字节，数据区有3wh个字节；而对于一个宽和高分别为w和h的24位色WJT，其文件头有14个字节，信息头有56个字节，数据区有3wh个字节。将BMP的文件头、信息头和数据分别用矩阵向量表示，并且每个字节表示一个元素，则BMP文件头有14个元素，信息头有40个元素和数据有3wh个元素，而WJT文件头有14个元素，信息头有56个元素和数据有3wh个元素。如果用A表示BMP视觉图像文件矩阵，B表示WJT射流触觉图像文件矩阵，则A和B可以写成如下形式：

\begin{matrix} A = {[\begin{matrix} \begin{matrix} {[\begin{matrix} BMP \\ File \\ Header \end{matrix}]}_{14 \times 1} \\ 0 \\ 0 \\ . \\ . \\ . \\ 0 \end{matrix} \begin{matrix} {[\begin{matrix} BMP \\ Info \\ Header \end{matrix}]}_{40 \times 1} \\ 0 \\ . \\ . \\ . \\ 0 \end{matrix} {[\begin{matrix} RGB \end{matrix}]}_{3 wh \times 1} \end{matrix}]}_{3 wh \times 3} & B = {[\begin{matrix} \begin{matrix} {[\begin{matrix} WJT \\ File \\ Header \end{matrix}]}_{14 \times 1} \\ 0 \\ 0 \\ . \\ . \\ . \\ 0 \end{matrix} \begin{matrix} {[\begin{matrix} WJT \\ Info \\ Header \end{matrix}]}_{56 \times 1} \\ 0 \\ . \\ . \\ . \\ 0 \end{matrix} {[\begin{matrix} PTF \\ Index \end{matrix}]}_{3 wh \times 3} \end{matrix}]}_{3 wh \times 3} \end{matrix}

上式中，A和B分别是wh×3矩阵，空缺处补0。则存在：

B = A * [\begin{matrix} 0 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}] + {[\begin{matrix} {[\begin{matrix} WJT \\ File \\ Header \end{matrix}]}_{14 \times 1} \\ 0 \\ 0 \\ . \\ . \\ . \\ 0 \end{matrix} \begin{matrix} {[\begin{matrix} WJT \\ Info \\ Header \end{matrix}]}_{56 \times 1} \\ 0 \\ . \\ . \\ . \\ 0 \end{matrix} \begin{matrix} 0 \\ . \\ . \\ . \\ . \\ . \\ . \\ 0 \end{matrix}]}_{3 wh \times 3}

A = B * [\begin{matrix} 0 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}] + {[\begin{matrix} {[\begin{matrix} BMP \\ File \\ Header \end{matrix}]}_{14 \times 1} \\ 0 \\ 0 \\ . \\ . \\ . \\ 0 \end{matrix} \begin{matrix} {[\begin{matrix} BMP \\ Info \\ Header \end{matrix}]}_{40 \times 1} \\ 0 \\ . \\ . \\ . \\ 0 \end{matrix} \begin{matrix} 0 \\ . \\ . \\ . \\ . \\ . \\ . \\ 0 \end{matrix}]}_{3 wh \times 3}

若令，

A1＝[BMP File Header]_14×1＝[42 46 ... 36 00 00 00]^T

A2＝[BMP Info Header]_40×1＝[28 00 00 00 ... 00 00]^T

B1＝[WJT File Header]_14×1＝[4A 57 ... 46 00 00 00]^T

B2＝[WJT Info Header]_56×1＝[38 00 00 00 ... E8 03 00 00]^T

对于已知的w*h像素的图像，A1、A2和B1、B2中每一个元素值都可以确定。则，

\begin{matrix} A = B * [\begin{matrix} 0 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 1 \end{matrix}] + {[\begin{matrix} A 1 & 0 \\ . \\ 0 & A 2 & . \\ . \\ . & . \\ . & 0 & . \\ . \\ . & . & . \\ . & . & . \\ . & . & . \\ 0 & 0 & 0 \end{matrix}]}_{3 wh \times 3} & B = A * [\begin{matrix} 0 & 0 & 0 \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{matrix}] + {[\begin{matrix} B 1 & 0 \\ . \\ 0 & B 2 & . \\ . \\ . & . \\ . & . \\ . & 0 & . \\ . & . & . \\ . & . & . \\ . & . & . \\ 0 & 0 & 0 \end{matrix}]}_{3 wh \times 3} \end{matrix}

通过上述转换关系，视觉图像格式和射流触觉图像格式通过简单的矩阵变换就能实现相互之间的自由转换，按照此种方式，对于其它的触觉刺激，只要能找出三个相互独立的刺激参数，并将其参数值替代该WJT文件格式中的ptf参数值，就可以较方便地转换成对应的该触觉类型的格式文件。

Claims

1.一种视觉文件格式转换装置，其特征在于，包括视觉图像要素提取模块、视觉图像要素映射模块、射流触觉图像文件格式形成模块以及射流触觉图像文件形成模块；其中：

2. 根据权利要求1所述视觉文件格式转换装置，其特征在于，所述视觉图像要素映射模块基于自定义的视觉空间RGB三原色到射流触觉空间PTF三要素的全映射关系建立。

3. 根据权利要求1所述视觉文件格式转换装置，其特征在于，所述自定义的视觉空间RGB三原色到射流触觉空间PTF三要素的全映射关系为：

4. 一种基于权利要求1所述视觉文件格式转换装置的视觉文件格式转换方法，用于将视觉图像文件转化为射流触觉文件，其特征在于，包括以下步骤：

5.一种射流触觉文件格式转换装置，其特征在于，包括射流触觉图像要素提取模块、射流触觉图像要素映射模块、视觉图像的文件格式形成模块以及视觉图像文件形成模块；其中：

6. 根据权利要求5所述的射流触觉文件格式转换装置，其特征在于，所述射流触觉图像要素映射模块基于射流触觉空间PTF三要素到视觉空间RGB三原色的全映射关系建立。

7. 根据权利要求6所述的射流触觉文件格式转换装置，其特征在于，所述射流触觉空间PTF三要素到视觉空间RGB三原色的全映射关系为：

8. 一种基于权利要求5所述射流触觉文件格式转换装置的射流触觉文件格式转换方法，其特征在于，包括以下步骤：

步骤S8、将文件头、信息头和RGB数据形成图像格式文件。