CN116195241A - 把图像转换成声音频谱的系统 - Google Patents

把图像转换成声音频谱的系统 Download PDF

Info

Publication number
CN116195241A
CN116195241A CN202180063711.1A CN202180063711A CN116195241A CN 116195241 A CN116195241 A CN 116195241A CN 202180063711 A CN202180063711 A CN 202180063711A CN 116195241 A CN116195241 A CN 116195241A
Authority
CN
China
Prior art keywords
image
sound
value
images
values
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180063711.1A
Other languages
English (en)
Inventor
A·维塔莱蒂
A·格伦加
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
A Weitalaidi
Original Assignee
A Weitalaidi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by A Weitalaidi filed Critical A Weitalaidi
Publication of CN116195241A publication Critical patent/CN116195241A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/06—Special arrangements of screening, diffusing, or reflecting devices, e.g. in studio
    • G03B15/07—Arrangements of lamps in studios
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/06—Circuits for establishing the harmonic content of tones, or other arrangements for changing the tone colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/161—User input interfaces for electrophonic musical instruments with 2D or x/y surface coordinates sensing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/451—Scanner input, e.g. scanning a paper document such as a musical score for automated conversion into a musical file format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

一种对形状、图像、颜色和符号的视觉光谱进行实时采集、分析并转换为声音频谱的系统，所述系统可以在各种交流环境中使用，比如交互式视频游戏、计算机科学、神经科学和医学领域的神经成像、视觉艺术、社会艺术，但也可以在教学领域，其特征在于，所述系统包括硬件组件和软件组件，所述硬件组件用于对所述硬件组件的透明平面上静止或动态的图像进行模拟光学采集，所述软件组件用于处理所述获取的图像并将所述图像的视觉光谱转换为声音频谱。

Description

把图像转换成声音频谱的系统
技术领域
本发明涉及用于获取和分析人造形状、图像、颜色和符号的光学设备领域，允许通过将声音与所产生的图形元素相关联来获得联觉体验，并适用于各种交流环境，例如交互式视频游戏、计算机科学、神经科学和神经成像领域，在医学领域用于治疗(色彩治疗和音乐治疗)和/或通过BCI(脑机接口)、HCI(人机交互)和SSD(感官替代设备)进行神经刺激，可用在视觉艺术、社会艺术中，但也可用于教学领域。
本发明主要包括一种设备，该设备设计用于从用户选择或产生的图像通过特定的图像捕获工具和用于处理和关联声音的软件生成声音；本发明可用于从娱乐到艺术甚至教育的各种场合。
背景技术
目前已知的设备，如顶置投影仪，可以在其上投影先前准备好的图像，如照片等，以及事先或当时编写的幻灯片。
图像投影设备也是众所周知的，它既可以通过显然事先准备好的幻灯片工作，也可以通过从数字媒体和数字格式获取图像。
在任何情况下，这些已知的设备只允许投影该设备所获得的图像，并且图像的图形处理只能通过使用顶置投影仪。
上面列出的所有设备都不允许将特定的声音与投影的图形元素相关联。
发明内容
本发明允许生成/关联带有任何图形元素的特定的声音，所述图形元素可能是一条线、一个形状、一张照片或仅仅是一种颜色。
此外，本发明还允许将特定的声音与当时生成的图形元素相关联，作为后者所占用的空间和生成它们所花费的时间的函数(绘图)。
根据本发明，这种声音的关联/创作是通过使用硬件媒介，并结合具备以下功能的专用软件来实现的：
获取放置在硬件平台上的图形元素；以及
同时将声音与获取的图像关联/生成。
这允许用户通过可见物质的空间/时间(图中的可见光谱)和可听物质的空间/时间(波形的声音频谱)进行交互和连贯地组合，以直接控制声音频率的调制(增性声音合成)从颜色通过绘图(增性RGB混合)，从而在空间和时间的每一个变化中生成声音。
附图说明
通过以下详细描述和参考所附附图，可以更好地理解本发明，附图通过非限制性示例显示优选实施例。
在附图中:
图1是硬件模块的透视图。
图2是采集模块的透视图。
图3是本发明的正视图。
图4是本发明的俯视图。
图5显示了本发明的前截面视图，其中工作表面和穿孔表面可见。
具体实施方式
参照上面所列的图，本发明包括硬件设备，硬件设备允许执行模拟图像插入操作，并且在硬件设备中提供用于获取所产生的图像的系统；后者与软件组件一起工作，软件组件允许图像被采集、处理和适当编码，并最终从模拟(原始形式)转换数字，正如声学频谱。
硬件
硬件设备基本上包括外部模块，外部模块在优选的但非限制性实施例中被塑造为具有方形底座的平行六面体。
所述模块在内部分为两个不同的叠加部分，并由平行于底座的板分开，该板定义了两个叠加隔层，并且该板具有视频采集设备所安置的孔，该视频采集设备优选由面向上底座的摄像机组成。
上底座由透明材料板组成，并且具有工作和测量空间的功能。
这种形成工作表面的透明板，优选是由高清晰度玻璃制成，在面向模块内部(即面向摄像机或其他图像采集设备)的板的部分应用了单层抗反射处理。
所述玻璃板是通过消除不希望的反射和折射，同时保持通过其中的光的正确的色度特征来最大限度地提高光的透射率。
在玻璃板与包含成像设备的表面之间的上部部分在内部设有横向布置的照明装置。
在优选的但非限制的实施例中，照明装置包括LED和不透明玻璃，更具体地说，本发明提供至少两个LED，两个LED设置在模块上部部分的两个相对的侧面，并置于嵌入模块的支撑结构中的照明单元内；有利地，LED配备了白色蛋白石扩散玻璃。
在包含图像采集设备的表面与模块的下底座之间的下部部分完全被适合吸收光线的材料覆盖，并且该材料允许避免不必要的光线的扩散和折射以及模块内的反射；该下部部分基本上包括技术隔层，以允许可能的维护操作或传感器调整，并且以在无需支撑表面的结构下获得足够高的模块。
值得注意的是，也可以不在下面提供所述技术隔层，例如，通过将传感器直接约束到顶部的底部。
根据本发明，除透明板和照明装置外，顶部的所有表面也均涂有吸光材料。
在优选但非限制性实施例中，所述吸光材料优选为黑天鹅绒。
照明装置例如为了确保工作空间的正确照明，以及光在模块的上部部分的均匀扩散，以确保照明的均匀性，没有相对于采集设备的透镜的阴影或反射，这样就不会产生太亮或太暗的区域并使图像采集失真。
根据本发明，图像采集设备为摄像机，摄像机由带有CMOS传感器的USB模块和可互换镜头组成。
传感器的选择主要与软件可用于采集的像素数有关；软件像素管理能力的增加之后，可以对具有更高分辨率的设备选择不同的采集设备，因为不存在与所述设备相关的分辨率-灵敏度-维度约束。
根据本发明，采集设备将能够在RGB(彩色)模式和灰度(单色)模式下工作；为此目的，该设备可以从单色和彩色传感器中选择，并可以交换它们。
除了保持理想的视角外，镜头配置还取决于需要通过景深效应(通常由镜头提供)来“隔离”二维工作表面，以只聚焦那个表面，而通过逐渐的模糊排除工作表面以外的一切(生理学上所有带透镜光学系统，逐渐的模糊由逐渐远离焦点创造，工作表面这里是玻璃板的外表面)；这种二维表面和表面以外的一切之间的隔离效果被认为是采集软件的辅助，它有助于区分工作表面上放置/创建/跟踪的东西和工作表面之外的一切，周围环境和玻璃本身前面的一切(操作员、环境光等)；这有助于软件通过选择表面的焦点来选择图形，最大限度地提高了系统的精度，从而确保图像的声音转换尽可能集中在创建/放置在表面上的图像/形状上，而不是存在于表面之外的图像/形状上。
在优选但非限制实施例中，所选传感器是索尼IMX322传感器(对角线尺寸为1/2.9英寸，2.07Mpx,HD 1920p)，并且传感器是经过仔细分析后选择的，并且是传感器尺寸、拍摄流动性、图像质量、光灵敏度、动态范围、成本和可用性之间的良好折衷。
在描述的(非限制的)结构示例中，拍摄光学器件包括用于1/2.7英寸格式传感器的镜头，其焦距为F 2.8-12，焦比为f 1.4，手动对焦，以及专用于CCTV摄像机的CS螺纹支架。
通过计算40°至55°之间的视场角来模拟与人眼相似的视角并减少由拍摄光学器件引起的自然几何失真，从而确定摄像机(即图像采集设备)的布置。
有利地，这种选择有助于光学器件的聚焦平面在透明板所代表的二维工作区域上的正确选择和校准。
此外，还提供了为传感器/处理器系统配备了局部冷却装置的集成电子板，优选为珀尔帖单体(Peltier cell)类型，电源为12V,RMS功率为60W，还提供了电源为12V的轴流风扇和集成铝散热器，用于处理模块内部CMOS传感器连续和长时间运行所生成的热量。
有利地，冷却系统限制了由于热发展造成的信号退化，从而限制了“暗噪声”效应，即所谓的“热噪声”。
如上所述，在所示示例中，包含摄像机的表面平行于两个上下底座布置并与透明板保持一定距离(例如80厘米)，以确保正确的拍摄角度。
在本文描述的优选的非限制实施例中，硬件基本上是高度约为110厘米的平行六面体和方形底座；用作上底座和工作表面的玻璃板尺寸为50x50cm，厚度为1.5cm；包含采集设备的表面有利地放置在距离放置在上底座上的玻璃板约80厘米的距离处。
软件
如上所述，硬件组件与软件组件结合工作，其主要目的是将光谱转换为声学频谱。
这种线性转换允许用户在给定的时间间隔(时间)内通过自己的动作在采集表面(空间)上移动/绘制图像来调制和控制随时间(声音)产生的波形的增性合成。最终目标是允许完全控制声音的合成调制(波形)作为用户移动或绘制的图像的函数。
在所描述的示例中，手中的软件是作为商业知名程序(如Cycling'74的MAX MSP)的补丁或扩展开发的。
Max是一个音乐和多媒体的图形开发环境，由位于加州旧金山的软件公司Cycling'74设计和更新，并且它已经被作曲家、表演者、软件设计师、研究人员和对创建交互式软件感兴趣的艺术家使用了超过15年。
API允许第三方开发新的例程(称为外部对象)。因此，Max拥有一个庞大的程序员用户群——与Cycling'74无关——他们通过(商业和非商业)扩展程序来增强软件。
正是由于其可扩展的设计和图形界面，Max通常被认为是一种与交互式音乐相关的软件开发的通用语言。
处理后的补丁检测视频的RGB值，并将其转换为音频频率；因此，每个频率都有自己的强度和持续时间，分别来自饱和度和亮度。
补丁的操作如下：在补丁开始页面或显示方式中，只显示操作员可用的控件，这些是:
下拉菜单，下拉菜单可以选择要使用的摄像头，即安装在硬件中的网络摄像头或内置在计算机中的摄像头；
开关，开关允许开始摄像机和补丁之间的数据通信，帧速率以毫秒表示，并在开关右侧的对象中可调整；
偏移量调整面板，偏移量调整面板允许在视频矩阵内调整用于开始RGB值列表的像素；所述列表可以由最小1到最大30个像素组成，并且该列表的大小可通过特殊面板调节；
“推子”条，“推子”条用于调节音频输出音量和打开或关闭音频引擎；
面板，面板用于保存设置以及创建和切换所保存设置。
根据本发明，补丁配置为映射工作区域，并通过获取用户在工作空间(绘图)中移动或绘制的图像，允许正弦波形随时间(声音)的相干生成/转换(输入-输出)；视频图像在RGB矩阵内处理，其大小例如640*480像素，与所使用版本中不支持处理更高分辨率所需的计算次数的软件的性能兼容。
该矩阵中的每个像素都由三个与红色(R)、绿色(G)和蓝色(B)值饱和度相关的值定义；每个值的取值范围是0到255。
用户使用的工作空间中的RGB值矩阵被程序转换为频率矩阵：每个单独像素的三个RGB值随着时间的推移而增加，并且它们的总和值(随时间使用的RGB值的增性混合)根据可以定义为基本上成正比的关系转换为频率值(图像所占空间的频率值的增性合成)，频率值范围为64至8000Hz，以使得例如随着RGB值的总和增加，相应声音的频率将接近频率范围的上端，从而允许用户通过与绘画和在表面移动/绘制图像相关的神经运动活动(空间中颜色的增性混合)实时执行声音调制(随着时间的推移的增性合成声音)。
换句话说，每个用户生成的图像在空间和时间上的变化(即在进行这种变化所花费的时间内)，对应于空间中RGB值的增性混合程度，这与随着时间推移声音的增性合成程度成正比。这样的百分比比例与HSL阵列、空间和时间的值密切相关，并允许用户通过对图像(像素和RGB值)的动作来调制正弦波形。所述RGB值的总和对应于用户在给定时间间隔内在图像空间中使用的颜色频率的增性混合，并与用户自己的动作随着时间的推移而产生的声音的增进合成直接相关(或成比例)。
利用商业程序将获取的所有获取的图像的RGB矩阵转换为大小为640*480像素的HSL值(不透明度、饱和度和亮度)的新矩阵。其中，这些与图像变化对应的空间和时间相关的HSL值，允许用户使用RGB值的可见光谱来调制频率值的声音频谱。
同样，在本例中，软件组件为矩阵的每个像素提取两个与亮度和饱和度相关的值列表，取值范围在0到255之间。
根据本发明，亮度值由软件组件解析并转换为声音持续时间值，而饱和度值对应于声音强度，并且因此依赖于摄像机检测到的颜色(RGB)量。
已知的是，定义声音的参数是频率、强度和持续时间；因此，由软件组件识别的所有值允许与每个检测的像素关联频率(转换为听觉频率范围的R、G和B值的总和)、强度(对应于来自HSL阵列的饱和度值)和持续时间(对应于来自HSL阵列的亮度值)，并因此关联声音。
在这方面，值得注意的是，根据本发明的特定特征，特定地选择上述参数从硬件组件的透明平面上获取的图像来生成声音(可见光谱＝>声音频谱)，其创新性和原创性在于，它考虑到用户移动或绘制的图像所占用的空间(其决定输出声音强度)和用户在硬件组件的透明表面上绘制该图像所占用的时间(其决定输出声音持续时间)。
操作
根据本发明，摄像机传感器通过在玻璃板上放置或平移图像，甚至直接在其上绘制图像来获取图像。
如上所述，通过软件组件，可以管理来自硬件组件的数据传输，这些数据由软件组件本身接收，该软件组件详细说明了它们将一些RGB颜色“数量”值归因于每个识别的像素，这些值形成了要关联的声音的频率。
这个RGB矩阵被转换成HSL阵列，其饱和度和亮度值分别定义了声音的强度和持续时间。
这样得到的频率、强度和持续时间三个值唯一地定义了与特定像素相关的声音。
值得注意的是，绘制的每个符号和/或放置在板上的每个图像都对应特定的声音，因为矩阵是实时处理的，所以即使图像从玻璃板的一点“移动”到另一点，也会导致上述参数的变化，并随之产生声音变化。
本发明的变体(未显示)提供了额外使用的神经成像装置，例如，包括用户/受试者可穿戴的头盔，用于在绘制时检测大脑活动，其中所述装置实时生成受试者大脑活动的图像，并使用所述图像，以及在硬件组件的透明表面上绘制的图像，以生成由绘制的图像生成的声音和对应的大脑活动的图像生成的声音的总和所得出的整体声音。
因此，本发明的这种变体产生的整体声音不仅考虑到用户绘制的图像，而且还考虑到对其大脑的影响(通过其大脑活动的图像)，同时:
它受到所绘制事物的视觉刺激；
它受到绘制动作的刺激；
它受到通过本发明听到和生成的声音刺激。
因此，整体的声音不仅取决于所绘制的图像，而且还取决于绘制图像的主体在图像被绘制时的刺激。

Claims (11)

1.一种对形状、图像、颜色和符号的视觉光谱进行实时采集、分析并转换为声音频谱的系统，所述系统可以在各种交流环境中使用，比如交互式视频游戏、计算机科学、神经科学和医学领域的神经成像、视觉艺术、社会艺术，但也可以在教学领域，其特征在于，所述系统包括硬件组件和软件组件，所述硬件组件用于对所述硬件组件的透明平面上移动或绘制的图像进行模拟光学采集，所述软件组件用于处理所述获取的图像并将所述图像的视觉光谱转换为声音频谱；
其中所述硬件组件包括腔室，所述腔室的上底座基本上由透明材料板组成，并且所述腔室的下底座上安装有图像采集设备，所述图像采集设备面向所述透明板，并且所述图像采集设备配置为将所述透明板完全框起；其中，侧壁设置有照明装置，所述照明装置配置为确保构成工作空间的所述透明板的内表面具有正确的照明，以及光在所述腔室本身的上部部分的均匀扩散，确保照明的均匀性，没有相对于所述采集设备的透镜的阴影或反射，从而不会产生太亮或太暗的区域并使图像采集失真；
并且其中所述软件组件配置为检测所述采集设备获取的每个像素的每个RGB值，并对所述检测到的值进行处理和转换，以将三个值分别与每个获取的像素相关联，所述三个值由以下组成：
声音频率值，所述声音频率值由R、G和B值换算成听觉频率范围的总和得出；
声音强度值，所述声音强度值对应于来自HSL阵列的饱和值，其中所述饱和值以及由此的所述声音强度值与所述图像在所述硬件组件的透明平面上移动或绘制所占据的空间相关；
声音持续时间值，所述声音持续时间值对应于来自所述HSL阵列的亮度值，其中所述亮度值以及由此的所述声音持续时间值与在所述硬件组件的透明平面上移动或绘制所述图像所需的时间相关；
其中所述三个值对应于与特定的所获取像素相关联的特定声音。
2.根据权利要求1所述的系统，其特征在于，所述系统包括至少两个相对的照明装置。
3.根据前述权利要求中的一个或多个所述的系统，其特征在于，除了由玻璃或其他透明材料制成的所述板和所述照明装置之外，所述腔室的所有内表面都涂有吸光材料，以允许避免不必要的光的扩散和折射和模块内的反射。
4.根据前述权利要求所述的系统，其特征在于，所述吸光材料为粘性黑天鹅绒涂层。
5.根据权利要求1所述的系统，其特征在于，所述图像采集设备配置为将所述图像传输到所述专用的软件组件，所述专用的软件组件适于进行从所述视觉光谱到所述音频频谱的转换。
6.根据权利要求1或5所述的设备，其特征在于，所述图像采集设备是可互换的，所述图像采集设备可在彩色或单色设备之间选择并具有不同的像素分辨率。
7.根据权利要求1的设备，其特征在于，所述图像采集设备具有透镜，所述透镜配置为通过景深效应“隔离”二维工作表面，以只聚焦所述透明板的外表面，并且所述透镜通过渐进式光学模糊来排除所述工作表面以外的一切。
8.根据前一权利要求所述的设备，其特征在于，所述图像采集设备的布置通过计算40°到55°之间的视场角来确定，以模拟出与人眼相似的视角，并减少拍摄光学器件造成的自然几何失真，从而有助于所述光学器件本身的聚焦平面在所述透明板所代表的所述二维工作区域上的正确选择和校准。
9.根据权利要求1所述的设备，其特征在于，所述软件组件基本上由补丁组成，所述补丁作用于商业程序，例如Cycling'74的MAX MSP。
10.一种对形状、图像、颜色和符号的视觉光谱进行实时采集、分析和转换为声音频谱的方法，所述方法可以在各种交流环境中使用，比如交互式视频游戏、计算机科学、神经科学和医学领域的神经成像、视觉艺术、社会艺术，但也可以在教学领域，其特征在于，所述方法包括使用包括至少一个硬件模块的系统，所述系统包括图像采集设备和软件模块，其中，所述模块在功能上连接，以获取所述图像的视觉光谱，并对所述视觉光谱进行处理，根据以下步骤将所述视觉光谱转换为声音频谱:
借助于检测所述图像的像素的光学设备，由图像采集设备获取在工作表面上移动或绘制的所述图像；
通过所述软件模块对所述获取的图像像素进行处理，以检测每个所获取像素的每个RGB值；
对所检测的RGB值进行处理并转换为HSL值，以便将三个值分别与每个所述获取的像素相关联，所述三个值由以下组成：声音频率值，所述声音频率值由R、G和B值换算成听觉频率范围的总和得出；声音强度值，所述声音强度值对应于来自HSL阵列的饱和值；声音持续时间值，所述声音持续时间值对应于来自所述HSL阵列的亮度值；
其中：
所述饱和值以及由此的所述声音强度值与所述图像在所述硬件组件的透明平面上移动或绘制所占据的空间相关；以及
所述亮度值以及由此的所述声音持续时间值与在所述硬件组件的透明平面上移动或绘制所述图像所需的时间相关。
11.根据权利要求1所述的系统，其特征在于，所述系统还包括神经成像生成装置，所述装置配置为:
获取与实时在所述硬件组件的透明平面上移动或绘制所述图像的用户的大脑活动相关的数据；并且
实时生成所述大脑活动的相应图像；
其中，所述软件组件配置为还处理所述大脑活动的图像并生成声音，所述声音可添加到所述图像采集设备所获取的图像的处理所生成的声音。
CN202180063711.1A 2020-09-23 2021-09-23 把图像转换成声音频谱的系统 Pending CN116195241A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT102020000022453 2020-09-23
IT102020000022453A IT202000022453A1 (it) 2020-09-23 2020-09-23 Sistema di conversione di immagini in spettro sonoro;
PCT/IB2021/058685 WO2022064416A1 (en) 2020-09-23 2021-09-23 System for converting images into sound spectrum

Publications (1)

Publication Number Publication Date
CN116195241A true CN116195241A (zh) 2023-05-30

Family

ID=73699280

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180063711.1A Pending CN116195241A (zh) 2020-09-23 2021-09-23 把图像转换成声音频谱的系统

Country Status (6)

Country Link
US (1) US20230306937A1 (zh)
EP (1) EP4217796A1 (zh)
CN (1) CN116195241A (zh)
CA (1) CA3189714A1 (zh)
IT (1) IT202000022453A1 (zh)
WO (1) WO2022064416A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08223377A (ja) * 1995-02-09 1996-08-30 Nikon Corp 画像入力システム
US6747764B1 (en) * 2000-11-21 2004-06-08 Winbond Electronics Corp. High speed scanner
US20050007776A1 (en) * 2003-07-07 2005-01-13 Monk Bruce C. Method and system for a processor controlled illumination system for reading and analyzing materials
WO2007105927A1 (en) * 2006-03-16 2007-09-20 Harmonicolor System Co., Ltd. Method and apparatus for converting image to sound
US7843611B2 (en) * 2007-07-18 2010-11-30 Kuwait University High speed flatbed scanner comprising digital image-capture module with two-dimensional optical image photo-sensor or digital camera
WO2010098144A1 (ja) * 2009-02-27 2010-09-02 パナソニック株式会社 読取装置
JP6058192B1 (ja) * 2016-06-08 2017-01-11 株式会社ビジョナリスト 音楽情報生成装置、音楽情報生成方法、プログラム、および記録媒体

Also Published As

Publication number Publication date
CA3189714A1 (en) 2022-03-31
EP4217796A1 (en) 2023-08-02
IT202000022453A1 (it) 2022-03-23
WO2022064416A1 (en) 2022-03-31
US20230306937A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
EP2383995B1 (en) Display system, method and computer program for capturing images using multiple integrated image sensors
CN112567736B (zh) 用于显示设备的次网格校准的方法和系统
RU2168192C2 (ru) Визуальное устройство отображения и способ формирования трехмерного изображения
US6843564B2 (en) Three-dimensional image projection employing retro-reflective screens
US20070159476A1 (en) Method for creating a stereoscopic image master for imaging methods with three-dimensional depth rendition and device for displaying a steroscopic image master
US7884980B2 (en) System for capturing graphical images using hyperspectral illumination
US20150071551A1 (en) Image compositing via multi-spectral detection
US7002623B1 (en) Image processing apparatus for correcting a color and texture of an image and displaying the corrected image
US8319723B2 (en) Adaptive displaying scheme
US20160112616A1 (en) Hair Consultation Tool Arrangement and Method
WO2019047985A1 (zh) 图像处理方法和装置、电子装置和计算机可读存储介质
CN1350750A (zh) 显示器及显示方法
CN111052869B (zh) 改善用户观察到的图像的透视颜色感知的照明方法和系统
Zhou et al. Light field projection for lighting reproduction
CN109900223B (zh) 用于投影光栅建模的成像方法及装置
CN116195241A (zh) 把图像转换成声音频谱的系统
Yamaguchi et al. Natural vision: Visual telecommunication based on multispectral technology
US10564518B2 (en) Environmental lighting system and method
KR101398804B1 (ko) 양안 식의 안위감지기, 부채꼴의 변형 렌티큘러와 액정식 배리어를 사용한 입체영상표시장치에서의 안위인식방법
CN109900222B (zh) 基于投影光栅建模的模型获取方法及装置
KR20130027410A (ko) 양안 식의 안위감지기, 부채꼴의 변형 렌티큘러와 액정식 배리어를 사용한 입체영상표시장치의 활용방법
CN110385849A (zh) 一种3d手机贴膜及包装盒
TWI241139B (en) Adjusting method and framework for uniform display of video wall
WO2010064479A1 (ja) デジタル映像再生装置
CN107544661B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination