CN106162418A - 收音方法以及收音装置 - Google Patents

Abstract

本发明提供一种收音方法，用于收音装置，收音装置具有摄影机，收音方法包括以下步骤：首先，摄影机拍摄物体以获得对应于物体的多个图像，其中每一图像对应一时间点。然后，从每一图像中撷取物体的空间信息。接着，依据所述图像中的所述空间信息获得物体的位移信息。再来，依据位移信息以及位移信息所对应的图像的时间点进行傅立叶转换。然后，依据傅立叶转换的结果得到物体的位移频率。接着，进行反傅立叶转换以将位移频率转换成音频信号。据此，可以利用收音装置的摄影机获取音频信号。在没有麦克风元件的情况下，可以利用上述收音方法及收音装置，通过摄影机元件或模块来替代麦克风达到获取声音或录音的功能。

Description

收音方法以及收音装置

技术领域

本发明涉及一种收音方法，尤其涉及一种利用摄影机拍摄物体的位移信息并将位移频率转换成音频信号的收音方法以及收音装置。

背景技术

传统的麦克风的收音效果受限于麦克风与发声源的距离和两者之间的阻隔物，例如距离越远则麦克风收到的音量则越小也越不清楚。并且，当麦克风与发声源之间有障碍物而阻隔了传递声波的媒介(例如空气)时，则因为声波并无法传送到麦克风而使麦克风无法获取音频信号，例如：当麦克风与发声源之间阻隔了一个气密的透明玻璃时。

发明内容

本发明实施例提供一种收音方法以及收音装置，用以解决如果在没有录音装置或者是在很远的距离还可以利用摄影机(或其模块)来达到获得声音或录音的功能。

本发明实施例提供一种收音方法，用于收音装置，收音装置具有摄影机。此方法包括以下步骤：首先，利用摄影机拍摄物体以获得对应于物体的多个图像，其中每一图像对应一时间点。然后，从每一图像中撷取物体的空间信息。接着，依据所述图像中的所述空间信息获得物体的位移信息。再来，依据位移信息以及位移信息所对应的图像的时间点进行傅立叶转换。然后，依据傅立叶转换的结果得到物体的位移频率。接着，进行反傅立叶转换以将位移频率转换成音频信号。

本发明的又一实施例中，所述多个图像是二维图像或三维立体图像。

本发明的又一实施例中，所述空间信息包括所述物体的位置或轮廓。

本发明的又一实施例中，获得所述物体的所述位移信息的方式是，计算对应所述物体的所述图像中的至少一参考点的一空间位移。

本发明的又一实施例中，在依据傅立叶转换的结果得到所述物体的所述位移频率中，所述位移信息代表对应于所述物体在所述多个时间点进行周期性振动。

本发明的又一实施例中，在进行反傅立叶转换以将所述位移频率转换成所述音频信号的步骤之后，还包括：

对所述音频信号进行放大。

本发明的又一实施例中，在进行反傅立叶转换以将所述位移频率转换成所述音频信号的步骤之后，还包括：

输出所述音频信号至一扬声器。

本发明实施例提供一种收音装置，收音装置包括摄影机、处理单元以及扬声器。摄影机用以拍摄物体以获得对应于物体的多个图像，其中每一图像对应一时间点。处理单元电性连接摄影机，并接收来自摄影机的所述图像，处理单元从每一图像中撷取物体的空间信息，且依据所述图像中的所述空间信息获得物体的位移信息。处理单元依据位移信息以及位移信息所对应的图像的时间点进行傅立叶转换而得到物体的位移频率。处理单元利用反傅立叶转换将位移频率转换成音频信号。扬声器电性连接处理单元，接收来自处理单元的音频信号，并将音频信号转换为声音。

本发明的又一实施例中，所述处理单元包括一存储单元，用以存储所述音频信号。

本发明的又一实施例中，所述位移信息包括对应所述物体的所述图像中的至少一参考点的一空间位移。

综上所述，本发明实施例提供一种收音方法以及收音装置，其解决了在没有麦克风元件的情况下也可以利用摄影机元件(或模块)来替代麦克风达到获取声音或录音的功能。尤其，当目标物距离太远时，遇到声音无法传递或者是传递的路径上的空气是被隔绝的情况，也同样可以利用摄影机来达到获取声音或录音的功能。

为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，但是此等说明与附图说明书附图仅系用来说明本发明，而非对本发明的权利范围作任何的限制。

附图说明

图1是本发明实施例提供的拍摄物体的示意图。

图2是本发明实施例提供的被拍摄物体在图像中所呈现的位移的示意图。

图3是本发明实施例提供的收音装置的功能方块图。

图4是本发明实施例提供的收音装置的示意图。

图5是本发明实施例提供的收音方法的流程图。

图6是本发明实施例提供的图像由位移信息转换为音频信号的转换过程的示意图。

附图标记说明：

1：落叶

2：摄影机装置

A1、A2、A3：位置

3：收音装置

31：摄影机

32：处理单元

33：扬声器

34：存储单元

41：摄影机

42：多媒体主机

21、421：显示单元

22、422：扬声器

5：闹钟

51：闹铃

S110、S120、S130、S140、S150、S160、S170：步骤流程

B1：位移信息

B2：位移频率信息

B3：音频信号

FFT：快速傅立叶转换

[FFT]^-1：快速反傅立叶转换

具体实施方式

〔收音方法以及收音装置的实施例〕

市面上手持式装置已都附有摄影机模块在系统中，如果我们能够加以改良并增加摄影机的拍照能力和系统本身的运算能力，那么我们就能够在无麦克风或者是较远的距离的限制情况下也能够达到录音的功能，从而可以节省系统本身一定要有麦克风元件的成本，或者是克服系统距离录音范围太远而不能够录音的限制。

根据声音的原理，声音的传递介质是空气，所以空气中会包含声音的信息，在微观的世界中，看到图1的这片落叶1(或树上的叶片)，可以看到这片落叶1会振动会位移，所以本发明利用图像的技术(摄影机装置2)，从而将空气流通的方向和频率纪录下来。

为了方便说明，在本实施例中所利用的方式是例如纪录(拍摄)一质量很轻的物体，假设是一个盆栽上的一片树叶受到周遭空气的摆动而振动或位移，本实施例利用摄影机特地去锁定地拍摄此叶片上的一个参考点，以获得叶片的摆动振幅和频率。所述参考点可以利用图像处理技术将不同时间点的图像进行分析，以获得可用的参考点，例如参考点是叶片上的一个叶脉末端、叶片周边的一个顶点等等，但本发明并不因此限定。上述的被拍摄物是以叶片为举例，被拍摄物也可以替换为容易受到周遭声音影响而振动的物体，尤其以质量较轻且振动幅度较大的物体为较佳，但本发明并不因此限定。

接着，请参考图2，图2是本发明实施例提供的被拍摄物体在图像中所呈现的位移的示意图。图2中的横坐标轴和纵坐标轴的数字用以标示图像的坐标位置。在实际应用时，以图2的图像为例，摄影机装置所获取的图像是二维图像，但本发明并不因此限定。摄影机装置所获取的图像也可以是三维立体(3D)图像，此时所用的摄影机装置所拍摄的三维立体图像具有三维的坐标。不论是获得物体的二维图像或三维图像，都可以利用对应的图像处理技术而获得物体的空间信息。

更进一步，为了获得被拍摄物体的位移信息，除了可以先利用图像处理器对图像进行图像处理，藉此先辨识图像中的物体，更可以建立对应于此物体的图像中的至少一参考点，当拍摄到的图像随着时间点而改变时，图像处理器则可以进一步辨识此物体的参考点的空间位移。换句话说，物体的图像中的至少一参考点的空间位移必须被获得。以图2为例，当物体(或其参考点)例如是一个挂在天花板上摆动的物体。为了方便说明，此物体以一二维坐标上的一小点的坐标表示，此时辨别物体振动的参考点就是此物体的位置。在摆动的过程中，参考点的坐标会有所改变，例如摆动过程被拍摄出图2中所示的三个位置A1、A2、A3。将所得到的图像坐标化之后我们可以知道，物体受到声音空气流动之后而摆动，如此就会产生在不同时间点的相对位置，例如原本不动的位置A2坐标(7,4)，那么物体会在位置A3坐标(5,7)和位置A1坐标(9,7)来回移动。在摄影的过程，图像例如是以每秒24张、每秒30张或每秒60张等方式被拍摄或记录下来。每一个图像对应一时间点。将图像记录一段时间就可以得到一笔的数据，那么我们可以从数据中可以得到物体摆动的频率和振幅。有了物体摆动的频率和振幅，则可以利用工程数学中的傅立叶转换，可以将物体在空间和时间的关系，变化为振幅和频率的关系。在一实施例中，若物体是单纯地进行周期性振动，则位移信息代表对应于物体在这些时间点进行周期性振动。

换句话说，当我们将每一个时间间隔所摆动的振幅纪录下来，如此可以定义原本的位置是在振动过程的中心点位置上，然后通过获得的位移信息，运算得到每秒位移(例如往上位移或往下位移)的相对位置和大小，那我们可以得到位置和时间的相关性。

接着，说明实现本实施例的收音方法的装置，在本实施例中称之为收音装置。请参照图3，图3是本发明实施例提供的收音装置的功能方块图。收音装置3包括摄影机31、处理单元32、扬声器33与存储单元34。处理单元32电性连接摄影机31、扬声器33与存储单元14。

摄影机31用以拍摄物体(例如图1的叶片或图2的摆动物体)以获得对应于物体的多个图像，其中每一图像对应一时间点。处理单元32接收来自摄影机31的所述图像，处理单元32从每一图像中撷取物体的空间信息，且依据所述图像中的所述空间信息获得物体的位移信息。处理单元32依据位移信息以及位移信息所对应的图像的时间点进行傅立叶转换而得到物体的位移频率。处理单元32利用反傅立叶转换将位移频率转换成音频信号。扬声器33接收来自处理单元32的音频信号，并将音频信号转换为声音。存储单元34用以存储音频信号。在另一实施例中，存储单元34也可以存储摄影机31所拍摄到的所述图像所对应的空间信息或位移信息。

图3的收音装置3可以利用图1的摄影机装置2的形式实现，在图1中显示单元21显示所拍摄到的图像，扬声器22将由图像转换为声音的音频信号放大输出。也就是说收音装置3可以是一个独立的具有摄影机(拍摄物体振动，包括空间信息和位移信息)的装置，再加上具有对图像进行运算处理的处理单元，以及将处理单元的运算结果转换为声音的扬声器。如此，收音装置3可以自行将所拍摄到的图像转换为声音频信号，不受到距离拍摄物的远近距离和空气被隔绝的障碍而影响。

在另一实施例中，图3的收音装置3可以图4的远端监控装置实现。远端监控装置包括摄影机41与多媒体主机42。摄影机41与多媒体主机42可以通过有线或无线(例如无线保真(WiFi)或蓝牙(Bluetooth))的方式彼此连线。多媒体主机42可以包括显示摄影机41所拍摄图像的显示单元421、处理单元(图未绘示)、存储单元(图未绘示)与扬声器422。被拍摄物例如是一个位于远距离的闹钟5，闹钟5通过闹铃51的振动而发出声音。为了通过拍摄振动而将振动转换为声音，可以利用摄影机41拍摄闹铃51，并利用多媒体主机42通过图像处理技术找到并选择闹铃51的图像中的一个参考点，并利用多媒体主机42将图像内容进行运算而获得位移信息，并利用傅立叶转换将位移信息转换为位移频率，再利用反傅立叶转换将位移频率转换为音频信号。多媒体主机42的显示单元421可以显示所拍摄的图像，而扬声器422则可发出对应于图像的位移(即闹铃51的振动)的音频信号。

在了解了本实施例的收音装置的各部基本元件的功能与示范性的实施方式之后，接着继续说明本实施例的收音方法的详细步骤。请同时参照图3与图5，图5是本发明实施例提供的收音方法的流程图。此方法包括以下步骤：首先，在步骤S110中，利用摄影机31拍摄物体以获得对应于物体的多个图像，其中每一图像对应一时间点。然后，接下来的步骤S120至步骤S160可以在收音装置内的处理单元32中被执行。在步骤S120中，从每一图像中撷取物体的空间信息。所述空间信息例如是物体的位置或轮廓。

接着，在步骤S130中，依据所述图像中的所述空间信息获得物体的位移信息。位移信息例如是物体的参考点在图像中的坐标变化。物体的参考点的取得方式例如是将物体的位置、轮廓或物体在图像中所呈现的可被辨识的特征点，例如当物体是叶片时，可以是叶片的叶脉、叶脉末端。或者是，物体外观的中心点、闹铃外观结构的边缘，或是其他可利用图像处理技术所获得的被拍摄物体上的参考点。所述图像处理技术，以及对被拍摄物的图像辨识技术是图像技术领域技术人员能了解的，于此不再赘述。如图6所示，位移信息B1的振动波形是对物体的图像进行运算所获得的，因此获得该物体的该位移信息的方式例如是，计算对应该物体的该图像中的至少一参考点的一空间位移。

然而，本发明并不限定位移信息仅从单一个参考点获得。在另一实施例中，当被拍摄物体的图像可以同时定义出多个参考点时，可以获得每一个参考点的位移信息。例如，当同一个叶片上的多个叶片的边缘的振动可以被清楚的拍摄下来时，叶片的不同边缘或其周遭都可定义出各自对应的参考点，据此获得相应的位移信息。或者，当摄影机可以同时拍摄到多个叶片的振动时，每一个叶片的振动所产生的位移信息都可以用来转换为声音。

再来，在步骤S140中，依据位移信息以及位移信息所对应的图像的时间点进行傅立叶转换。然后，在步骤S150中，依据傅立叶转换的结果得到物体的位移频率。对应于图6中显示，利用傅立叶转换而将位移信息B1转换为位移频率信息B2，所述傅立叶转换例如是快速傅立叶转换(FFT)，但本发明并不因此限定。在位移频率信息B2的较大的频率信号就是主频，代表着物体(例如叶片)接受的声音频率。从一个物体的一个参考点上可以获得一笔频率信息，当摄影机所拍摄的物体越多，或物体上的参考点越多，则能还原的声音则越多。例如当物体是叶片时，从一片树叶上可以得到一笔声音的频率，如果摄影机能锁定的叶片数目(例如同一棵树上的不同叶片)越多，那能还原的声音就越多。

接着，在步骤S160中，进行反傅立叶转换以将位移频率转换成音频信号。对应于图6中显示，利用反傅立叶转换将位移频率信息B2转换为音频信号B3，所述反傅立叶转换例如是快速反傅立叶转换([FFT]^-1)。在一实施例中，步骤S160所产生的音频信号可能过小，因此在步骤S160和步骤S170之间，更可包括对音频信号进行放大，但本发明并不因此限定。在其他的实施例中，也可以省略对音频信号进行放大的步骤。最后，获得音频信号之后，则进行步骤S170，输出音频信号至扬声器33。另外，获得音频信号后，可将音频信号存储于存储单元，以完成录音。

〔实施例的可能功效〕

综上所述，本发明实施例所提供的收音方法以及收音装置，其解决了在没有麦克风元件的情况下也可以利用摄影机元件(或模块)来替代麦克风达到获取声音或录音的功能。尤其，当目标物距离太远时，遇到声音无法传递或者是传递的路径上的空气是被隔绝的情况，也同样可以利用摄影机来达到获取声音或录音的功能。换句话说，此收音方法以及收音装置可以应用于任何具有摄影机的装置，只须配合足够的图像处理以及运算能力(可以是装置本身进行运算或者是将图像传送至远端进行运算)，则可以节省麦克风元件的设置，而可获取声音信息，具有相当大的产业应用价值。

以上所述仅为本发明的实施例，其并非用以局限本发明的专利范围。

Claims (10)

1.一种收音方法，其特征在于，用于一收音装置，所述收音装置具有一摄影机，所述方法包括以下步骤：

所述摄影机拍摄一物体以获得对应于所述物体的多个图像，其中每一所述图像对应一时间点；

从每一所述图像中撷取所述物体的一空间信息；

依据所述多个图像中的所述多个空间信息获得所述物体的一位移信息；

依据所述位移信息以及所述位移信息所对应的所述多个图像的所述多个时间点进行傅立叶转换；

依据傅立叶转换的结果得到所述物体的一位移频率；以及

进行反傅立叶转换以将所述位移频率转换成一音频信号。

2.根据权利要求1的收音方法，其特征在于，所述多个图像是二维图像或三维立体图像。

3.根据权利要求1的收音方法，其特征在于，所述空间信息包括所述物体的位置或轮廓。

4.根据权利要求1的收音方法，其特征在于，获得所述物体的所述位移信息的方式是，计算对应所述物体的所述图像中的至少一参考点的一空间位移。

5.根据权利要求1的收音方法，其特征在于，在依据傅立叶转换的结果得到所述物体的所述位移频率中，所述位移信息代表对应于所述物体在所述多个时间点进行周期性振动。

6.根据权利要求1的收音方法，其特征在于，在进行反傅立叶转换以将所述位移频率转换成所述音频信号的步骤之后，还包括：

对所述音频信号进行放大。

7.根据权利要求1的收音方法，其特征在于，在进行反傅立叶转换以将所述位移频率转换成所述音频信号的步骤之后，还包括：

输出所述音频信号至一扬声器。

8.一种收音装置，其特征在于，包括：

一摄影机，用以拍摄一物体以获得对应于所述物体的多个图像，其中每一所述图像对应一时间点；

一处理单元，电性连接所述摄影机，并接收来自所述摄影机的所述多个图像，所述处理单元从每一所述图像中撷取所述物体的一空间信息，且依据所述多个图像中的所述多个空间信息获得所述物体的一位移信息；所述处理单元依据所述位移信息以及所述位移信息所对应的所述多个图像的所述多个时间点进行傅立叶转换而得到所述物体的一位移频率；所述处理单元利用反傅立叶转换将所述位移频率转换成一音频信号；以及

一扬声器，电性连接所述处理单元，接收来自所述处理单元的所述音频信号，并将所述音频信号转换为声音。

9.根据权利要求8的收音装置，其特征在于，所述处理单元包括一存储单元，用以存储所述音频信号。

10.根据权利要求9的收音装置，其特征在于，所述位移信息包括对应所述物体的所述图像中的至少一参考点的一空间位移。