CN113805835B - 一种用于存储和自定义播放声音文件的笔式协同交互系统 - Google Patents

一种用于存储和自定义播放声音文件的笔式协同交互系统 Download PDF

Info

Publication number
CN113805835B
CN113805835B CN202110999661.XA CN202110999661A CN113805835B CN 113805835 B CN113805835 B CN 113805835B CN 202110999661 A CN202110999661 A CN 202110999661A CN 113805835 B CN113805835 B CN 113805835B
Authority
CN
China
Prior art keywords
pen
audio
playing
recording
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110999661.XA
Other languages
English (en)
Other versions
CN113805835A (zh
Inventor
韩宇翃
张梦晨
王罡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202110999661.XA priority Critical patent/CN113805835B/zh
Publication of CN113805835A publication Critical patent/CN113805835A/zh
Application granted granted Critical
Publication of CN113805835B publication Critical patent/CN113805835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C7/00—Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/16—Storage of analogue signals in digital stores using an arrangement comprising analogue/digital [A/D] converters, digital memories and digital/analogue [D/A] converters 

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种用于存储和自定义播放声音文件的笔式协同交互系统，该系统将用户用笔所画线段的电阻值作为控制音频播放的变量，通过计算笔尖在线段上的接触点和用户自定义的开始点与结束点之间的电阻差值比例实现跳读功能。同时通过内置音频编解码模块，可以实现录音，并将声音文件实时存储。该系统借助Arduino开源电子原型平台，在整合现有例程和语言公式基础上开发出新的Arduino库，运用ArduinoMega2560、音频编解码模块(VS1053)及其他配件，实现将触摸和语音输入相结合的多模输入方式，支持可视化声音播放模式和录音功能。创造了一种新的信息存储和播放方式，让声音信息以最简单的形式被保存，以最直观的方式得到展示，而且能够被快速解读。

Description

一种用于存储和自定义播放声音文件的笔式协同交互系统
技术领域
本发明属于针对声音可视化相关的智能硬件领域，涉及交互设计、数字技术和声音可视化的实践研究，借助Arduino开源电子原型平台，在整合现有例程和语言公式基础上开发出新的Arduino库，运用Arduino Mega 2560、音频编解码模块(VS1053)及其他配件，实现将触摸和语音输入相结合的多模输入方式，开发出一款支持可视化声音播放模式和录音功能的交互式记忆笔。通过产品设计实践及软硬件开发，为声音可视化与工业设计领域的结合提供新思路，为未来人们对于声音可视化的深入探索抛砖引玉。
背景技术
当下是一个以视觉文化元素为导向的信息社会，新的视觉文化最显著的特点是将非视觉性的东西图像化，即所有可触可见的事物视像化，强调视觉形式的表现经验。20世纪以来，电影、电视等视听媒体的发展造成了人类文化从以文字为中心到以图像为中心的“图像转向”。互联网及信息技术的迅猛发展让人们不再单纯的被动接受信息，而是逐渐向信息创造者、信息发布者、信息传播者等等身份转化。
如今虚拟现实技术炙手可热，AI、VR等交互技术一直是人们热议的话题，并渐渐被应用于各种领域，智能声音处理技术的发展更为声音素材提供了更宽广的价值拓展空间，并已经成为重要的基础研发方向。“看和听，应该成为未来’可视化’市场最重要的数据来源”。业内认为，从传感器角度看，音频和视频技术的整合一体化，原始数据智能化处理、数据自身的结构化、机构化数据的传输切换成为行业大势。这为音频技术企业，特别是音频处理技术厂商，提供了一个在交互时代深度融合进智慧视听产业的窗口。
发明内容
本发明基于Arduino开源电子原型平台，将声音和图像融合形成声音可视化，结合交互技术，尽可能地体现声音传播与沟通方式的丰富，设计了一种用于存储和自定义播放声音文件的笔式协同交互系统。本发明支持操作者自定义绘制声音文件播放的进度条，线条的形态和长度任意。本发明的不同之处在于，当现实生活中人们在把信息向移动媒体、向云端发送再进行编辑时，该系统在把需要电子设备进行控制和编辑的事情回归到纸张，同时可以做到实时控制并自定义创建和编辑，具有便利性、自然性和可控性的特点。
本发明采用的技术方案为一种用于存储和自定义播放声音文件的笔式协同交互系统，该笔式协同交互系统包括笔式交互产品、控制模块、操作端和声音文件存储端。
笔式交互产品由笔式外壳、电源、开关、显示屏(3)、麦克风(8)、耳机孔、按键和接触点(7)组成。按键包括菜单键(4)、选择键(5)、退出键(6)；
电源与开关连接；
开关、显示屏(3)、耳机孔、按键、接触点(7)均设置在产品外壳上，接触点(7)和笔芯连接；产品外壳的两端通过卡扣连接，显示屏(3)设置在产品外壳上侧，耳机孔设置在外壳下侧，按键设置在外壳左右两侧，与用户持笔手的手指接触，接触点(7)通过内部导线与笔芯连接。
控制模块由控制板(1)、音频编解码模块(2)、显示屏(3)连接端口、菜单键(4、5、6)连接端口组成；控制板选用Arduino Mega主板，为该笔式协同交互系统的核心控制单元，音频编解码模块选用Arduino MP3 Shield with TF Card模块；控制板(1)通过板载串口与音频编解码模块(2)连接；控制板通过显示屏连接端口与显示屏(3)连接，控制板通过菜单键连接端口与菜单键(4、5、6)连接；
控制板(1)通过音频编解码模块(2)与操作端、接触端和声音文件存储端进行数据交互；
操作端由显示屏(3)、菜单键(4、5、6)和接触点(7)组成。
系统主程序采用典型的Arduino程序包括初始化函数(setup())和循环函数(loop())。循环体中检测的输入为菜单键和选择键，主菜单有两个子项为播放(Play)和录制(Record)，使用的程序库包括SdFat：记忆卡驱动、ssd1306：显示屏驱动、Bounce2：按键去抖动，以及vs1053_SdFat：Arduino MP3 Shield驱动(有修改)。原驱动不支持录音，经修改增加录音支持。
本系统将检测到的输入通过铜线发送至控制板(1)，当输入为笔尖和非持笔手之间的电压值时，系统利用检测到的电压值(模数转换的输出)来判断笔尖在设定的两点之间的位置。此电压源自电路的5V输出，通过录音笔、所画的线段和人体，最终回到控制板(1)的ADC输入引脚(A0)组成闭合回路。此回路电流极小，所以对人体无害；当输入的笔尖位置变化时，控制板(1)将外界的模拟信号(电压)转换成数字信号，判断电压值改变后对应的音频位置，输出给音频编解码模块(2)，音频由后者解码后，移动至音频相应位置后输出播放；当输入为声音时，由板载麦克风(8)直接将声音输入到音频编解码模块(2)，模块将数据发送给控制板(1)，后者将音频保存到SD卡内，格式为.ogg。
显示屏(3)用以对当前状态进行显示，以便用户进行功能选择，包括播放界面和录制界面。用户通过按键(4、5、6)对系统进行操作，如“播放”被选中，则即时生成并显示播放列表菜单，选项为记忆卡根目录中所有后缀名为“.ogg”的音频文件。当某一音频被选中，则显示播放界面并开始播放该音频。如“录制”被选中，则显示录制界面并开始录制音频。
本技术的实现过程是启动音频播放模式前，用户在纸张上画出任意形态或走向的线条作为进度条，并在线条上标记相隔一定距离的点作为手指接触点、音频播放起点和终点。在启动音频播放模式时，需要笔尖和用户非持笔手同时介入。
播放音频时，播放界面显示播放状态(PLAY)、记录(音频文件)名称、当前播放位置和记录长度。用户选择播放(PLAY)，非持笔手按住起始点不动，笔尖在所画线条上移动位置后点击，音频便移动至相应音频位置后输出播放。按退出键(6)则退出播放程序。
录制音频时，录制界面显示录制状态(RECORD)、记录(音频文件)名称、当前录制长度和音量柱。用户选择录制(RECORD)，系统开始录音，用户停止录音后，系统将音频保存到SD卡内。
本发明的技术创新点在于控制音频播放的变量为笔画下的线段的电阻值。如铅笔中所含的石墨具有导电性，当用铅笔在电池和LED小灯之间画一条线，线条将两端连接后小灯会亮。首先，用户在播放音频时，需要将非持笔手的食指按在线条的起点，同时将笔尖接触开始点和结束点之间的线段上才能够形成回路，启动音频播放。控制音频播放位置的电阻变量为笔尖和非持笔手之间的距离所产生的电阻值，距离越大电阻越大。其次，实现跳读也是通过计算和开始点与结束点之间的电阻差值比例实现。假设音频长度为L，在线段上定义一个起点(电阻值为S)，定义一个终点(电阻值为E)，假设S<E。当笔点在线段的起点和终点间的某个位置，电阻值为X，S<X<E，此时音频应当从当前播放位置跳到(X-S)/(E-S)*L点位置开始播放。
附图说明
图1为本系统的电路原型。
图2为本系统的主程序流程图。
图3为本系统的播放音频程序流程图。
图4为本系统的录制音频程序流程图。
具体实施方式
下面结合附图1-4给出本发明的具体实施方式。
一种用于存储和自定义播放声音文件的笔式协同交互系统，该系统包括ArduinoMega模块(1)、Arduino MP3 Shield with TF Card模块(2)、显示屏(3)和三个菜单键(4、5、6)。
下面重点介绍关键部分的使用及实现方法：
1、硬件设置与连接
接线说明如图1所示，输入单元有菜单键(4)为数字输入(D3)、选择键(5)为数字输入(D4)、退出键(6)为数字输入(D5)、笔尖输入为模拟输入(A0)以及Arduino MP3 Shield上的麦克风(8)。
记忆笔中的元器件模块分为两大类：
(一)输入，具体到本次设计主要包括：ADC输入，将外界的模拟信号(电压)，转换成数字信号；SD卡，控制板(1)直接读取并输出给音频编解码模块(2)；录音时，声音为模拟输入，由麦克风(8)直接输入到音频编解码模块(2)。
(二)输出，控制板(1)将输入模块传回的信息进行处理，控制输出元器件。具体到本次设计主要包括：显示屏模块(3)，由控制板(1)直接控制；音频，由音频编解码模块(2)解码后输出。
2、笔尖输入原理
本发明利用检测到的电压值(模数转换的输出)来判断笔尖在设定的起始点和结束点中间的位置。此电压源自电路的5V输出，通过录音笔、所画的线段和人体，最终回到控制板(1)的ADC输入引脚(A0)组成闭合回路。此回路电流极小，所以对人体无害。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (4)

1.一种用于存储和自定义播放声音文件的笔式协同交互系统，其特征在于：该笔式协同交互系统包括笔式交互产品、控制模块、操作端和声音文件存储端；
笔式交互产品由笔式外壳、电源、开关、显示屏（3）、麦克风（8）、耳机孔、按键（4、5、6）和接触点组成；按键包括菜单键（4）、选择键（5）、退出键（6）；
电源与开关连接；
开关、显示屏（3）、耳机孔、按键（4、5、6）、接触点（7）均设置在产品外壳上，接触点（7）和笔芯连接；
控制模块由控制板（1）、音频编解码模块（2）、显示屏（3）连接端口、按键模块（4、5、6）连接端口组成；控制板选用Arduino Mega主板，音频编解码模块选用Arduino MP3 Shieldwith TF Card模块；控制板（1）通过板载串口与音频编解码模块（2）连接；控制板通过显示屏连接端口与显示屏（3）连接，控制板通过按键模块连接端口与按键模块（4、5、6）连接；
控制板（1）通过音频编解码模块（2）与操作端、接触端和声音文件存储端进行数据交互；
操作端由显示屏（3）、按键模块（4、5、6）和接触点（7）组成；
系统主程序采用典型的 Arduino 程序包括初始化函数和循环函数；循环体中检测的输入为菜单键和选择键，主菜单有两个子项为播放和录制使用的程序库包括SdFat：记忆卡驱动、ssd1306：显示屏驱动、Bounce2：按键去抖动，以及vs1053_SdFat：Arduino MP3Shield 驱动；原驱动不支持录音，经修改增加录音支持；
启动音频播放模式前，用户在纸张上画出任意形态或走向的线条作为进度条，并在线条上标记相隔一定距离的点作为手指接触点、音频播放起点和终点；
笔式交互产品外壳上的接触点与用户持笔手接触，另一端与铅笔芯连接；在启动音频播放模式时，需要笔尖和用户非持笔手同时介入；笔尖和非持笔手之间的电压值通过铜线发送至控制板（1）；本系统利用检测到的电压值来判断笔尖在设定的起始点和结束点中间的位置；此电压源自电路的5V输出，通过录音笔、所画的线段和人体，最终回到控制板（1）的ADC输入引脚A0组成闭合回路。
2.根据权利要求1所述的一种用于存储和自定义播放声音文件的笔式协同交互系统，其特征在于：播放音频程序中，播放界面显示播放状态、记录音频文件名称、当前播放位置和记录长度；程序检测的输入有笔尖和退出键（6）；选择播放后，笔尖移动位置发生的电阻变化会导致电压改变，控制板（1）将外界的模拟信号转换成数字信号进行处理后输出，控制板（1）与音频编解码模块（2）连接，音频由音频编解码模块（2）解码后，移动至相应音频位置后输出播放；按退出键（6）则退出播放程序。
3.根据权利要求1所述的一种用于存储和自定义播放声音文件的笔式协同交互系统，其特征在于：录制音频程序中，录制界面显示录制状态、记录名称、当前录制长度和音量柱；录制程序检测的输入为退出键（6）；用户点击录制时，声音是模拟输入，由板载麦克风（8）直接将声音输入到音频编解码模块（2），模块将数据发送给控制板（1），后者将音频保存到SD卡内，格式为.ogg。
4.根据权利要求1所述的一种用于存储和自定义播放声音文件的笔式协同交互系统，其特征在于：显示屏（3）用以对当前状态进行显示，以便用户进行功能选择；用户通过按键（4、5、6）对系统进行操作，如“播放”被选中，则即时生成并显示播放列表菜单；选项为记忆卡根目录中所有后缀名为“.ogg”的音频文件；当某一音频被选中，则显示播放界面并开始播放该音频；如“录制”被选中，则显示录制界面并开始录制音频。
CN202110999661.XA 2021-08-29 2021-08-29 一种用于存储和自定义播放声音文件的笔式协同交互系统 Active CN113805835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110999661.XA CN113805835B (zh) 2021-08-29 2021-08-29 一种用于存储和自定义播放声音文件的笔式协同交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110999661.XA CN113805835B (zh) 2021-08-29 2021-08-29 一种用于存储和自定义播放声音文件的笔式协同交互系统

Publications (2)

Publication Number Publication Date
CN113805835A CN113805835A (zh) 2021-12-17
CN113805835B true CN113805835B (zh) 2024-02-06

Family

ID=78894311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110999661.XA Active CN113805835B (zh) 2021-08-29 2021-08-29 一种用于存储和自定义播放声音文件的笔式协同交互系统

Country Status (1)

Country Link
CN (1) CN113805835B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202934994U (zh) * 2012-09-19 2013-05-15 汪日风 一种多功能录音笔
CN203004718U (zh) * 2012-12-21 2013-06-19 张般若 具有录音功能的铅笔
CN105389099A (zh) * 2014-08-29 2016-03-09 三星电子株式会社 用于语音记录和回放的方法和设备
CN106412705A (zh) * 2016-09-13 2017-02-15 努比亚技术有限公司 一种调节文件进度的方法及终端
CN112925426A (zh) * 2021-02-08 2021-06-08 维沃移动通信有限公司 触控笔的处理方法、装置和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070292825A1 (en) * 2006-05-31 2007-12-20 Sun Yu Simulative form audio player

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202934994U (zh) * 2012-09-19 2013-05-15 汪日风 一种多功能录音笔
CN203004718U (zh) * 2012-12-21 2013-06-19 张般若 具有录音功能的铅笔
CN105389099A (zh) * 2014-08-29 2016-03-09 三星电子株式会社 用于语音记录和回放的方法和设备
CN106412705A (zh) * 2016-09-13 2017-02-15 努比亚技术有限公司 一种调节文件进度的方法及终端
CN112925426A (zh) * 2021-02-08 2021-06-08 维沃移动通信有限公司 触控笔的处理方法、装置和电子设备

Also Published As

Publication number Publication date
CN113805835A (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
CN104683850B (zh) 视频设备及其控制方法和包括其的视频系统
US6529920B1 (en) Multimedia linking device and method
JP4682196B2 (ja) 自動車オーディオシステムを用いて携帯情報メディア装置を制御するための方法及び装置
US8091027B2 (en) Content playback apparatus, content playback method and storage medium
US7399917B2 (en) Music content playback apparatus, music content playback method and storage medium
JP6217645B2 (ja) 情報処理装置、再生状態制御方法及びプログラム
US20090062944A1 (en) Modifying media files
US20080155467A1 (en) Content selectable reproduction system, method thereof, and portable reproduction unit control apparatus
JP2007042173A (ja) 電子機器、データ処理方法及びプログラム
US20080282871A1 (en) Portable karaoke device
JP2010134908A (ja) 端末装置、画像表示方法、およびプログラム
KR20100055458A (ko) 콘텐츠 재생 장치 및 콘텐츠 재생 방법
JP7204804B2 (ja) スマートバックミラーのインタラクション方法、装置、電子機器及び記憶媒体
CN105137819B (zh) 一种音乐播放的方法及智能手表
CN113805835B (zh) 一种用于存储和自定义播放声音文件的笔式协同交互系统
US20070236471A1 (en) Multi-media device
CN101431646B (zh) 用于有线电视vod视频点播系统快速高效控制播放的方法
KR100366243B1 (ko) 컴퓨터 음악파일 데이터의 기록 및 재생방법과 그 장치
CN2891136Y (zh) 语音遥控器
CN203658900U (zh) 多功能智能平板电脑
KR101701838B1 (ko) 멀티미디어 재생 장치 및 그 재생 방법
CN201466254U (zh) 一种信号线
KR102654973B1 (ko) 로봇시스템 및 그에 대한 rc카모드 운행제어방법
CN2857135Y (zh) 电子点读书
JP2006024126A (ja) 電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant