CN104239392A - 与显示内容关联地记录音频 - Google Patents

与显示内容关联地记录音频 Download PDF

Info

Publication number
CN104239392A
CN104239392A CN201410270496.4A CN201410270496A CN104239392A CN 104239392 A CN104239392 A CN 104239392A CN 201410270496 A CN201410270496 A CN 201410270496A CN 104239392 A CN104239392 A CN 104239392A
Authority
CN
China
Prior art keywords
user
input
time
displaying contents
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410270496.4A
Other languages
English (en)
Other versions
CN104239392B (zh
Inventor
植村教裕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN104239392A publication Critical patent/CN104239392A/zh
Application granted granted Critical
Publication of CN104239392B publication Critical patent/CN104239392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/18—Selecting circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/686—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title or artist information, time, location or usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G3/00—Recording music in notation form, e.g. recording the mechanical operation of a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G10H1/0025—Automatic or semi-automatic music composition, e.g. producing random music, applying rules from music theory or modifying a musical piece
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/015—Musical staff, tablature or score displays, e.g. for score reading during a performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/211—User input interfaces for electrophonic musical instruments for microphones, i.e. control of musical parameters either directly from microphone signals or by physically associated peripherals, e.g. karaoke control switches or rhythm sensing accelerometer within the microphone casing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/221—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another
    • G10H2220/236—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another representing an active musical staff or tablature, i.e. with key-like position sensing at the expected note positions on the staff
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/221—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another
    • G10H2220/241—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another on touchscreens, i.e. keys, frets, strings, tablature or staff displayed on a touchscreen display for note input purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/005—Device type or category
    • G10H2230/015—PDA [personal digital assistant] or palmtop computing devices used for musical purposes, e.g. portable music players, tablet computers, e-readers or smart phones in which mobile telephony functions need not be used

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

在合奏、演奏课堂等中，在显示装置上显示乐谱(显示内容)，并且记录输入音频。输入音频包括人类演奏者或指导者说出的音符、评论等。在输入音频的记录过程中，接收到指定显示在显示装置上的乐谱上的期望的时间位置的用户输入。基于接收到用户输入的时间点的输入音频的记录时间和由用户输入指定的乐谱上的时间位置彼此关联地存储在存储装置中。与由用户输入指定的乐谱上的时间位置关联地显示一图标。一旦选择图标，就再现基于与图标关联地记录的记录时间的语音，从而用户可听取音符、评论等。

Description

与显示内容关联地记录音频
技术领域
本发明涉及在视觉上显示诸如乐谱之类的表示音乐演奏的时间状态或时间迁移的的显示内容，以及记录包括与该显示内容相关的评论等在内的音频。
背景技术
此前，已知了各种具有用于显示诸如乐谱之类的显示内容的功能的电子设备。具备这种显示功能的电子设备的其中一个示例是这样一种乐谱编辑设备，其被构造为在屏幕上显示作为音乐演奏内容的代表性示例的乐谱以及对显示的乐谱添加可视的解释性备忘录或注释(例如见日本专利申请公开No.2007-108292)。在No.2007-108292中公开的乐谱编辑设备除了其它布置之外通过以下布置方式允许有效地赋予解释性图形和插入解释性文本：
A、响应于用户仅指定解释性图形的类型和指明将对其作出解释性备忘录或注释的特定符号，添加大小与该特定符号的大小相匹配的标记；
B、响应于用户以使用定点装置手划出的线来圈出要对其作出解释性备忘录或注释的特定符号，显示包围所述特定符号的标准解释性图形；以及
C、如果将在解释性图形内以文本形式输入解释性说明，则响应于用户仅在期望的文本输入位置上双击鼠标而开始文本输入，而不用从图形输入模式切换为文本输入模式。
此外，近年来，平板式便携式终端(下文中称作“平板终端”)已广泛使用。因此，现今，在许多情况下，平板终端进入了乐器的演奏场所，并且乐谱被显示在替代纸乐谱使用的平板终端上。
在合奏表演、演奏课程等中除特定人员以外还存在诸如人类演奏者或指导者之类的其他人员的情况下，该特定人员有时可在乐谱上写下或记下所述其他人员的指示。在这种情况下，如果使用显示在平板终端上的乐谱，则特定人员在对所显示的乐谱上的指定位置作出标记之后或在不用作出标记的情况下输入信息，该信息以字母/字符的形式写下(即，通过文本输入)。然而，即使通过结合常规上已知的乐谱编辑设备所公开的技术，仅可一定程度地提高标记赋予和文本输入的效率；此外，将花费大量的时间和劳动力来选择标记类型，并且人们很难在握住乐器的同时执行文本输入。
还已知这样一种技术，根据该技术，当将在会议室等中执行语音或音频记录时，与记录数据中的期望时间位置相关联地记录索引标记或音频书签，使得再现时，可选择性地再现被赋予该索引标记或音频书签的时间位置处的记录数据(例如，从日本专利申请公开No.HEI-09-320148或美国专利申请公开No.2007/0119292中已知)。此外，美国专利申请公开No.2009/0251440公开了与音频书签同步地记录手写输入或文本输入的备忘录或注释作为附加内容，使得在再现标有音频书签的时间位置处的记录数据时，也可再现并显示所述附加内容(备忘录或注释)。然而，该技术并非设置为与诸如乐谱之类的表示音乐演奏的时间迁移的显示内容中的特定时间位置相关联地赋予音频书签。
发明内容
鉴于以上现有技术的问题，本发明的一个目的是提供一种改进的技术，其使得能够容易地与表示音乐演奏的时间迁移的显示内容的显示相关联地记录指示、评论等。
为了实现上述目的，本发明提供了一种改进的计算机实现的方法，该方法包括：在显示装置上显示表示音乐演奏的时间迁移的显示内容；记录输入音频；在输入音频的记录过程中，接收第一用户输入，该第一用户输入在所述显示装置上显示的所述显示内容上指定期望的时间位置；以及将基于接收第一用户输入时的时间点的输入音频的记录时间与通过第一用户输入指定的显示内容上的时间位置彼此关联地存储在存储装置中。
根据本发明，在输入音频的记录过程中，接收第一用户输入，该第一用户输入在显示装置上所显示的乐谱上指定的期望时间位置。因为基于接收第一用户输入的时间点的输入音频的记录时间与由第一用户输入指定的显示内容上的时间位置彼此关联地存储在存储装置中，即，因为用户想要记录的信息被记录为声音或音频(例如，人类语音)而非作为字母/字符或符号输入到所显示的显示内容上，所以可通过简单操作与显示内容相关联地记录指示、评论等。此外，因为显示内容上的期望时间位置可独立于接收第一用户输入时的时间点(即音频的记录时间)而通过第一用户输入指定，所以可根据需要确定记录的音频(指示、评论等)与由显示内容表示的音乐演奏的时间位置之间的关联或关系，这是非常方便的。
在实施例中，本发明的方法还可包括向显示在显示装置上的显示内容添加与通过第一用户输入指定的时间位置相关的标记。根据这种布置方式，对与指定的时间位置相关联的显示内容上的位置赋予标记，因此，允许用户第一眼就能知道将要再次听取的记录音频的一部分对应于显示内容的哪一部分。
在实施例中，该方法还包括：接收用于将添加至显示在显示装置上的显示内容的标记的位置移动至不同时间位置的第二用户输入；以及响应于标记的位置的移动，改变存储在存储装置中的记录时间与时间位置之间的关系或关联，使得基于接收第一用户输入时的时间点的输入音频的记录时间与通过第二用户输入而移动的时间位置相关联。这种布置方式是非常用户友好并且方便的，因为通过移动被赋予显示内容的标记，其可改变记录的音频(指示、评论等)与由显示内容表示的音乐演奏的时间位置之间的关联或关系。
在实施例中，第二用户输入可包括在显示装置的屏幕上拖动标记。此外，在实施例中，显示内容包括多页，所述多页中的一部分同时可显示(displayable)在显示装置的屏幕上，并且第二用户输入可包括用于将显示在显示装置的屏幕上的显示内容的一页切换为另一页的输入，以及用于将所添加的标记的位置移动至显示内容的另一页或切换目标页上的期望时间位置的输入。
在实施例中，所述方法还可包括：接收用于选择显示内容上的时间位置的第三用户输入；以及基于与通过第三用户输入选择的显示内容上的时间位置相关联的记录时间来再现所记录的音频。通过选择显示内容中指定的时间位置(即，针对该时间位置记录了关联)，这种布置方式可基于与选择的时间位置相关联的记录时间来再现音频，因此，可响应于显示内容中的时间位置选择，迅速再现用户想要听取的音频(指示、评论等)。
在实施例中，再现所记录的音频的步骤可包括在与通过第三用户输入选择的显示内容上的时间位置相关联的记录时间之前预定时间的记录位置处开始再现所记录的音频。当在用户想要听取的音频(指示、评论等)的起始时间点之后作出第一用户输入时(实时音频输入通常出现的情况)，这种布置方式可执行从音频(指示、评论等)的开始的再现。
本发明不仅可构造和实施为上面讨论的方法发明，而且可构造和实施为设备发明。另外，本发明可布置和实施为用于通过诸如计算机或DSP之类的处理器执行的软件程序以及存储这种软件程序的非临时性计算机可读存储介质。在这种情况下，程序可以存储介质的形式提供给用户，并随后安装至用户的计算机中，或通过通信网络从服务器设备递送至客户的计算机，并随后安装在客户的计算机中。此外，本发明中使用的处理器可包括具有内置在硬件中的专用逻辑的专用处理器，更不用说能够运行期望的软件程序的计算机或其它通用处理器。
以下将描述本发明的实施例，但是应该理解，本发明不限于所描述的实施例，并且在不脱离基本原理的情况下，本发明的各种变型都是可能的。因此，仅通过所附权利要求来确定本发明的范围。
附图说明
下文中将参照附图仅以举例的方式详细描述本发明的特定优选实施例，其中：
图1是示出应用了根据本发明的实施例的显示设备的平板终端的一般设置的框图；
图2A是示出用户选择的乐曲的示例构造的示图；
图2B是示出当前实施例中的示例记录方式的示图；
图2C是示出在屏幕上显示的乐谱的示例的示图；
图3是示出记录中的触摸处理的示例操作序列的流程图；
图4是示出记录停止中的触摸处理的示例操作序列的流程图；
图5A是示出当多次执行基于图2的乐谱的记录时记录的数据的示例和与通过用户的输入(屏幕上的触摸)指定的时间位置相关的记录时间的示例的示图；
图5B是示出图5A所示的示例中的触摸位置(由用户的输入指定的显示内容上的时间位置)和与该触摸位置有关或相关联的记录时间之间的关系的示图；
图6是示出图4所示的记录停止中的触摸处理的修改形式的流程图；
图7是示出图4和图6所示的其它处理中包括的乐谱翻页操作响应处理的示例操作序列的流程图；以及
图8是示出触摸面板的屏幕的示例的示图，在该屏幕中在图1的触摸面板上显示的乐谱上的触摸位置处以字母/字符形式显示音频评论。
具体实施方式
图1是示出应用了根据本发明的实施例的显示设备的平板终端1的一般设置的框图。
如图1所示，平板终端1包括用于对整个平板终端1执行整体控制的CPU(中央处理单元)10。触摸面板11、操作器12、各种传感器13、存储器14、计时器15、音频输入接口(I/F)16、通信接口(I/F)17和音响系统18连接至CPU 10。
普通平板终端中采用的常规类型的触摸面板11同时具有作为显示装置的功能和作为输入装置的功能。用户可通过例如用(他/她)自己的手指触摸触摸面板11来指定触摸面板11的显示屏幕上的期望位置。在通过用户触摸触摸面板11指定了显示屏幕上的位置时，触摸位置的位置信息(坐标)从触摸面板11发送至CPU 10，从而CPU 10执行对应于该位置信息的处理；很显然，根据指定的位置，CPU 10可不执行任何处理。此外，在显示屏幕上不仅显示了用于指示对应于各种功能的各种行为的多个软件按钮还显示了显示内容。在当前实施例中，“显示内容”表示音乐演奏的时间迁移，更具体地说，代表通过五线谱记谱法表达的乐谱(见稍后将描述的图2C)。“音乐演奏”包括构成乐谱的诸如音符和休止符之类的各种元素，并且“时间迁移”意指限定乐曲的时间进程的拍子和小节与诸如音符和休止符之类的各种元素之间的关系。当然，“音乐演奏”可包括除构成乐谱的音符、休止符等以外的任何其它元素，例如，在演奏时供用户(人类演奏者)参考的歌词或词、和弦名等。此外，可利用除五线谱记谱法以外的方法显示“音乐演奏的时间迁移”，例如，符号谱、和弦乐谱、歌词显示、乐曲的配置表(configuration table)等。根据显示在触摸面板11上的显示内容指示的音乐演奏的时间迁移的显示位置(即，触摸面板上的坐标位置)对应于指示该音乐演奏的时间迁移的显示内容中的时间位置。
操作器12是与显示在触摸面板11上的软件按钮不同的输入元件，并且操作器12的典型示例包括电源开关和复位开关(二者均未示出)。
各种传感器13包括，但不限于，地磁传感器、GPS(全球定位系统)、还能够检测重力加速度的加速度传感器、超声波传感器、相机和用于检测紫外光或可见光的光传感器。
存储器14包括：ROM(只读存储器)，其中存储将由CPU 10执行的控制程序和各种应用程序，以及存储包括将通过程序进行屏幕显示时使用的图像数据和将用于声音产生的音频数据在内的各种数据；和RAM(随机存取存储器)，在其中临时存储包括前述图像数据和音频数据在内的各种数据、各种输入信息和算数运算的结果。在当前实施例中，采用可重写非易失性存储器(更具体地说，闪速存储器)作为ROM，以根据需要允许控制程序、各种应用程序和各种数据中的任何一种的添加、删除或更新。
计时器15为各种时间计数，例如，用于计时器中断处理的信号中断计时。
用于将麦克风21连接至平板终端1的音频输入I/F16将通过麦克风21输入的周围模拟音频信号转换为数字音频信号(音频数据)，并将该数字音频信号(音频数据)临时存储在缓冲器(未示出)中。
通信I/F17将平板终端1连接至诸如互联网之类的通信网络，以执行与连接至该通信网络的其它设备的各种数据通信(发送和接收)。如果服务器计算机(未示出)作为所述其它设备连接至平板终端1，则可通过服务器计算机执行控制程序等的任一个的添加、删除或更新。在这种情况下，通信接口17用于从服务器计算机下载各种程序和各种数据。平板终端1(这里是客户机)将请求下载程序或数据的命令通过通信I/F17和通信网络发送至服务器计算机。在接收到该命令时，服务器计算机将请求的程序或数据通过通信网络递送至平板终端1，从而平板终端1通过通信I/F17接收程序或数据，并将接收到的程序或数据存储在存储器14的闪速存储器中。这样，即完成了下载。
例如，音响系统18包括DAC(数模转换器)、放大器、扬声器等。音响系统18将CPU 10执行所述控制程序和各种应用程序中的任一个时产生的各个音调信号转换为音频。在当前实施例中，通过CPU10执行音调发生器程序(即，通过所谓的“软件音调发生器”)，来产生这种音调信号。很显然，可通过硬件音调发生器而非这种软件音调发生器来产生音调信号；另选地，在当前实施例中可采用部分由硬件构成并且其余部分由软件构成的音调发生器。
尽管上面已经与采用平板终端1作为显示设备的情况相关地描述了当前实施例，但是本发明不限于此，并且可采用便携式笔记本PC(个人计算机)、PDA(个人数字助理)等作为显示设备。虽然期望显示设备是便携式的(因为便携式显示设备可被带入音乐演奏场所以在该场所显示乐谱)，但是如果通过将安装了显示设备的场所设为音乐演奏的场所而使得便携性变得不必要，则显示设备可为安装式PC。此外，本发明的显示设备不仅可按通用设备的形式进行构造，还可按仅包括能够实施本发明的最少必要元件的专用设备的形式来构造。
此外，尽管以上以采用同时作为显示装置以及输入装置的触摸面板11来描述当前实施例，但是本发明不限于此，并且显示装置和输入装置可彼此分离地构造。在这种情况下，可由用户通过设为输入装置的定点装置(鼠标、滚轮、触摸板等)移动光标来指定显示装置的显示屏幕上的期望位置。
接着，将参照图2概述并随后参照图3和图4详细描述按照前述方式构造的平板终端1所执行的控制处理。
图2A示出了由用户选择以显示乐谱的乐曲31的示例构造，如图所示，选择的乐曲31包括四个乐句A至D。预先准备好显示内容以显示选择的乐曲31的乐谱。也就是说，在当前实施例中，显示内容包括乐谱显示数据(乐谱数据)。乐谱数据的典型示例有乐谱逻辑数据和乐谱图像数据。乐谱逻辑数据包括用于显示诸如音符、休止符和其它音乐符号之类的各种乐谱构成元素所需的数据；更具体地说，其包括指示所述各种乐谱构成元素的类型的类型信息和指示各元素的显示位置的位置信息。另一方面，乐谱图像数据是可通过按原样显示的图像数据显示乐谱的这样一种类型。乐谱图像数据的数据格式的示例包括BMP(位图)、JPEG(联合图像专家组)、GIF(图形交换格式)、TIFF(标记图像文件格式)、PDF(便携式文档格式)等。虽然可采用乐谱逻辑数据、乐谱图像数据等中的期望的任何一个作为乐谱数据，但是在当前实施例中，为了方便描述，假设采用乐谱逻辑数据作为乐谱数据。可基于乐谱逻辑数据执行的绘制处理来绘制可视乐谱。
一旦用户选择乐曲31并指示显示选择的乐曲31的乐谱，CPU 10就从闪速存储器中读出选择的乐曲31的乐谱数据，将读出的乐谱数据存储到RAM中固有的选择乐曲存储区域(未示出)中，以及基于这样存储的乐谱数据在触摸面板11上显示乐谱。图2C示出了其上显示了乐谱的屏幕11a。注意，然而，如果第一次显示选择的乐曲31的乐谱，则在显示的乐谱上不会显示语音(音频)备忘录图标V1至V3，这是因为还不存在语音(音频)备忘录。
选择的乐曲31的乐谱的这种显示通过处理器(CPU 10)执行与当前实施例有关的应用程序中包括的模块来实现，该模块被配置为在显示装置上显示表示音乐演奏的时间迁移的显示内容。
一旦用户触摸显示在触摸面板11上的图2C的乐谱屏幕11a(其中语音备忘录图标V1至V3还未显示)上的记录开始按钮(未示出)以记录音乐演奏，CPU 10就通过音频输入I/F16的缓冲器将通过麦克风21和音频输入I/F16输入的周围音频数据存储到RAM中的记录数据存储区域(存储部分)中，以记录所述周围音频数据。注意，记录的音频数据(记录数据)可为诸如WAV(RIFF波形音频格式)或AIFF(音频交换文件格式)之类的任何期望的格式，并且记录的音频数据可在转换为诸如MP3(MPEG音频层3)之类的压缩格式之后被存储。此外，用于记录的音频数据的存储区域可不是RAM，可以是诸如外部服务器计算机或记录介质之类的存储区域，只要记录的音频数据可被存储到该存储区域中和从该存储区域中读出即可。
响应于记录开始按钮的触摸，通过音频输入I/F16输入的音频数据的这种记录步骤通过处理器(CPU 10)执行与当前实施例有关的应用程序中包括的模块来实现，该模块被配置为记录输入音频。
图2B是示出在当前实施例中执行的示例音频记录的示图。这里，假设图2B示出了当用户上私人弦乐器课时记录的所有音乐演奏和对话语音的记录。该记录始于时间点T0，然后音乐演奏开始。图2B中的一连串矩形框“A1”至“D3”指示在没有停止操作的情况下连续记录的一连串记录数据。记录的数据块中的开头字母“A”至“D”对应于图2A所示的乐句A至D，并且后缀“1”至“3”各自指示在开始记录之后执行的演奏的次数。注意，“演奏的次数”并非指示每个乐句演奏的次数，而是指示在暂时停顿之后恢复的演奏的次数。因此，在图2B所示的示例中，乐句C和D没有“C1”和“D1”，这是因为演奏由于教师或指导者的评论V1和V2插入乐句B的第一次演奏(B1)中而临时停止，然后演奏返回至乐句A和B(即，A2和B2)并进行至乐句C和D(即，C2和D2)。此外，“V1”至“V3”指示指导者发出的音频或语音数据。指导者发出的这种语音数据包括指导者给予的评论、指示、建议等。当然，用户自己发出的评论等可包括在该语音数据中。尽管在示出的示例中，为了方便描述，记录的数据显示为根据记录的内容划分，诸如“A1”、“B1”和“V1”，但是图2B中的块“A1”至“D3”实际上指示上述一连串的记录数据。在当前实施例中，记录本身从课程的开始(时间点T0)一直继续到课程的结束(时间点T4)。通过执行上述所谓的连续记录，当前实施例可使得用户不需要每当接收到来自指导者的指示等时执行记录操作。
以下参照图2B中以图解的形式示出的记录进程来概述平板终端1(CPU 10)执行的控制处理。在时间点T0处开始记录之后，用户在第一次演奏中演奏乐句A。然后，一旦用户进行至乐句B，用户的演奏被教师或指导者打断，并且指导者给出关于乐句B的第二小节的指示；语音数据V1表示给出这种指示的指导者的语音。用户通过触摸乐谱上的某一位置来执行标记操作(第一用户输入)，使得用户在课程结束之后可立即听取语音数据V1。响应于用户的标记操作(第一用户输入)，不仅在用户触摸位置显示语音备忘录图标V1，而且还检测在作出触摸操作时的时间点处的计时T1作为与该触摸(即，标记操作)有关的语音(音频)数据的记录时间(该记录时间将还被称作“表示触摸时间的记录时间”)，并随后将计时T1与语音备忘录图标V1相关联地存储在存储装置(即，存储器14中的RAM)中。此时，还检测在屏幕上显示语音备忘录图标V1的坐标位置，并将该坐标位置与语音备忘录图标V1和语音数据的记录时间相关联地存储在存储装置中。因为显示的乐谱(即显示内容)表示音乐演奏的时间迁移，所以语音备忘录图标V1在乐谱(即显示内容)上的坐标位置与显示的乐谱(即显示内容)上的时间位置有关或相关联。语音备忘录图标V1是指示记录的语音当前与标记相关联的“标记”的示例(语音备忘录图标V2和V3也是一样)。这种标记均可按照除图标以外的任何其它期望的形式来显示，例如通过改变位于指定位置的音符的显示颜色、改变五线谱在指定位置处的部分的厚度等来改变显示形式，只要用户可容易地识别该标记即可。此外，“用户触摸位置”可为乐谱11a上的任何期望的位置；然而，通常情况下是如图2C所示的五线谱上指导者给出指示的位置(例如，乐句B的第二小节)，或者五线谱上的该位置附近的空白空间。
例如，(a)如果用户触摸位置(标记位置)在五线谱上，则表示由触摸的坐标位置确定的五线谱上的时间位置的数据可作为表示通过触摸操作或标记操作(即，第一用户输入)指定的乐谱(显示内容)上的时间位置的数据进行存储。(b)如果用户触摸位置(标记位置)不在五线谱上而是在五线谱附近的空白空间，则可识别五线谱上最靠近触摸的坐标位置的特定位置，以基于识别的特定位置存储指示由触摸操作或标记操作(第一用户输入)指定的乐谱(显示内容)上的时间位置的数据。此外，(c)如果用户触摸位置(标记位置)不在五线谱上而在五线谱附近的空白空间或在屏幕上的合适位置，则可识别预定参考位置(例如，乐谱的开头位置、诸如最靠近触摸的坐标位置的乐段或小节之类的给定部分的开头位置等)，以基于识别的参考位置来存储指示通过触摸操作或标记操作(第一用户输入)指定的乐谱(显示内容)上的时间位置的数据。根据一个实施例，在屏幕上用户执行触摸操作(标记操作)的坐标位置不需要那么精确，这是因为在触摸操作或标记操作之后，可改变或调整乐谱(显示内容)中的标记位置(时间位置)和与该标记位置(时间位置)相关联的语音的记录时间之间的关系。此外，(d)即使用户触摸位置(标记位置)在五线谱上，也可识别上述预定参考位置(例如，乐谱的开头位置、诸如最靠近触摸的坐标位置的乐段或小节之类的给定部分的开头位置等)而非五线谱上与触摸的坐标位置精确对应的时间位置，从而基于识别的位置来存储指示由触摸操作或标记操作(第一用户输入)指定的乐谱(显示内容)上的时间位置的数据。另外，要注意，响应于触摸操作或标记操作而存储的乐谱(显示内容)上的时间位置与语音备忘录图标(与其对应的标记)的显示位置不需要彼此精确匹配。
接着，假设在对应于语音数据V1的指示之后已从指导者接收到关于开始选择的乐曲31的指示。这种指示语音在图2B中示为语音数据V2。如果用户触摸乐谱的开头位置(或者靠近开头位置的位置)，则不仅在用户触摸位置处显示语音备忘录图标V2，而且检测作出触摸时的时间点T2(触摸时间T2)，并将时间点T2与语音备忘录图标V2相关联地存储，从而用户可以在课程结束之后立即听取语音数据V2。
在插入指导者的指示(V2)之后恢复的演奏或第二演奏中，用户演奏第一乐句A直至最后的乐句D(A2至D2)。这里，还假设已从指导者接收到关于怎样结束选择的乐曲31的指示。这种指示语音在图2B中示为语音数据V3。如果用户触摸乐谱的结束位置(或靠近结束位置的位置)，则不仅在用户触摸位置处显示语音备忘录图标V3，而且检测作出触摸时的时间点T3(触摸时间T3)，并将时间点T3与语音备忘录图标V3相关联地存储，从而用户可以在课程结束之后立即听取语音数据V3。
然后，在恢复的演奏或第三演奏中，用户再次演奏最后的乐句D(D3)。然后，在时间点T4停止记录。
如果在插入指导者的指示(V3)之后结束课程后，用户想要再次听取记录，尤其是着重于课程中被指导者指示过的音乐演奏部分中的任一个部分，用户指示平板终端1在触摸面板11上显示课程中使用的乐谱。响应于这种用户指示，如图2C所示，在触摸面板11上显示其上附加显示了语音备忘录图标V1至V3的屏幕11a。然后，一旦用户通过在屏幕11a上触摸语音备忘录图标V1至V3中的语音备忘录图标V1来指示语音数据V1的再现，CPU 10就开始再现时间点t1处的记录音频(语音)数据，时间点t1在与语音备忘录图标V1相关联地存储的触摸时间T1之前预定时间Δt处。通常，在当前实施例中，响应于(再现)停止按钮(未示出)的触摸，停止再现记录的音频(语音)数据。另外，一旦再现进行至记录的语音数据的末尾就自动停止再现。以上描述还适用于其中触摸语音备忘录图标V2或V3以指示再现音频(语音)数据V2或V3的情况。
在当前实施例中，用户想要记录的内容(指示、评论等)被记录为语音而非如上所述地在显示的乐谱上作为字母/字符和符号输入，因此，可通过简单的操作记录该内容(指示、评论等)。此外，在当前实施例中，乐谱上的记录位置(记录时间)和时间位置(触摸位置)彼此关联，因此，如果在记录过程中，用户在乐谱上触摸用户想要在记录之后听取的期望部分，则记录的内容可迅速从所述期望部分开始再现。
接着，将更加详细地描述在当前实施例中执行的控制处理。
在以下关于控制处理的描述中，假设乐谱如图2C所示地显示；然而，注意，语音备忘录图标V1至V3还未显示在乐谱上。也就是说，响应于用户在平板终端1上选择用于演奏的乐曲并指示平板终端1显示选择的乐曲的乐谱，在触摸面板11上显示了选择的乐曲的乐谱。注意，因为通过使用乐谱逻辑数据(或乐谱图像数据)在触摸面板11上显示乐谱是一种常规做法，因此这里省略对用于显示选择的乐曲的乐谱的详细方法的描述。
当乐谱正显示在平板终端1的触摸面板11上时，平板终端1通常按照以下两种操作状态中的任一种来操作：记录状态，其中平板终端1记录周围音频；以及记录停止状态，其中平板终端1不记录周围音频。因为在当前记录状态与记录停止状态中的控制处理不同，所以以下首先描述在记录状态中的控制处理，然后描述在记录停止状态中的控制处理。
一旦用户触摸显示在触摸面板11上的乐谱或靠近乐谱的位置，CPU 10就进入记录中触摸处理。图3是示出记录中触摸处理的示例操作序列的流程图。
在图3中，在步骤S1处，CPU 10首先检测触摸面板11上的触摸位置的坐标。因为可利用常规上已知的技术来检测触摸面板11上的触摸位置的坐标，所以这里将不描述用于检测触摸位置的坐标的具体方法。
然后，在步骤S2，CPU 10在触摸面板11上显示与检测到的触摸位置关联的语音备忘录图标。在该步骤，还按照以上项(a)至(d)中列出的方式执行用于根据需要识别乐谱(显示内容)上的时间位置的处理，并且语音备忘录图标与识别的时间位置相关联地显示在乐谱(显示内容)上。这样，语音备忘录图标V1至V3显示在乐谱上；然而，注意每次触摸显示一个语音备忘录图标。语音备忘录图标可显示在乐谱(显示内容)上的识别的时间位置附近，而非与乐谱(显示内容)上的指定的时间位置精确关联。例如：
(1)可从根据触摸位置而识别出的乐谱上的时间位置检测出音乐位置(例如，按照何种小节和按照何种拍子)，以使得语音备忘录图标显示在检测到的音乐位置处；或者
(2)从根据触摸位置而识别出的乐谱上的时间位置，检测出该时间位置附近的音符或休止符，并且在检测到的音符或休止符的位置处显示语音备忘录图标。
此外，作为稍后描述的编辑的结果，如果已确定多个语音备忘录图标将被分配至相同或附近的时间位置，则这些语音备忘录图标可以合适的间隔布置，使得它们不彼此重叠地显示。
然后，CPU 10检测在执行触摸操作时的时间点(表示触摸时间的记录时间)处所计数的记录时间(时间信息)，并且在步骤S3，将检测到的记录时间(T)连同语音备忘录图标的识别数据一起与根据检测到的触摸位置而识别出的乐谱(显示内容)上的时间位置相关联地存储到存储器14(具体地说，存储器14中的RAM)中，然后CPU10终止记录中触摸处理。
一旦开始记录，CPU 10指示计时器15开始时间计数，从而可以知道从记录开始至当前时间所经过的时间。响应于来自CPU 10的指示，计时器15开始计时，该计时持续到CPU 10指示计时器15停止计时为止。因此，通过向计时器15询问当前的计数时间，CPU 10可检测在执行触摸操作时的时间点处所测量的记录时间(即，表示触摸时间的记录时间)。因此，在图2B示出的示例中，与根据单独的触摸位置而识别出的乐谱(显示内容)中的时间位置相关联地存储时间点T1至T3(然而，注意，每次触摸操作存储一个这种记录时间，如上所述)。应该注意，对应于多个触摸处理的多条时间信息可一起放入单个文件中，并在记录结束时存储在相同的区域中作为记录的音频数据。另选地，这种时间信息可存储为嵌入在记录的音频数据中。
在以上控制处理的总体描述中，已经描述了将表示触摸时间的记录时间连同语音备忘录图标的识别数据一起与根据检测到的触摸位置而识别出的乐谱(显示内容)上的时间位置相关联地存储。另选地，可省略语音备忘录图标的识别数据的存储。可基于乐谱(显示内容)上的存储的时间位置来识别屏幕上将显示语音备忘录图标的坐标位置。作为稍后描述的编辑的结果，即使确定了多个语音备忘录图标将被分配至相同的时间位置，这些语音备忘录图标也可基于与其关联的记录时间的差异来彼此区分。
在以上控制处理的总体描述中，已经描述了与根据检测到的触摸位置而识别出的乐谱(显示内容)上的时间位置相关联地存储表示触摸时间的记录时间。然而，本发明不限于此，检测到的触摸位置的坐标数据(或者基于触摸位置而确定的语音备忘录图标的显示位置的坐标数据)本身可与表示触摸时间的记录时间相关联地存储，这样虽然在表述上与以上不同，但其含义和与乐谱(显示内容)上的时间位置相关联地存储表示触摸时间的记录时间相同。也就是说，也可通过在对应的语音备忘录图标的画面上的显示位置的坐标来识别根据检测到的触摸位置而识别出的乐谱(显示内容)上的时间位置。
在图3的记录中触摸处理中，通过CPU 10执行关于步骤S1的程序模块对应于接收第一用户输入，该第一用户输入指定在显示装置(屏幕11a)上显示的显示内容(乐谱)上的期望时间位置。
此外，在图3的记录中触摸处理中，通过CPU 10执行关于步骤S2的程序模块对应于向显示在显示装置(屏幕11a)上的显示内容(乐谱)添加与由第一用户输入指定的时间位置相关的标记(语音备忘录图标)。
此外，在图3的记录中触摸处理中，通过CPU 10执行关于步骤S3的程序模块对应于将以下内容彼此关联地存储在存储装置(即，存储器14中的RAM)中：1)基于接收到第一用户输入时的时间点的输入语音(音频)的记录时间，以及2)由第一用户输入指定的显示内容(乐谱)上的时间位置。
然后，一旦用户在记录停止期间触摸乐谱或乐谱附近的位置，CPU 10就进入记录停止中触摸处理。图4是示出记录停止中触摸处理的示例操作序列的流程图。
在图4中，在步骤S11，CPU 10首先按照与图3的步骤S1相同的方式检测触摸面板11上的触摸位置的坐标。
然后，在步骤S12，CPU 10基于检测到的触摸位置的坐标来确定用户的触摸操作是否在语音备忘录图标的任一个上。如果在步骤S12的确定的结果显示用户的触摸操作在语音备忘录图标的任一个上，则CPU 10前进至步骤S13，但是，如果步骤S12的确定结果显示用户的触摸操作不在语音备忘录图标的任一个上，则CPU 10进行分支步骤S15。
在步骤S13，CPU 10从存储器14(存储器14中的RAM)获得与被触摸的语音备忘录图标对应的记录时间信息。一旦如上识别了一个语音备忘录图标，也就识别了作为表示触摸时间的记录时间而存储的信息，即一条记录的语音时间信息，因此，CPU 10从存储器14读出并获得记录时间信息。
然后，在步骤S14，CPU 10基于获得的记录时间信息再现语音(音频)数据，然后CPU 10终止图4的记录停止中触摸处理。在当前实施例中，开始再现语音(音频)数据的实际时间比由在步骤S13获得的上述记录的语音时间信息指示的时间靠前预定时间Δt，即比记录时间(信息)靠前预定时间Δt，如以上控制处理的总体描述所说明的那样。例如，当用户在图2C的屏幕11a内触摸语音备忘录图标V1时，语音数据的再现始于图2B的时间点T1前预定时间Δt的时间点t1。再现开始位置迁移至表示触摸时间的记录时间之前的原因是，因为用户先听了一会儿指导者的语音指示，然后才确定是否作出标记(为了稍后再次听取指导者的语音指示)，所以如果从表示触摸操作(标记操作)的记录时间处开始再现，则再现通常在指示的半途开始。
在当前实施例中，上述预定时间Δt仅仅是一个根据每一个语音备忘录图标的再现指示一致地应用于相应的表示触摸时间的记录时间的固定设置的时间。然而，本发明不限于此，并且预定时间Δt可根据用户的需要自由地改变。例如，可利用例如常规上已知的语音识别技术自动检测音频记录从音乐演奏切换为指导者的指示时的时间点、指导者的相邻指示之间的界限等，并且可基于检测的结果单独地确定预定时间Δt，然后将该预定时间Δt与对应的语音备忘录图标相关联地存储。在这种情况下，在各选择的语音备忘录图标中，再现开始位置迁移至表示触摸时间的记录时间前的时间的宽度(长度)不同。
在步骤S15，CPU 10执行其它处理，诸如：
响应于对再现按钮的操作，再现对应于显示的乐谱的乐曲数据；
响应于对再现按钮的操作，停止当前再现的乐曲数据或语音(音频)数据的再现；
响应于乐谱翻页操作，显示所显示的乐谱的下一页或上一页；以及
响应于乐谱编辑操作，将音符、标记等输入显示的乐谱或从显示的乐谱中删除音符、标记等。
在完成其它处理时，CPU 10终止记录停止中触摸处理。
尽管以上已经描述了关于参照基于图2A的选择的乐曲显示的乐谱执行的演奏课仅被记录一次的情况的处理，以下将描述参照同一乐谱执行的演奏课已被记录多次的情况。
图5A示出了当参照基于图2A的选择的乐曲显示的乐谱执行的演奏课程已被记录三次时记录的数据RD1至RD3的示例，并且图5B示出了响应于用户对在单独记录过程中显示的乐谱的触摸操作而记录的信息的示例。
在图5A中，第一记录数据RD1至第三记录数据RD3是通过所述三次记录所记录并随后被存储在例如存储器14中的数据。在图5B中，在第一记录数据RD1的记录期间，用户执行了三次触摸操作，该三次触摸操作的触摸时间分别由“T11”、“T12”和“T13”指示。在图5B中，在第二记录数据RD2的记录期间，用户执行了两次触摸操作，该两次触摸操作的触摸时间分别由“T21”和“T22”指示。此外，在图5B中，在第三记录数据RD3的记录期间，执行了一次触摸操作，该一次触摸操作的触摸时间由“T31”指示。
响应于用户的触摸操作而记录的信息包括坐标位置信息和记录时间(触摸时间)，该坐标位置信息表示在记录数据RD1至RD3的记录期间乐谱上的触摸坐标位置，该记录时间(触摸时间)对应于触摸坐标位置。这些信息也存储在例如存储器14中。一旦用户执行了触摸操作，就如上所述地启动图3的记录中触摸处理，因此，关于记录数据，将根据触摸位置的坐标而识别出的乐谱上的时间位置和表示触摸时间的记录时间(触摸时间)彼此关联地记录(步骤S1和S3)，并且根据执行的触摸操作的次数添加图5B的以上信息(触摸位置和触摸时间)。在图5B所示出的示例中，还记录了比对应的触摸时间早预定时间Δt(见图2B)的再现开始位置(时间)。因此，仅参照记录的信息即可确定再现开始位置中的任一个，从而可容易地执行再现处理(在图4的步骤S14)。
尽管在图5B所示出的示例中，在记录过程中触摸的乐谱上的坐标位置本身与对应的记录时间相关联地记录，但是可存储乐谱上的音乐位置(即，根据检测的触摸位置而识别出的乐谱(显示内容)上的时间位置)而非这种坐标，如上所述。
一旦用户指示读出存储在存储器14中的记录数据RD1至RD3中的任一个，所指示的记录数据就被读出到RAM的工作区域，参照图5B读出与所读出的记录数据对应的触摸位置和触摸时间信息，因此，在与触摸面板11上的触摸位置对应的坐标处显示语音备忘录图标，如上所述。一旦用户触摸所显示的语音备忘录图标中的任一个，就基于与触摸的语音备忘录图标相关联的记录时间再现与触摸的语音备忘录图标对应的记录的数据，从而用户可迅速听取记录数据的期望部分。
接着，参照图6，将描述编辑处理的示例操作序列，该编辑处理允许根据需要来改变语音备忘录图标中的任一个的显示位置。图6示出了图4的记录停止中触摸处理的变型，其中步骤S121插入步骤S12和S13之间，并且步骤S122和S123设置在步骤S121的“是”分支上。图6中的步骤S11至S15的操作等同于前述图4中的相同步骤编号的操作。在步骤S121，CPU 10确定对特定语音备忘录图标的触摸是否是预定的图标移动操作(例如，拖动操作，即滑动触摸图标的手指而不释放手指使其离开屏幕的操作)。在步骤S121确定为否时，CPU 10前进至步骤S13和S14，其中按照前述方式执行记录数据的再现。另一方面，如果在步骤S121确定对语音备忘录图标的触摸是预定的图标移动操作(步骤S121确定为是)，则CPU 10前进至步骤S122，其中语音备忘录图标被移动至与预定的图标移动操作对应的显示位置。然后，在步骤S123，与对应于被移动的语音备忘录图标的记录时间相关联地存储在存储器14(存储器14中的RAM)中的乐谱上的时间位置被改变为与移动到达的显示位置的坐标对应的乐谱上的时间位置。这样，显示特定语音备忘录图标的坐标位置(即，乐谱上的时间位置)可根据期望改变，而不用改变对应的语音(音频)数据的记录时间，即内容(指示或评论)。因此，当用户必须匆忙地执行触摸操作(第一用户输入)以实时地对输入的语音(音频)作标记时，即使此时用户作出的标记位置(触摸位置)不精确，后续的编辑也允许输入的语音(音频)与乐谱上的更合适的时间位置相关联。
在上述图6的编辑处理中，通过CPU 10执行关于步骤S121的程序模块对应于接收第二用户输入(移动操作，诸如拖动操作)，所述第二用户输入用于将添加的标记(语音备忘录图标)的位置移动至显示在显示装置(屏幕11a)上的显示内容(乐谱)上的不同时间位置。作为一示例，第二用户输入可包括在显示装置的屏幕上拖动上述标记(语音备忘录图标)。
此外，通过CPU 10执行关于步骤S122和S123的程序模块对应于响应于标记(语音备忘录图标)位置的移动，改变存储在存储器14(存储器14中的RAM)中的关系或关联，使得基于接收到第一用户输入时的时间点的输入语音的记录时间与通过第二用户输入(即，用于将添加的标记(语音备忘录图标)的位置移动至显示内容(乐谱)上的不同时间位置的输入)移动的时间位置相关联。
图7是可响应于乐谱翻页操作在步骤S15的“其它处理”中执行的处理(即，乐谱翻页操作响应处理)的流程图。在其中乐谱由多页构成并且所述多页的一部分(即，一页或少于全部的多页)同时可显示(displayable)在屏幕11a上的情况下，乐谱翻页操作是用于对乐谱(显示内容)进行翻页的操作。通常，乐谱翻页操作是用于将当前显示在屏幕11a上的一页乐谱(显示内容)切换至后一页(下一页)或切换为上一页的操作。在步骤S151，CPU 10确定对屏幕11a的期望位置的触摸操作是否是用于切换至下一页的预定乐谱翻页操作(即，切换至下一页的乐谱翻页操作)。在步骤S151确定为是时，CPU 10前进至步骤S152，其中当前显示在屏幕11a上的这页乐谱(显示内容)被切换至下一页。另一方面，在步骤S151确定为否时，CPU10前进至步骤S153，以进一步确定对屏幕11a的期望位置的触摸操作是否是用于切换至上一页的预定乐谱翻页操作(即，切换至上一页的乐谱翻页操作)。在步骤S153确定为是时，CPU 10前进至步骤S154，其中当前显示在屏幕11a上的这页乐谱(显示内容)被切换至上一页。作为一示例，切换至下一页的乐谱翻页操作包括将触摸到屏幕11a的除语音备忘录图标(和其它可动显示对象)以外的期望位置的手指在保持该手指触摸屏幕11a的同时沿着横向向左的方向滑动大于预定量的距离。另一方面，切换至上一页的乐谱翻页操作包括将触摸到屏幕11a的除语音备忘录图标(和其它可动显示对象)以外的期望位置的手指在保持该手指触摸屏幕11a的同时沿着横向向右的方向滑动大于预定量的距离。当然，可采用任何其它合适的触摸操作作为切换至下一页的乐谱翻页操作和切换至上一页的乐谱翻页操作。作为另一替代形式，可直接指定将被显示在屏幕11a上的期望页号，而不用执行这种触摸操作。
在下一步骤S155，CPU 10确定语音备忘录图标移动操作是否与乐谱翻页操作同时执行。例如，如果在用户的手指持续触摸语音备忘录图标中的特定一个的情况下，用户用另一手指执行翻页操作，则在步骤S155确定已在乐谱翻页操作同时对触摸的语音备忘录图标执行了语音备忘录图标移动操作。在步骤S155确定为是时，CPU 10前进至步骤S156和S157。在步骤S156，对其已执行备忘录图标移动操作的特定语音备忘录图标被显示在当前显示切换目标页面的屏幕11a的合适位置。另外，在步骤S156，CPU 10还接收用户的语音备忘录图标移动操作(拖动操作)，以将语音备忘录图标进一步移动至与接收的图标移动操作对应的显示位置。在下一步骤S157，与对应于被移动的语音备忘录图标的记录时间相关联地存储在存储器14(存储器14中的RAM)中的乐谱上的时间位置按照与以上步骤S123相似的方式改变为与移动到达的显示位置的坐标对应的乐谱上的时间位置。
这样，显示特定语音备忘录图标的坐标位置(即，乐谱上的时间位置)可根据期望改变，而不涉及对应的语音数据的记录时间(即内容(指示或评论))的改变。因此，即使乐谱由多页构成，当用户不得不匆忙执行触摸操作(第一用户输入)以实时地对输入的语音(音频)作标记时，即使用户此时的标记位置(触摸位置)不准确，后续编辑也允许输入的语音与一页乐谱上的更合适的时间位置相关联。
在图7的前述处理中，通过CPU 10执行关于步骤S151至S154的程序模块对应于包括用于将显示在显示装置的屏幕11a上的显示内容(乐谱)的页面切换至另一页的输入(沿着横向向右或向左的方向的滑动操作)在内的第二用户输入。此外，通过CPU 10执行关于步骤S155的程序模块对应于包括用于将添加的标记(语音备忘录图标)的位置切换至切换目标页面上的期望的时间位置的输入在内的第二用户输入。
此外，在图4的处理中，通过CPU 10执行关于步骤S11和S12的程序模块对应于接收用于选择显示内容(乐谱)上的时间位置的第三用户输入。另外，通过CPU 10执行关于步骤S13和S14的程序模块对应于基于与通过第三用户输入而选择的显示内容上的时间位置相关联的记录时间来再现记录的语音(音频)。
注意，尽管上面描述的当前实施例是通过图3的记录中触摸处理在显示的乐谱上的触摸位置处显示语音备忘录图标，但是本发明不限于此，并且在乐谱上的触摸位置上可以以字母/字符形式显示语音言辞的内容。图8是示出这种变型中的显示在触摸面板11上的屏幕11a’的示例的示图。如果语音言辞的内容可以字母/字符的形式进行显示，则当对乐谱的相同位置执行多个触摸操作时，可容易地识别用户想要再现的语音言辞的内容。可利用常规上已知的语音识别技术来执行将语音言辞的内容转换为字母/字符。此外，将语音言辞转换为记录数据中的字母/字符的转换起始点可设为在表示触摸时间的记录时间之前预定时间Δt的时间点。另选地，可检测在表示触摸时间的记录时间之前预定时间Δt的时间点附近的合适的时间点，将语音言辞转换为字母/字符可始于检测到的合适时间点。另外，由此转换为字母/字符的语音言辞可被构造为通过用户自由地编辑。
此外，尽管以上对当前实施例的描述没有特别涉及记录数据(即存储在记录数据存储区域中的语音(音频)数据)的保存，但是所有记录的语音数据可保存在闪速存储器中，或者可仅提取并保存与用户在乐谱上触摸的位置对应的记录语音数据的部分而删除其余部分。后一种保存方案的有利之处在于，其可显著减少要保存的数据的量。此外，在后一种情况下，尽管保存的数据的起始点可设为表示触摸时间的记录时间之前预定时间Δt的时间点，但是优选地例如通过以下步骤来确定保存的数据的结束点：
用户手动指定结束点：
将起始点后预定时间(例如，10秒)的时间点设置为结束点(预定时间可预先固定地确定或者可通过用户自由地改变)；或者
将用常规上已知的语音识别技术检测到的语音言辞的结束点设置为结束点。
此外，尽管以上描述的当前实施例涉及其中存储从记录的起始点开始流逝的时间作为表示触摸时间的记录时间的情况，但是本发明不限于此，并且如果设备具有时钟功能或者可通过例如询问服务器而知晓当前时间，则可存储执行触摸操作时的当前时间。更具体地说，在这种情况下，可与语音数据相关联地存储“记录的日期、起始时间和结束时间”，并且存储“记录的日期和触摸时间”作为表示触摸时间的记录时间。如果针对其记录始于给定日期的10:00:15的给定的音频数据，触摸时间是给定日期的10:10:30，则可计算流逝的记录时间为10分钟15秒。因此，即使未存储触摸时间之前流逝的记录时间，也可基于计算的流逝的记录时间再现记录的数据。
另外，尽管将当前实施例描述为通过单个设备既记录周围音频又显示乐谱，但是本发明不限于此，并且可通过分离的设备(即记录设备和显示设备)来记录周围音频和显示乐谱。根据这种布置方式，可在两个或更多个人之间分担必要操作，例如，人类演奏者对显示在显示设备上的乐谱执行操作，教师或指导者操作诸如IC录音机之类的记录设备，以记录包括指示(指导者的语音)在内的周围音频。
假设记录设备和显示设备通过网络连接至服务器。一旦记录设备的人类操作员指示记录设备开始记录，记录设备就经网络将状态“现在记录”发送至显示设备。正被记录的音频数据从记录设备经网络发送至服务器以存储在服务器中。也就是说，在这种情况下，服务器用作用于存储音频数据的存储装置。当状态为“现在记录”时一旦显示设备的人类操作员触摸显示设备的显示屏幕上的期望位置，显示设备就将指示触摸操作的时间的信息经网络发送至服务器。服务器将转换为流逝的时间后的时间信息存储在音频数据中。另选地，可如上通过日期和时间在时间上管理音频数据本身，而非通过“从记录开始的流逝的时间”来管理。
一旦记录设备的人类操作员指示记录设备停止记录，记录设备就经网络将状态“现在不记录”发送至显示设备。当状态为“现在不记录”时一旦显示设备的人类操作员触摸显示设备的显示屏幕上的期望的语音备忘录图标，显示设备就从服务器获得音频数据并且基于与触摸的语音备忘录图标相关联的时间信息在合适的位置开始再现获得的音频数据。
注意，因为人类演奏者和指导者处于相同空间中，所以即使记录设备和显示设备未经网络互连，记录设备和显示设备也可通过显示设备的人类操作员(即，人类演奏者和指导者中的一个)与记录设备的人类操作员(即，人类演奏者和指导者中的另一个)之间的语言沟通和/或眼神接触而彼此同步。当给出呼唤语音时，显示设备的人类操作员将显示设备切换为“记录模式”，以允许测量流逝的时间和添加语音存储器图标。当给出呼唤语音时，记录设备的人类操作员指示记录设备开始记录。这样，显示设备和记录设备可测量共同或相同的流逝的时间。
如果在记录之后，显示设备的人类操作员将记录在记录设备的存储器中的音频数据复制到显示设备，则显示设备的人类操作员可通过触摸显示设备上的特定语音备忘录图标在合适的时间位置开始再现音频数据。
前述示例在其中多个人类演奏者在一个指导者的指挥下演奏的情况下尤其有用。其适合于指导者向人类演奏者的每一个给出指示，并且人类演奏者的每一个通过触摸显示在显示设备上的乐谱仅存储给予他或她的指示。
此外，在其中单个设备被划分为记录设备和显示设备的情况下，记录设备可为视频记录设备而非音频记录设备，从而记录活动图像而非记录音频。这种对活动图像的记录可委托给专门的摄影师，并且人类演奏者(用户)可仅在显示的乐谱上执行触摸操作。
另外，本发明适用于除音乐以外的其它领域。显示在显示设备上的信息不限于指示音乐演奏的内容的信息，并且可为任何其它信息，例如，普通文本、图片、地图或插图。例如，如果记录多人之间的会议中的对话，并且根据对话的内容指定和标记文本、图片等的期望位置，则在会议之后可迅速地再次听取始于标记的位置处的任一个的对话内容，因此，不需要创建会议记录(即，会议事项的官方记录)。
尽管上述实施例被构造为在触摸面板11上显示乐谱并允许直接在显示的乐谱上执行操作，但是本发明不限于此，并且可采用除触摸面板以外的显示装置以使得乐谱显示在该显示装置上。在这种情况下，可通过诸如鼠标之类的定点装置或者通过经数字键盘输入的数字(例如，小节编号或拍子数)来指定显示的乐谱上的位置。
应该理解，本发明的目的也可通过供应具有存储介质的系统或设备来实现，该存储介质中存储有用于实施上述实施例的功能的软件的程序代码，使得该系统或设备的计算机(例如，CPU、MPU等)读出并执行存储在该存储介质中的程序代码。
在这种情况下，从存储介质读出的程序代码本身实施本发明的功能，并且这些程序代码和其中存储有程序代码的所述存储介质一起实施本发明。
另外，用于供应程序代码的存储介质可为例如软盘、硬盘、磁光盘、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW、磁带、非易失性存储卡、ROM等。作为替代形式，可经由通信网络从服务器计算机下载程序代码。
此外，作为通过读出并执行程序代码的计算机实施本发明的上述实施例的功能的替代，本发明的上述实施例的功能当然可通过在计算机上运行、基于程序代码的指令而执行实际处理的一部分或全部的OS(操作系统)等来实施。
另外，很显然，从存储介质读出的程序代码可被写入设置在插入计算机中的功能扩展板或者连接至计算机的功能扩展单元上的存储器，使得上述实施例的功能可通过设置在功能扩展板或功能扩展单元上的CPU等基于程序代码的指令而执行实际处理的一部分或全部来实施。

Claims (15)

1.一种计算机实现的方法，包括：
在显示装置上显示表示音乐演奏的时间迁移的显示内容；
记录输入音频；
在所述输入音频的记录过程中，接收第一用户输入，该第一用户输入在所述显示装置上显示的所述显示内容上指定期望的时间位置；以及
将基于接收所述第一用户输入时的时间点的所述输入音频的记录时间与通过所述第一用户输入指定的所述显示内容上的所述时间位置彼此关联地存储在存储装置中。
2.根据权利要求1所述的方法，还包括向显示在所述显示装置上的所述显示内容添加与所述第一用户输入指定的所述时间位置相关的标记。
3.根据权利要求2所述的方法，还包括：
接收第二用户输入，该第二用户输入用于将添加至显示在所述显示装置上的所述显示内容的所述标记的位置移动至不同时间位置；以及
响应于所述标记的位置的移动，改变存储在所述存储装置中的记录时间与时间位置之间的关联，使得基于接收所述第一用户输入时的时间点的所述输入音频的记录时间与通过所述第二用户输入而移动的时间位置相关联。
4.根据权利要求3所述的方法，其中所述第二用户输入包括在所述显示装置的屏幕上拖动所述标记。
5.根据权利要求3所述的方法，其中所述显示内容包括多页，所述多页中的一部分同时可显示在所述显示装置的屏幕上，并且
所述第二用户输入包括用于将显示在所述显示装置的屏幕上的所述显示内容的一页切换为另一页的输入，以及用于将所添加的标记的位置移动至所述显示内容的切换目标页上的期望时间位置的输入。
6.根据权利要求1至5中任一项所述的方法，还包括：
接收第三用户输入，该第三用户输入用于选择所述显示内容上的所述时间位置；以及
基于与通过所述第三用户输入选择的所述显示内容上的所述时间位置相关联的记录时间来再现所记录的音频。
7.根据权利要求6所述的方法，其中所述再现所记录的音频的步骤包括在与通过所述第三用户输入选择的所述显示内容上的所述时间位置相关联的记录时间之前预定时间的记录位置处开始再现所记录的音频。
8.一种显示设备，包括：
显示装置：
存储装置；以及
处理器，其被配置为：
在所述显示装置上显示表示音乐演奏的时间迁移的显示内容；
将输入音频记录在所述存储装置中；
在所述输入音频的记录过程中，接收第一用户输入，该第一用户输入在所述显示装置上显示的所述显示内容上指定期望的时间位置；以及
将基于接收所述第一用户输入时的时间点的所述输入音频的记录时间与通过所述第一用户输入指定的所述显示内容上的所述时间位置彼此关联地存储在所述存储装置中。
9.根据权利要求8所述的显示设备，其中所述处理器还被配置为将与通过所述第一用户输入指定的所述时间位置相关的标记添加至显示在所述显示装置上的所述显示内容。
10.根据权利要求9所述的显示设备，其中所述处理器还被配置为：
接收第二用户输入，该第二用户输入用于将添加至显示在所述显示装置上的所述显示内容的标记的位置移动至不同时间位置；以及
响应于所述标记的位置的移动，改变存储在所述存储装置中的记录时间和时间位置之间的关联，使得基于接收所述第一用户输入时的时间点的所述输入音频的记录时间与通过所述第二用户输入而移动的时间位置相关联。
11.根据权利要求10所述的显示设备，其中所述第二用户输入包括在所述显示装置的屏幕上拖动所述标记。
12.根据权利要求10所述的显示设备，其中所述显示内容包括多页，所述多页的一部分同时可显示在所述显示装置的屏幕上，并且
所述第二用户输入包括用于切换显示在所述显示装置的屏幕上的所述显示内容的一页的输入，以及用于将所添加的标记的位置移动至所述显示内容的切换目标页上的期望时间位置的输入。
13.根据权利要求8至12中任一项所述的显示设备，其中所述处理器还被配置为：
接收第三用户输入，该第三用户输入用于选择所述显示内容上的所述时间位置；以及
基于与通过所述第三用户输入选择的所述显示内容上的所述时间位置相关联的记录时间来再现所记录的音频。
14.根据权利要求13所述的显示设备，其中为了再现所记录的音频，所述处理器还被配置为在与通过所述第三用户输入选择的所述显示内容上的所述时间位置相关联的记录时间之前预定时间的记录位置处开始再现所记录的音频。
15.一种显示设备，包括：
显示屏幕，其被配置为显示表示音乐演奏的时间迁移的显示内容：
存储部分，其被配置为记录输入音频；
用户接口部分，其被配置为在所述输入音频的记录过程中，接收第一用户输入，该第一用户输入在所述显示装置上显示的所述显示内容上指定期望的时间位置；以及
控制部分，其被配置为将基于接收所述第一用户输入时的时间点的所述输入音频的记录时间与通过所述第一用户输入指定的所述显示内容上的时间位置彼此关联地存储。
CN201410270496.4A 2013-06-17 2014-06-17 与显示内容关联地记录音频 Active CN104239392B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-126436 2013-06-17
JP2013126436 2013-06-17

Publications (2)

Publication Number Publication Date
CN104239392A true CN104239392A (zh) 2014-12-24
CN104239392B CN104239392B (zh) 2017-12-08

Family

ID=50942087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410270496.4A Active CN104239392B (zh) 2013-06-17 2014-06-17 与显示内容关联地记录音频

Country Status (4)

Country Link
US (1) US9412352B2 (zh)
EP (1) EP2816549B1 (zh)
JP (1) JP2015026069A (zh)
CN (1) CN104239392B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106888269A (zh) * 2017-03-30 2017-06-23 成都伟德利普信息技术有限公司 一种基于电子白板的会议纪要追踪方法
CN108257615A (zh) * 2018-01-15 2018-07-06 北京物灵智能科技有限公司 一种用户语言评估方法及系统
CN109254720A (zh) * 2014-05-23 2019-01-22 三星电子株式会社 用于再现内容的方法和装置
CN109614030A (zh) * 2018-11-29 2019-04-12 广州视源电子科技股份有限公司 课件制作、回顾方法、装置、系统、设备和存储介质
CN112579818A (zh) * 2020-12-29 2021-03-30 玖月音乐科技(北京)有限公司 一种五线谱语音批注方法和系统
CN114117117A (zh) * 2020-08-25 2022-03-01 北京金铎领创智能科技有限公司 一种基于区域标注的音乐课本乐谱数字化跟踪方法及设备

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2816549B1 (en) * 2013-06-17 2016-08-03 Yamaha Corporation User bookmarks by touching the display of a music score while recording ambient audio
CN103885596B (zh) * 2014-03-24 2017-05-24 联想(北京)有限公司 一种信息处理方法及电子设备
JP6432966B2 (ja) * 2014-03-24 2018-12-05 株式会社河合楽器製作所 楽譜表示・演奏プログラム及び楽譜表示・演奏装置
US20160189694A1 (en) * 2014-10-08 2016-06-30 Richard Lynn Cowan Systems and methods for generating presentation system page commands
CN104751846B (zh) * 2015-03-20 2019-03-01 努比亚技术有限公司 语音到文本转换的方法及装置
US9672799B1 (en) * 2015-12-30 2017-06-06 International Business Machines Corporation Music practice feedback system, method, and recording medium
US10348907B1 (en) * 2016-05-12 2019-07-09 Antony P. Ng Collaborative data processing
CN107368248B (zh) * 2017-06-19 2020-03-17 广东小天才科技有限公司 一种书写笔迹的回放方法及装置
US10460709B2 (en) 2017-06-26 2019-10-29 The Intellectual Property Network, Inc. Enhanced system, method, and devices for utilizing inaudible tones with music
US11030983B2 (en) 2017-06-26 2021-06-08 Adio, Llc Enhanced system, method, and devices for communicating inaudible tones associated with audio files
WO2019130595A1 (ja) * 2017-12-29 2019-07-04 Ｐｉｏｎｅｅｒ ＤＪ株式会社 音響機器および音響機器用プログラム
GB2585177B (en) * 2019-04-10 2023-12-06 W Cooper Cliff Online music examination system
US10885891B2 (en) * 2020-01-23 2021-01-05 Pallavi Ekaa Desai System, method and apparatus for directing a presentation of a musical score via artificial intelligence

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275222B1 (en) * 1996-09-06 2001-08-14 International Business Machines Corporation System and method for synchronizing a graphic image and a media event
US20040225502A1 (en) * 2003-05-05 2004-11-11 Bear Eric Gould Record button on a computer system
JP2007108292A (ja) * 2005-10-12 2007-04-26 Kawai Musical Instr Mfg Co Ltd 楽譜編集装置および編集プログラム
US20090251440A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Audio Bookmarking

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09320148A (ja) 1996-05-29 1997-12-12 Olympus Optical Co Ltd 音声記録再生装置
JP3829706B2 (ja) * 2001-12-07 2006-10-04 カシオ計算機株式会社 楽音教習装置及び楽音教習処理のプログラム
US20070089591A1 (en) * 2002-06-03 2007-04-26 Boys Donald R Low-Cost, Widely-Applicable Instruction System
US20120057842A1 (en) * 2004-09-27 2012-03-08 Dan Caligor Method and Apparatus for Remote Voice-Over or Music Production and Management
US7605322B2 (en) 2005-09-26 2009-10-20 Yamaha Corporation Apparatus for automatically starting add-on progression to run with inputted music, and computer program therefor
JP4544185B2 (ja) * 2006-03-27 2010-09-15 ヤマハ株式会社 演奏記録装置及びプログラム
JP2008004134A (ja) * 2006-06-20 2008-01-10 Sony Corp 音楽再生方法および音楽再生装置
US20080060507A1 (en) * 2006-09-07 2008-03-13 Helmut Welchering Versatile electronic sheet music device with improved navigation system and method
WO2008101130A2 (en) * 2007-02-14 2008-08-21 Museami, Inc. Music-based search engine
JP5434408B2 (ja) * 2009-05-15 2014-03-05 富士通株式会社 携帯型情報処理装置、コンテンツ再生方法およびコンテンツ再生プログラム
US20110289404A1 (en) * 2010-05-19 2011-11-24 Alexandra Fleur System and methods for document critique
JP5422056B2 (ja) * 2010-09-13 2014-02-19 パイオニア株式会社 楽曲情報処理装置及び方法、コンピュータプログラム並びに記録媒体
WO2012123824A2 (en) * 2011-03-17 2012-09-20 Moncavage, Charles System and method for recording and sharing music
US8933312B2 (en) * 2012-06-01 2015-01-13 Makemusic, Inc. Distribution of audio sheet music as an electronic book
US20140075281A1 (en) * 2012-09-13 2014-03-13 David Rubin Systems and methods for annotating digital documents
EP2816549B1 (en) * 2013-06-17 2016-08-03 Yamaha Corporation User bookmarks by touching the display of a music score while recording ambient audio
US20150255057A1 (en) * 2013-11-21 2015-09-10 Chatfish Ltd. Mapping Audio Effects to Text

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275222B1 (en) * 1996-09-06 2001-08-14 International Business Machines Corporation System and method for synchronizing a graphic image and a media event
US20040225502A1 (en) * 2003-05-05 2004-11-11 Bear Eric Gould Record button on a computer system
JP2007108292A (ja) * 2005-10-12 2007-04-26 Kawai Musical Instr Mfg Co Ltd 楽譜編集装置および編集プログラム
US20090251440A1 (en) * 2008-04-03 2009-10-08 Livescribe, Inc. Audio Bookmarking

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109254720A (zh) * 2014-05-23 2019-01-22 三星电子株式会社 用于再现内容的方法和装置
CN109254720B (zh) * 2014-05-23 2021-06-08 三星电子株式会社 用于再现内容的方法和装置
CN106888269A (zh) * 2017-03-30 2017-06-23 成都伟德利普信息技术有限公司 一种基于电子白板的会议纪要追踪方法
CN108257615A (zh) * 2018-01-15 2018-07-06 北京物灵智能科技有限公司 一种用户语言评估方法及系统
CN109614030A (zh) * 2018-11-29 2019-04-12 广州视源电子科技股份有限公司 课件制作、回顾方法、装置、系统、设备和存储介质
CN114117117A (zh) * 2020-08-25 2022-03-01 北京金铎领创智能科技有限公司 一种基于区域标注的音乐课本乐谱数字化跟踪方法及设备
CN112579818A (zh) * 2020-12-29 2021-03-30 玖月音乐科技(北京)有限公司 一种五线谱语音批注方法和系统
CN112579818B (zh) * 2020-12-29 2021-08-13 玖月音乐科技(北京)有限公司 一种五线谱语音批注方法和系统

Also Published As

Publication number Publication date
EP2816549A1 (en) 2014-12-24
US9412352B2 (en) 2016-08-09
JP2015026069A (ja) 2015-02-05
EP2816549B1 (en) 2016-08-03
CN104239392B (zh) 2017-12-08
US20140366709A1 (en) 2014-12-18

Similar Documents

Publication Publication Date Title
CN104239392A (zh) 与显示内容关联地记录音频
US8536437B2 (en) Musical score playing device and musical score playing program
EP2759918A1 (en) Touchscreen position-based music object-oriented editing GUI with proportional length icons
CN104581351A (zh) 音频或视频的录制方法及其播放方法、电子装置
US9601029B2 (en) Method of presenting a piece of music to a user of an electronic device
CN102867526A (zh) 用于分布式音频文件编辑的门户网站
JP2005215689A5 (zh)
KR101164379B1 (ko) 사용자 맞춤형 컨텐츠 제작이 가능한 학습 장치 및 이를 이용한 학습 방법
EP3292480A1 (en) Techniques to automatically generate bookmarks for media files
JP2018097239A (ja) 音声再生装置及びプログラム
KR101467852B1 (ko) 코드 이미지가 인쇄된 인쇄물을 이용하는 전자펜의 악기 연주 음향재생 제어방법 및 이를 수행하는 전자펜
JP7279754B2 (ja) 学習制御方法及び学習システム
JP2009283020A (ja) 記録装置、再生装置、及びプログラム
JP2004325905A (ja) 外国語学習装置および外国語学習プログラム
JP4277512B2 (ja) 電子機器及びプログラム
JP2020149529A (ja) 動画再生装置
Baume Semantic Audio Tools for Radio Production
KR101853322B1 (ko) 학습 콘텐츠 편집 기능을 가진 학습 애플리케이션 제공 단말 및 그 학습 콘텐츠 편집 방법
CN103337238A (zh) 电子装置和音频指南程序
WO2022209557A1 (ja) 電子楽器、電子楽器の制御方法、及びプログラム
WO2011060504A1 (en) Music tuition or practice method and apparatus
JP7481863B2 (ja) 音声認識誤り修正支援装置、プログラムおよび方法
JP7166370B2 (ja) 音声記録のための音声認識率を向上させる方法、システム、およびコンピュータ読み取り可能な記録媒体
KR20010076136A (ko) 휴대용 독서기
JP6953825B2 (ja) データ送信方法、データ送信装置、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant