CN1494801A - 多信道信息处理装置 - Google Patents

多信道信息处理装置 Download PDF

Info

Publication number
CN1494801A
CN1494801A CNA018230814A CN01823081A CN1494801A CN 1494801 A CN1494801 A CN 1494801A CN A018230814 A CNA018230814 A CN A018230814A CN 01823081 A CN01823081 A CN 01823081A CN 1494801 A CN1494801 A CN 1494801A
Authority
CN
China
Prior art keywords
information
dynamic image
mentioned
image information
cursor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA018230814A
Other languages
English (en)
Other versions
CN1258285C (zh
Inventor
���dz�
浅见俊宏
矢野胜利
松下友晴
安本知典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN1494801A publication Critical patent/CN1494801A/zh
Application granted granted Critical
Publication of CN1258285C publication Critical patent/CN1258285C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/443—OS processes, e.g. booting an STB, implementing a Java virtual machine in an STB or power management in an STB
    • H04N21/4438—Window management, e.g. event handling following interaction with the user interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4782—Web browsing, e.g. WebTV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45—Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Receiver Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供多信道信息处理装置，备有从动态图象源取得动态图象信息的动态图象信息控制装置、算出光标位置信息生成光标图象信息的光标位置控制装置、合成多个动态图象信息和光标图象信息在显示装置上显示出来的显示图象生成装置、根据动态图象位置信息和光标位置信息生成距离信息的距离信息生成装置、和根据该距离信息确定与多个动态图象信息对应的声音数据的音量并输出到声音输出装置的声音输出控制装置。

Description

多信道信息处理装置
技术领域
本发明涉及可以同时在显示装置上显示伴随声音数据的多个动态图象信息的多信道信息处理装置，特别是涉及能够从在显示装置上显示的多个动态图象中容易地掌握特定的动态图象的内容的多信道信息处理装置，多信道信息处理方法，多信道信息处理方法的程序和存储该程序的计算机可读存储媒体。
背景技术
近年来，ADSL(不对称数字用户线)和CATV调制解调器等可高速接入因特网的装置正在普及中，与此相伴从家庭通过因特网下载TV节目等的动态图象信息的机会也正在增多。又，数字摄象机与个人计算机(以下称为PC)之间的接口正在普及中，用户将自己拍摄的动态图象信息取入PC中进行处理也正在盛行中。
又，因为PC性能的提高和硬盘容量的扩大，所以也能够容易地将大量的动态图象信息存储在硬盘中进行重放显示，也可以容易地与能够将多个动态图象信息同时显示在显示装置上的环境对应。在这种多个动态图象信息的显示中，可以在CRT和液晶显示器等的显示装置上将多个视窗配置在任意位置上，同时显示这些动态图象信息。
当显示这种多个动态图象时，关于附随着这些动态图象的声音数据，或者不输出全部的声音数据，或者用同一个音量合成并输出全部声音数据。当不输出声音数据时，为了掌握各动态图象信息的内容不能够利用声音数据，需要只用在显示装置上显示的图象判断它的内容。又，当用同一个音量合成并输出全部声音数据时，各个声音数据发生干涉要识别声音是困难的，又包含着难以识别哪个声音数据与哪个动态图象信息对应的问题。
发明内容
本发明的目的是使当在显示装置上显示多个动态图象信息时，容易地识别与特定的动态图象信息对应的声音数据，容易地掌握显示的动态图象信息的内容成为可能。
方案1的多信道信息处理装置，是同时在显示装置上显示多个动态图象信息的多信道信息处理装置，备有取得多个动态图象信息，确定关于多个动态图象信息在显示装置上的显示位置的动态图象位置，根据上述动态图象位置信息输出多个动态图象信息的动态图象信息控制装置、根据通过输入器件输入的光标指示信息算出光标位置信息，根据光标位置信息生成光标图象信息并输出的光标位置控制装置、合成动态图象显示控制装置输出的多个动态图象信息和光标位置控制装置输出的光标图象信息在显示装置上显示出来的显示图象生成装置、根据与多个动态图象信息对应的动态图象位置信息和由光标位置控制装置算出的光标位置信息，算出各动态图象信息的显示位置与光标的显示位置的距离，生成距离信息的距离信息生成装置、和根据距离信息生成装置生成的距离信息确定与多个动态图象信息对应的声音数据的音量并输出到声音输出装置的声音输出控制装置。
方案2的多信道信息处理装置，它是根据方案1中记载的多信道信息处理装置，其中声音输出控制装置将与由距离信息生成装置生成的距离信息中距离值最小的动态图象信息对应的声音数据的音量设定在预先确定的音量Va上，将与其它动态图象信息对应的声音数据的音量设定在比音量Va小的预先确定的音量Vb上。
方案3的多信道信息处理装置，它是根据方案1中记载的多信道信息处理装置，其中声音输出控制装置，与由距离信息生成装置生成的距离信息中的距离值成反比地，设定与多个动态图象信息对应的声音数据的音量。
方案4的多信道信息处理装置，它是根据方案1中记载的多信道信息处理装置，其中由距离信息生成装置生成的距离信息包含关于从光标显示位置看的各动态图象信息的显示位置的方向的方向信息，声音输出控制装置为了在声音输出装置形成的音象空间中定位与多个动态图象信息对应的声音数据，根据距离信息将该声音数据输出到声音输出装置。
方案5的多信道信息处理装置，它是根据方案1中记载的多信道信息处理装置，其中进一步备有识别包含在与多个动态图象信息对应的声音数据中语言的声音数据识别装置、和将由声音数据识别装置识别的语言变换成文字信息在显示装置上显示出来的文字信息显示装置。
方案6的多信道信息处理装置，它是根据方案5中记载的多信道信息处理装置，其中备有因特网连接装置、将由声音数据识别装置识别的语言作为关键字检索存在于因特网上的关联主页的主页检索装置、和将由主页检索装置检索出的主页在上述显示装置上显示出来的主页显示装置。
方案7的多信道信息处理装置，它是根据方案1中记载的多信道信息处理装置，其中进一步备有根据预定的算法从在显示装置上显示出来的多个动态图象信息中选择特定的动态图象信息的动态图象选择装置，声音输出控制装置将与动态图象选择装置选择的动态图象对应的声音数据输出到声音输出装置。
方案8的多信道信息处理装置，它是根据方案7中记载的多信道信息处理装置，动态图象选择装置切换在每个预定时间选择的动态图象信息。
方案9的多信道信息处理方法，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法，包含确定在显示装置上进行显示的动态图象信息的在显示装置上的显示位置的阶段、根据确定的显示位置输出多个动态图象信息的阶段、接受从输入器件输入的光标指示信息的阶段、根据光标指示信息算出显示光标的光标位置信息的阶段、根据光标位置信息生成光标图象信息的阶段、合成多个动态图象信息和光标图象信息生成显示图象将它输出到显示装置上的阶段、算出多个动态图象信息的显示位置与光标位置信息之间的距离生成距离信息的阶段、和根据距离信息确定与多个动态图象信息对应的声音数据的音量并输出到声音输出装置的阶段。
方案10的多信道信息处理方法，它是根据方案9中记载的多信道信息处理方法，其中将与关于多个动态图象信息生成的距离信息中距离值最小的动态图象信息对应的声音数据的音量设定在预先确定的音量Va上，将与其它动态图象信息对应的声音数据的音量设定在比音量Va小的预先确定的音量音量Vb上。
方案11的多信道信息处理方法，它是根据方案9中记载的多信道信息处理方法，其中与各距离信息中的距离值成反比地，设定与多个动态图象信息对应的声音数据的音量。
方案12的多信道信息处理方法，它是根据方案9中记载的多信道信息处理方法，其中进一步备有生成关于从光标的显示位置看的各动态图象信息的显示位置的方向的方向信息的阶段、和为了将与多个动态图象信息对应的声音数据定位在与声音输出装置的音象空间中的距离信息和方向信息相应的音象位置上，将该声音数据输出到声音输出装置的阶段。
方案13的多信道信息处理方法，它是根据方案9中记载的多信道信息处理方法，其中进一步备有声音识别包含在与多个动态图象信息对应的声音数据中的语言的阶段、和将声音识别的语言变换成文字信息在显示装置上显示出来的阶段。
方案14的多信道信息处理方法，它是根据方案13中记载的多信道信息处理方法，其中备有与因特网连接的阶段、将声音识别的语言作为关键字检索存在于因特网上的关联主页的阶段、和将检索出的关联主页在上述显示装置上显示出来的阶段。
方案15的多信道信息处理方法，它是根据方案9中记载的多信道信息处理方法，其中进一步备有根据预定的算法从在显示装置上显示出来的多个动态图象信息选择特定的动态图象信息的阶段、和将与选择的动态图象对应的声音数据输出到声音输出装置的阶段。
方案16的程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施包含确定多个动态图象信息在显示装置上的显示位置的阶段、根据确定的显示位置输出多个动态图象信息的阶段、接受从输入器件输入的光标指示信息的阶段、根据光标指示信息算出显示光标的光标位置信息的阶段、根据光标位置信息生成光标图象信息的阶段、合成多个动态图象信息和光标图象信息生成显示图象将它输出到显示装置上的阶段、算出多个动态图象信息的显示位置与光标位置信息之间的距离生成距离信息的阶段、和根据距离信息确定与多个动态图象信息对应的声音数据的音量并输出到声音输出装置的阶段的多信道信息处理方法。
方案17的程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施包含确定多个动态图象信息在显示装置上的显示位置的阶段、根据确定的显示位置输出多个动态图象信息的阶段、接受从输入器件输入的光标指示信息的阶段、根据光标指示信息算出显示光标的光标位置信息的阶段、根据光标位置信息生成光标图象信息的阶段、合成多个动态图象信息和光标图象信息生成显示图象将它输出到上述显示装置上的阶段、算出多个动态图象信息的显示位置与光标位置信息之间的距离生成距离信息的阶段、和将与关于多个动态图象信息生成的距离信息中距离值最小的动态图象信息对应的声音数据的音量设定在预先确定的音量Va上，将与其它动态图象信息对应的声音数据的音量设定在比音量Va小的预先确定的音量音量Vb上并输出到声音输出装置的阶段的多信道信息处理方法。
方案18的程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施包含确定多个动态图象信息在显示装置上的显示位置的阶段、根据确定的显示位置输出多个动态图象信息的阶段、接受从输入器件输入的光标指示信息的阶段、根据光标指示信息算出显示光标的光标位置信息的阶段、根据光标位置信息生成光标图象信息的阶段、合成多个动态图象信息和光标图象信息生成显示图象将它输出到上述显示装置上的阶段、算出多个动态图象信息的显示位置与光标位置信息之间的距离生成距离信息的阶段、和与各距离信息中的距离距离值成反比地设定与多个动态图象信息对应的声音数据的音量并输出到声音输出装置的阶段的多信道信息处理方法。
方案19的程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施包含确定多个动态图象信息在显示装置上的显示位置的阶段、根据确定的显示位置输出多个动态图象信息的阶段、接受从输入器件输入的光标指示信息的阶段、根据光标指示信息算出显示光标的光标位置信息的阶段、根据光标位置信息生成光标图象信息的阶段、合成多个动态图象信息和光标图象信息生成显示图象将它输出到上述显示装置上的阶段、算出多个动态图象信息的显示位置与光标位置信息之间的距离生成距离信息的阶段、生成关于从光标的显示位置看的各动态图象信息的显示位置的方向的方向信息的阶段、和为了在与声音输出装置的音象空间中的距离信息和方向信息对应的音象位置上定位与多个动态图象信息对应的声音数据，并输出到声音输出装置的阶段的多信道信息处理方法。
方案20的程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施备有确定多个动态图象信息在显示装置上的显示位置的阶段、根据确定的显示位置输出多个动态图象信息的阶段、接受从输入器件输入的光标指示信息的阶段、根据光标指示信息算出显示光标的光标位置信息的阶段、根据光标位置信息生成光标图象信息的阶段、声音识别包含在与多个动态图象信息对应的声音数据中的语言的阶段、将声音识别的语言变换成文字信息并进行输出的阶段、和合成多个动态图象信息、光标图象信息和文字信息生成显示图象将它输出到显示装置上的阶段的多信道信息处理方法。
方案21的程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施备有确定多个动态图象信息在显示装置上的显示位置的阶段、根据确定的显示位置输出多个动态图象信息的阶段、接受从输入器件输入的光标指示信息的阶段、根据光标指示信息算出显示光标的光标位置信息的阶段、根据光标位置信息生成光标图象信息的阶段、算出多个动态图象信息的显示位置与光标位置信息之间的距离生成距离信息的阶段、根据距离信息从多个动态图象信息中选择特定的动态图象信息，将与该动态图象信息对应的声音数据输出到声音输出装置的阶段、声音识别包含在输出到声音输出装置的声音数据中的语言的阶段、将声音识别的语言变换成文字信息并进行输出的阶段、和合成多个动态图象信息、光标图象信息和文字信息生成显示图象将它输出到显示装置上的阶段的多信道信息处理方法。
方案22的程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施备有确定多个动态图象信息在显示装置上的显示位置的阶段、根据确定的显示位置输出多个动态图象信息的阶段、接受从输入器件输入的光标指示信息的阶段、根据光标指示信息算出显示光标的光标位置信息的阶段、根据光标位置信息生成光标图象信息的阶段、算出多个动态图象信息的显示位置与光标位置信息之间的距离生成距离信息的阶段、根据距离信息从多个动态图象信息中选择特定的动态图象信息，将与该动态图象信息对应的声音数据输出到声音输出装置的阶段、声音识别包含在输出到声音输出装置的声音数据中的语言的阶段、连接因特网的阶段、将声音识别的语言作为关键字检索存在于因特网上的关联主页的阶段、和合成多个动态图象信息、光标图象信息和检索出的关联主页生成显示图象将它输出到显示装置上的阶段的多信道信息处理方法。
方案23的程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施备有确定多个动态图象信息在显示装置上的显示位置的阶段、根据确定的显示位置输出多个动态图象信息的阶段、根据预定的算法从在显示装置上显示出来的多个动态图象信息选择特定的动态图象信息的阶段、和将与选择的动态图象对应的声音数据输出到声音输出装置的阶段的多信道信息处理方法。
方案24的存储媒体，是存储方案16～23的程序的计算机可读存储媒体。
附图说明
图1是表示本发明的概略构成的方框图。
图2是表示动态图象位置信息表的一个例子的说明图。
图3是表示画面构成的一个例子的说明图。
图4是第1实施形态的控制方框图。
图5是第1实施形态的控制操作程序图。
图6是表示动态图象-信息表的其它例子的说明图。
图7是第1实施形态的变形例的控制操作程序图。
图8是第2实施形态的控制方框图。
图9是第2实施形态的控制操作程序图。
图10是第3实施形态的控制方框图。
图11是第3实施形态的控制操作程序图。
图12是第3实施形态的变形例的控制方框图。
图13是第4实施形态的控制方框图。
图14是第4实施形态的控制操作程序图。
具体实施方式
[基本构成]
图1表示采用本发明的第1实施形态的信息处理装置的硬件构成。
信息处理装置10可以由通常的个人计算机构成，备有PC主体1、由CRT和液晶显示装置等构成的显示器2、扬声器3、鼠标和跟踪球、触摸面板、键盘等的输入器件4、和可以与因特网连接的调制解调器5等。调制解调器5采用例如通过公众线路进行因特网连接的ADSL调制解调器等。
PC主体1具有可以通过调制解调器5和公众线路与ISP(因特网服务提供者)20连接，从在ISP20中准备好的信息流数据中下载多个动态图象信息的构成。下载的多个动态图象信息在显示器2上预先由程序设定的显示位置上显示出来。当然，也可以构成为用通过程序准备的工具由用户设定显示位置。
图2表示关于动态图象信息的显示位置的位置信息表的一个例子。
该位置信息表备有信道号码、中心位置、左右宽度、上下高度等的项目，分别存储各信道号码CHi(i＝1～n)的动态图象信息的中心坐标位置(CXi，CYi)、左右宽度Wi、上下高度Hi。对于每个显示的信道数n设定该位置信息表，并直到在PC主体1中可以处理的最大信道数或在显示器2上可以显示的最大信道数准备好该位置信息表。
图3表示根据设定在这种位置信息表中的显示位置进行动态图象信息的显示时的显示画面的一个例子。这里，显示信道数表示为3个，能够根据各个中心的坐标位置(CXi，CYi)、左右宽度Wi、上下高度Hi，确定各动态图象信息的显示位置。
[第1实施形态]
图4表示本发明的第1实施形态的控制方框图。
该信息处理装置100备有从动态图象源200取得多个动态图象信息的动态图象显示控制装置101。图象显示控制装置101，例如，按照图2所示的位置信息表确定各动态图象信息的显示位置，输出该动态图象位置信息和动态图象信息。
光标位置确定装置102接受由鼠标和跟踪球、触摸面板、键盘、其它的指示器件构成的输入器件140输入的光标指示信息，根据该光标指示信息和现在的光标显示位置，算出下一个光标位置信息并进行输出。
将从光标位置确定装置102输出的光标位置信息输入到光标图象生成装置103。光标图象生成装置103根据光标位置信息生成光标图象信息并进行输出。
将从动态图象显示控制装置101输出的动态图象信息和动态图象位置信息与从光标图象生成装置103输出的光标图象信息输入到显示图象生成装置104。显示图象生成装置104备有VRAM等的图象输出用缓冲器，根据它的位置信息配置多个动态图象信息，并且合成光标图象输出到显示装置120。
将从动态图象显示控制装置101输出的动态图象位置信息和从光标位置确定装置102输出的光标位置信息输入到距离信息生成装置105。距离信息生成装置105根据动态图象位置信息和光标位置信息算出各动态图象信息的显示位置和光标的显示位置的距离。能够将该各动态图象信息的显示位置和光标的显示位置的距离作为动态图象信息的中心位置与光标的中心位置之间的距离。又，能够为了当光标位于动态图象信息的视窗内时，将该距离设定为“0”而进行构成。
将由距离信息生成装置105生成的距离信息输入到动态图象选择装置106。在动态图象选择装置106中，根据由距离信息生成装置105生成的距离信息，确定是否输出与哪个动态图象信息对应的声音数据。例如，能够为了在各动态图象信息的距离信息中选择距离值最小的动态图象信息而进行构成。
动态图象选择装置106根据选择的动态图象信息将声音输出选择信息输出到声音输出选择装置107。声音输出选择装置107在来自动态图象源200的多个动态图象信息中，选择地取得与在声音输出选择信息中设定的动态图象信息对应的声音数据，将它输出到声音输出装置130。
我们根据图5的操作程序图说明在该构成中的工作。
在步骤S11，初始化变数i的值。
在步骤S12，读入光标位置信息。
在步骤S13，判断光标的显示位置是否进入信道号码CHi的动态图象信息的显示框内。作为动态图象信息的位置信息表，如图6所示，除了用信道号码、中心位置、显示宽度、显示高度的各项目外，还能够备有并使用近旁宽度、近旁高度的项目。当光标的显示位置处于由信道号码CHi的动态图象信息的中心坐标位置(CXi，CYi)和近旁宽度NWi、近旁高度NHi规定的范围内时，判断进入了这个动态图象信息的显示框内。这时，能够在显示动态图象信息的视窗周围用预定距离范围设定显示框，为了当光标进入该显示框内时判断选择了该动态图象信息而进行构成。当判断光标的显示位置进入信道号码CHi的动态图象信息的显示框内时，行进到步骤S16。
在步骤S16，将与信道号码CHi的动态图象信息对应的声音数据输出到声音输出装置130。
在步骤S13，当判断光标的显示位置没有进入信道号码CHi的动态图象信息的显示框内时，行进到步骤S14。
在步骤S14，判断变数i的值是否达到正在显示的动态图象信息数n。当变数i＝显示信道数n时，行进到步骤S11。如果不是则行进到步骤S15。
在步骤S15，使变数i的值增加1，行进到步骤S13。
当这样构成时，例如即便鼠标光标的显示位置不在动态图象信息的视窗上时，也能够为了识别在视窗近旁，输出与该动态图象信息对应的声音数据而进行构成。用户用鼠标和跟踪球、其它的指示器件移动光标，使光标接近所要的动态图象信息的视窗，使能够听到它的声音数据，容易地识别动态图象信息的内容成为可能。
<变形例1>
也可以构成为选择离光标的显示位置最近的动态图象信息并输出声音数据。这时的操作程序图如图7所示。
在步骤S21，初始化变数i的值。
在步骤S22，读入光标位置信息。
在步骤S23，算出光标的显示位置与信道号码CHi的动态图象信息的显示位置的距离di。也可以将这个距离di作为显示动态图象信息的视窗的中心坐标与光标的中心坐标之间的距离，又也可以作为显示动态图象信息的视窗框与光标的中心坐标的最短距离。
在步骤S24，判断变数i的值是否达到正在显示的动态图象信息数n。当变数i＝显示信道数n时，行进到步骤S26。如果不是则行进到步骤S25。
在步骤S25，使变数i的值增加1，行进到步骤S23。
在步骤S26，判定动态图象信息的显示位置与光标的显示位置之间的距离di中的最小值，将与它对应的信道CHi的动态图象信息确定为选择图象。
在步骤S27，输出与选择的动态图象信息对应的声音数据。
当这样构成时，能够为了不需要准备好用于在显示动态图象信息的视窗近旁设置显示框的表，输出与光标显示位置最近的动态图象信息对应的声音数据而进行构成。
<变形例2>
也可以构成为关于输出声音数据的动态图象信息，通过变更它的显示视窗的框的颜色，或者变更没有选择的动态图象信息的色调等，能够识别选择的信道。
<变形例3>
也可以构成为与动态图象信息的显示位置与光标的显示位置之间的di成反比地，放大与各动态图象信息对应的声音数据，合成各声音数据并输出。
当令光标的显示位置的中心坐标为(CuX，CuY)、信道CHi的动态图象信息的中心坐标为(CXi，CYi)、这些坐标间的距离为di时，能够用下列公式进行计算
di＝((CuX-CXi)2+(CuY-CYi)2)1/2
用这个距离di可以将与该动态图象信息对应的声音数据的放大率CHig[dB]设定为
CHig[dB]＝a·di(其中，a是a＜0的常数)。
由此，以大音量输出光标显示位置附近的动态图象信息的声音数据，以小音量输出离光标显示位置远的动态图象信息的声音数据。所以，用鼠标等的指示器件使接近光标的动态图象信息的声音数据的音量增大，容易掌握该动态图象信息的内容，并且因为关于其它的动态图象信息一面音量小一面输出声音数据，所以有助于掌握内容。
<变形例4>
也可以构成为算出关于从光标显示位置看的动态图象信息的显示位置的方向的方向信息，在声音输出装置130生成的音象空间内根据方向信息和距离信息定位与动态图象信息对应的声音数据的音象。
如上所述，光标的显示位置和动态图象信息的显示位置可以分别由显示装置上的坐标表示，可以用该坐标算出从光标看的动态图象信息的显示位置的方向信息。用这种方向信息和距信息di，可以在声音输出装置130生成的音象空间内定位声音数据的音象。但是，这时，声音输出装置130备有2个以上的扬声器，为了根据从各扬声器输出的声音生成音象空间需要控制来自各扬声器的输出。
例如，当令光标的中心坐标为(CuX，CuY)、信道CHi的中心坐标为(CXi，CYi)时，可以用下列公式算出X轴方向的距离CXid，
CXid＝CuX-CXi
通过用这个X轴方向的距离CXid，确定在左右扬声器输出的音量并进行输出，可以进行音象的定位。
根据这种构成，能够保持在显示装置120的动态图象信息的显示位置与从声音输出装置130输出的声音数据的位置之间的匹配性，使促进掌握动态图象信息的内容变得容易。
[第2实施形态]
图8表示本发明的第2实施形态的控制方框图。
该信息处理装置150备有从动态图象源200取得多个动态图象信息的动态图象显示控制装置101。动态图象显示控制装置101，与第1实施形态相同，按照预先设定的位置信息表确定各动态图象信息的显示位置，输出该动态图象位置信息和动态图象信息。
显示图象生成装置104，与第1实施形态相同，备有VRAM等的图象输出用缓冲器，根据该位置信息配置多个动态图象信息进行图象输出。
将来自动态图象显示控制装置101的动态图象位置信息输入到动态图象选择装置108。动态图象选择装置108具有用于在预定周期选择多个信道的动态图象信息的算法。例如，构成为通过选择一个信道号码，输出用于选择与该动态图象信息对应的声音数据的声音选择信息，每次经过一定时间切换以信道号码顺序选择的信道号码。
将从动态图象选择装置108输出的声音输出选择信息输入到声音输出选择装置107。声音输出选择装置107将与根据声音输出选择信息选择的信道的动态图象信息对应的声音数据输出到声音输出装置130。
依次地选择正在显示的动态图象信息，构成为在一定时间输出与选择的动态图象信息对应的声音数据的算法如图9的操作程序图所示。
在步骤S31，初始化变数i的值。
在步骤S32，对定时器进行初始化，由该定时器开始进行经过的时间的计数。该定时器是对输出与选择的信道的动态图象信息对应的声音数据的时间进行计时的定时器。
在步骤S33，将与信道CHi的图象信息对应的声音数据输出到声音输出装置130。
在步骤S34，判断定时器的计数值是否达到预定值。当判断定时器的计数值达到预先设定的预定值时，行进到步骤S35。
在步骤S35，使变数i的值增加1，选择下一个信道号码的动态图象信息。在步骤S36，判断变数i的值是否超过正在显示的信道数n。当判断变数i的值没有超过信道数n时，行进到步骤S32。当判断变数i的值超过信道数n时，行进到步骤S31。
动态图象选择装置108是构成为按照这种算法选择动态图象信息，输出与选择的动态图象信息对应的声音数据，从而通过按周期切换选择的动态图象信息，能够在一定时间输出与它对应的声音数据。用户通过进行用指示器件等指定各动态图象信息的作业，可以按周期识别与各动态图象信息对应的声音数据，容易掌握各动态图象信息的内容。
[第3实施形态]
图10表示本发明的第3实施形态的控制方框图。
它的信息处理装置160备有从动态图象源200取得多个动态图象信息的动态图象显示控制装置101。动态图象显示控制装置101，与第1实施形态相同，确定各动态图象信息的显示位置，输出该动态图象位置信息和动态图象信息。
光标位置确定装置102接受由鼠标、跟踪球、触摸面板、键盘、其它的指示器件构成的输入器件140输入的光标指示信息，根据该光标指示信息和现在的光标显示位置，算出下一个光标位置信息和并进行输出。
将从光标位置确定装置102输出的光标位置信息输入到光标图象生成装置103。光标图象生成装置103根据光标位置信息生成光标图象信息并进行输出。
将从动态图象显示控制装置101输出的动态图象位置信息与从光标位置确定装置102输出的光标位置信息输入到距离信息生成装置105。距离信息生成装置105根据动态图象位置信息和光标位置信息算出各动态图象信息的显示位置与光标的显示位置的距离，能够将这个各动态图象信息的显示位置与光标的显示位置的距离作为动态图象信息的中心位置和光标的中心位置之间的距离。又，也可以构成为当光标位于动态图象信息的视窗内时，将该距离设定为“0”。
将由距离信息生成装置105生成的距离信息输入到动态图象选择装置106。在动态图象选择装置106中，根据由距离信息生成装置105生成的距离信息，确定是否输出与哪个动态图象信息对应的声音数据。例如，也可以构成为在各动态图象信息的距离信息中选择距离值最小的动态图象信息。
动态图象选择装置106根据选择的动态图象信息将声音输出选择信息输出到声音输出选择装置107。声音输出选择装置107在来自动态图象源200的多个动态图象信息中，选择地取得与在声音输出选择信息中设定的动态图象信息对应的声音数据，将它输出到声音输出装置130。
将从声音输出选择装置107输出的声音数据输出到声音识别装置109。声音识别装置109从输入的声音数据识别具有意义的语言，提取它并将它变换成文字信息。
将由声音识别装置109变换的文字信息输入到识别文字显示装置110。识别文字显示装置110根据从声音识别装置109输入的文字信息生成在显示装置120上显示的文字数据，输出到显示图象生成装置104。
将从动态图象显示控制装置101输出的动态图象信息和动态图象位置信息、从光标图象生成装置103输出的光标图象信息和从识别文字显示装置110输出的文字数据输入到显示图象生成装置104。显示图象生成装置104备有VRAM等的图象输出用缓冲器，根据该位置信息配置多个动态图象信息，合成光标图象和文字数据，输出到显示装置120。
这里，从识别文字显示装置110输出的文字数据可以构成为在对应的动态图象信息的近旁显示出来，也可以构成为在显示装置120上明确显示表示从哪个动态图象信息得到的文字数据的信息。
又，也可以具有显示从与选择的信道的动态图象信息对应的声音数据取得的文字数据，而不从声音输出装置130输出声音数据的构成。
我们根据图11所示的操作程序图说明这时的工作。
在步骤S41，初始化变数i的值。
在步骤S12，读入光标位置信息。
在步骤S13，判断光标的显示位置是否进入信道号码CHi的动态图象信息的显示框内。这时，与第1实施形态相同，构成为在正在显示动态图象信息的视窗周围用预定距离范围设定显示框，当光标进入该显示框内时能够判断选择了该动态图象信息。当判断光标的显示位置进入信道号码CHi的动态图象信息的显示框内时，行进到步骤S44。
在步骤S44，将与信道号码CHi的动态图象信息对应的声音数据输出到声音输出装置130。
在步骤S45，从与信道号码CHi的动态图象信息对应的声音数据识别具有意义的语言并将它变换成文字数据。
在步骤S46，将识别的文字数据发送给显示图象生成装置104，在显示装置120上显示出来。
在步骤S43，当判断光标的显示位置没有进入信道号码CHi的动态图象信息的显示框内时，行进到步骤S47。
在步骤S47，判断变数i的值是否达到正在显示的动态图象信息数n。当变数i＝显示信道数n时，行进到步骤S41。如果不是则行进到步骤S48。
在步骤S48，使变数i的值增加1，行进到步骤S43。
当这样构成时，可以视觉地识别包含在与选择择的信道的动态图象信息对应的声音数据中的具有意义的语言，能够容易地掌握动态图象信息的内容。
<变形例>
图12表示第3实施形态的变形例的方框图。
在这个信息处理装置170中，具有只设置声音识别装置109和识别文字显示装置110显示的信道数，分别从与各信道的动态图象信息对应的声音数据提取具有意义的语言并将它变换成文字信息，输入到显示图象生成装置104，在显示装置120上显示出来的构成。
可以构成为将各文字数据显示在各个对应的动态图象信息的显示位置的近旁，也可以构成为只清单式地显示文字数据。
这时，可以将从与各动态图象信息对应的声音数据提取的语言分别显示在显示装置120上，能够容易地掌握各动态图象信息的内容。
[第4实施形态]
图13表示本发明的第4实施形态的控制方框图。
它的信息处理装置180备有从动态图象源200取得多个动态图象信息的动态图象显示控制装置101。动态图象显示控制装置101，与第1实施形态相同，确定各动态图象信息的显示位置，输出该动态图象位置信息和动态图象信息。
光标位置确定装置102接受由鼠标、跟踪球、触摸面板、键盘、其它的指示器件构成的输入器件140输入的光标指示信息，根据该光标指示信息和现在的光标显示位置，算出下一个光标位置信息和并进行输出。
将从光标位置确定装置102输出的光标位置信息输入到光标图象生成装置103。光标图象生成装置103根据光标位置信息生成光标图象信息并进行输出。
将从动态图象显示控制装置101输出的动态图象位置信息与从光标位置确定装置102输出的光标位置信息输入到距离信息生成装置105。距离信息生成装置105根据动态图象位置信息和光标位置信息算出各动态图象信息的显示位置与光标的显示位置的距离，能够将这个各动态图象信息的显示位置与光标的显示位置的距离作为动态图象信息的中心位置和光标的中心位置之间的距离。又，可以构成当光标位于动态图象信息的视窗内时，将该距离设定为“0”。
将由距离信息生成装置105生成的距离信息输入到动态图象选择装置106。在动态图象选择装置106中，根据由距离信息生成装置105生成的距离信息，确定输出与哪个动态图象信息对应的声音数据。例如，可以构成为在各动态图象信息中选择距离值最小的动态图象信息。
动态图象选择装置106根据选择的动态图象信息将声音输出选择信息输出到声音输出选择装置107。声音输出选择装置107在来自动态图象源200的多个动态图象信息中，选择性地取得与在声音输出选择信息中设定的动态图象信息对应的声音数据，将它输出到声音输出装置130。
将从声音输出选择装置107输出的声音数据输出到声音识别装置109。声音识别装置109从输入的声音数据识别具有意义的语言，提取它并将它变换成文字信息。
将由声音识别装置109变换的文字信息输入到识别文字显示装置110。识别文字显示装置110根据从声音识别装置109输入的文字信息生成在显示装置120上显示的文字数据，输出到显示图象生成装置104。
将从声音识别装置109输出的文字信息输入到主页检索装置111。主页检索装置111通过因特网连接装置113接入因特网，将从声音识别装置109取得的文字信息作为关键字在因特网上检索可以检索的主页。可以为了检索主页，与YAHOO、goo、google等的检索点连接，接收检索结果而进行构成。通过因特网连接装置113由主页检索装置111接收检索结果。并将它发射给主页显示装置112。
主页显示装置112接入从检索结果得到的主页的URL，取得主页信息，输出到显示图象生成装置104。主页显示装置112可以由Internet Explorer和Netscape Navigator等的Web处理器构成。又，可以通过因特网连接装置113接入因特网取得主页信息。
将从动态图象显示控制装置101输出的动态图象信息和动态图象位置信息、从光标图象生成装置103输出的光标图象信息、从识别文字显示装置110输出的文字数据和从主页显示装置112输出的主页信息输入到显示图象生成装置104。显示图象生成装置104备有VRAM等的图象输出用缓冲器，根据该位置信息配置多个动态图象信息，合成光标图象、文字数据和主页信息，输出到显示装置120。
我们根据图14所示的操作程序图说明这时的工作。
在步骤S51，初始化变数i的值。
在步骤S52，读入光标位置信息。
在步骤S53，判断光标的显示位置是否进入信道号码CHi的动态图象信息的显示框内。这时，与第1实施形态相同，可以构成为在正在显示动态图象信息的视窗周围用预定距离范围设定显示框，当光标进入该显示框内时能够判断选择了该动态图象信息。当判断光标的显示位置进入信道号码CHi的动态图象信息的显示框内时，行进到步骤S54。
在步骤S54，将与信道号码CHi的动态图象信息对应的声音数据输出到声音输出装置130。
在步骤S55，从与信道号码CHi的动态图象信息对应的声音数据识别具有意义的语言并将它变换成文字数据。
在步骤S56，将识别的文字数据发送给显示图象生成装置104，在显示装置120上显示出来。
在步骤S57，从根据声音识别得到的文字数据检索主页。
在步骤S58，根据进行主页检索得到的检索结果，取得主页信息，在显示装置120上显示出来。
在步骤S53，当判断光标的显示位置没有进入信道号码CHi的动态图象信息的显示框内时，行进到步骤S59。
在步骤S59，判断变数i的值是否达到正在显示的动态图象信息数n。当变数i＝显示信道数n时，行进到步骤S51。如果不是则行进到步骤S60。
在步骤S60，使变数i的值增加1，行进到步骤S53。
当这样构成时，可以从与动态图象信息对应的声音数据得到的语言取得关联主页的信息，将它在显示装置上显示出来。因此，能够容易地取得各动态图象信息的关联信息，能够简单地取得种种数据。
如果根据本发明，则能够容易地从显示装置中显示的多个动态图象信息识别与特定的动态图象信息对应的声音数据，容易掌握该动态图象信息的内容。

Claims (24)

1.一种多信道信息处理装置，是同时在显示装置上显示多个动态图象信息的多信道信息处理装置，其特征在于备有：
取得上述多个动态图象信息，确定与上述多个动态图象信息在显示装置上的显示位置有关的动态图象位置信息，根据上述动态图象位置信息输出上述多个动态图象信息的动态图象信息控制装置、
根据通过输入器件输入的光标指示信息而算出光标位置信息，根据上述光标位置信息而生成光标图象信息并输出的光标位置控制装置、
合成上述动态图象显示控制装置输出的多个动态图象信息和上述光标位置控制装置输出的光标图象信息并在上述显示装置上显示出来的显示图象生成装置、
根据与上述多个动态图象信息对应的动态图象位置信息和由上述光标位置控制装置算出的光标位置信息，算出各动态图象信息的显示位置与光标的显示位置的距离，生成距离信息的距离信息生成装置、和
根据上述距离信息生成装置生成的距离信息而确定与上述多个动态图象信息对应的声音数据的音量并输出到声音输出装置的声音输出控制装置。
2.根据权利要求1中记载的多信道信息处理装置，其特征在于：上述声音输出控制装置将与由上述距离信息生成装置生成的距离信息中距离值最小的动态图象信息对应的声音数据的音量设定在预先确定的音量Va上，将与其它动态图象信息对应的声音数据的音量设定在比音量Va小的预先确定的音量Vb上。
3.根据权利要求1中记载的多信道信息处理装置，其特征在于：上述声音输出控制装置，与由上述距离信息生成装置生成的距离信息中的距离值成反比地，设定与上述多个动态图象信息对应的声音数据的音量。
4.根据权利要求1中记载的多信道信息处理装置，其特征在于：由上述距离信息生成装置生成的距离信息包含与从光标显示位置看的各动态图象信息的显示位置的方向有关的方向信息，上述声音输出控制装置为了在由上述声音输出装置所形成的音象空间中对与上述多个动态图象信息对应的声音数据进行定位，根据上述距离信息将该声音数据输出到上述声音输出装置。
5.根据权利要求1中记载的多信道信息处理装置，其特征在于进一步备有：
识别包含在与上述多个动态图象信息对应的声音数据中语言的声音数据识别装置、和
将由上述声音数据识别装置识别的语言变换成文字信息并在上述显示装置上显示出来的文字信息显示装置。
6.根据权利要求5中记载的多信道信息处理装置，其特征在于备有：
因特网连接装置、
将由上述声音数据识别装置识别的语言作为关键字而检索存在于因特网上的关联主页的主页检索装置、和
将由上述主页检索装置检索出的主页在上述显示装置上显示出来的主页显示装置。
7.根据权利要求1中记载的多信道信息处理装置，其特征在于：进一步备有根据预定的算法从在上述显示装置上显示出来的多个动态图象信息中选择特定的动态图象信息的动态图象选择装置，上述声音输出控制装置将与上述动态图象选择装置选择的动态图象对应的声音数据输出到声音输出装置。
8.根据权利要求7中记载的多信道信息处理装置，其特征在于：上述动态图象选择装置切换按每个预定时间选择的动态图象信息。
9.一种多信道信息处理方法，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法，其特征在于包含：
确定在上述显示装置上进行显示的动态图象信息的在显示装置上的显示位置的步骤、
根据确定的显示位置输出上述多个动态图象信息的步骤、
接受从上述输入器件输入的光标指示信息的步骤、
根据上述光标指示信息而算出显示光标的光标位置信息的步骤、
根据上述光标位置信息生成光标图象信息的步骤、
合成上述多个动态图象信息和上述光标图象信息并生成显示图象且将它输出到上述显示装置上的步骤、
算出上述多个动态图象信息的显示位置与上述光标位置信息之间的距离并生成距离信息的步骤、和
根据上述距离信息确定与多个动态图象信息对应的声音数据的音量并输出到声音输出装置的步骤。
10.根据权利要求9中记载的多信道信息处理方法，其特征在于：将与关于多个动态图象信息所生成的距离信息中距离值最小的动态图象信息对应的声音数据的音量设定在预先确定的音量Va上，将与其它动态图象信息对应的声音数据的音量设定在比上述音量Va小的预先确定的音量Vb上。
11.根据权利要求9中记载的多信道信息处理方法，其特征在于：与各距离信息中的距离值成反比地，设定与上述多个动态图象信息对应的声音数据的音量。
12.根据权利要求9中记载的多信道信息处理方法，其特征在于进一步备有：
生成与从光标的显示位置看的各动态图象信息的显示位置的方向有关的方向信息的步骤、和
为了将与上述多个动态图象信息对应的声音数据定位在与上述声音输出装置的音象空间中的上述距离信息和方向信息相应的音象位置上，将上述声音数据输出到声音输出装置的步骤。
13.根据权利要求9中记载的多信道信息处理方法，其特征在于进一步备有：
声音识别包含在与上述多个动态图象信息对应的声音数据中的语言的步骤、和
将已进行声音识别的语言变换成文字信息并在上述显示装置上显示出来的步骤。
14.根据权利要求13中记载的多信道信息处理方法，其特征在于备有：
与因特网连接的步骤、
将已进行声音识别的语言作为关键字而检索存在于因特网上的关联主页的步骤、和
将检索出的关联主页在上述显示装置上显示出来的步骤。
15.根据权利要求9中记载的多信道信息处理方法，其特征在于进一步备有：
根据预定的算法从在上述显示装置上显示出来的多个动态图象信息选择特定的动态图象信息的步骤、和
将与选择的动态图象对应的声音数据输出到上述声音输出装置的步骤。
16.一种程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施包含下述步骤的多信道处理方法：
确定上述多个动态图象信息在显示装置上的显示位置的步骤、
根据确定的显示位置输出上述多个动态图象信息的步骤、
接受从上述输入器件输入的光标指示信息的步骤、
根据上述光标指示信息算出显示光标的光标位置信息的步骤、
根据上述光标位置信息生成光标图象信息的步骤、
合成上述多个动态图象信息和上述光标图象信息生成显示图象将它输出到上述显示装置上的步骤、
算出上述多个动态图象信息的显示位置与上述光标位置信息之间的距离生成距离信息的步骤、和
根据上述距离信息确定与上述多个动态图象信息对应的声音数据的音量并输出到声音输出装置的步骤。
17.一种程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施包含下述步骤的多信道处理方法：
确定上述多个动态图象信息在显示装置上的显示位置的步骤、
根据确定的显示位置输出上述多个动态图象信息的步骤、
接受从上述输入器件输入的光标指示信息的步骤、
根据上述光标指示信息算出显示光标的光标位置信息的步骤、
根据上述光标位置信息生成光标图象信息的步骤、
合成上述多个动态图象信息和上述光标图象信息生成显示图象将它输出到上述显示装置上的步骤、
算出上述多个动态图象信息的显示位置与上述光标位置信息之间的距离生成距离信息的步骤、和
将与关于上述多个动态图象信息生成的距离信息中距离值最小的动态图象信息对应的声音数据的音量设定在预先确定的音量Va上，将与其它动态图象信息对应的声音数据的音量设定在比上述音量Va小的预先确定的音量Vb上并输出到声音输出装置的步骤的多信道信息处理方法。
18.一种程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施包含下述步骤的多信道处理方法：
确定上述多个动态图象信息在显示装置上的显示位置的步骤、
根据确定的显示位置输出上述多个动态图象信息的步骤、
接受从上述输入器件输入的光标指示信息的步骤、
根据上述光标指示信息算出显示光标的光标位置信息的步骤、
根据上述光标位置信息生成光标图象信息的步骤、
合成上述多个动态图象信息和上述光标图象信息生成显示图象将它输出到上述显示装置上的步骤、
算出上述多个动态图象信息的显示位置与上述光标位置信息之间的距离生成距离信息的步骤、和
与各距离信息中的距离距离值成反比地进行设定与上述多个动态图象信息对应的声音数据的音量并输出到声音输出装置的步骤的多信道信息处理方法。
19.一种程序，它是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施包含下述步骤的多信道处理方法：
确定上述多个动态图象信息在显示装置上的显示位置的步骤、
根据确定的显示位置输出上述多个动态图象信息的步骤、
接受从上述输入器件输入的光标指示信息的步骤、
根据上述光标指示信息算出显示光标的光标位置信息的步骤、
根据上述光标位置信息生成光标图象信息的步骤、
合成上述多个动态图象信息和上述光标图象信息生成显示图象将它输出到上述显示装置上的步骤、
算出上述多个动态图象信息的显示位置与上述光标位置信息之间的距离生成距离信息的步骤、
生成关于从光标的显示位置看的各动态图象信息的显示位置的方向的方向信息的步骤、和
为了在与上述声音输出装置的音象空间中的距离信息和方向信息对应的音象位置上定位与上述多个动态图象信息对应的声音数据，并输出到上述声音输出装置的步骤的多信道信息处理方法。
20.一种程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施备有下述步骤的多信道处理方法：
确定上述多个动态图象信息在显示装置上的显示位置的步骤、
根据确定的显示位置输出上述多个动态图象信息的步骤、
接受从上述输入器件输入的光标指示信息的步骤、
根据上述光标指示信息算出显示光标的光标位置信息的步骤、
根据上述光标位置信息生成光标图象信息的步骤、
声音识别包含在与上述多个动态图象信息对应的声音数据中的语言的步骤、
将声音识别的语言变换成文字信息并进行输出的步骤、和
合成上述多个动态图象信息、上述光标图象信息和上述文字信息生成显示图象将它输出到上述显示装置上的步骤的多信道信息处理方法。
21.一种程序，它是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施备有下述步骤的多信道处理方法：
确定上述多个动态图象信息在显示装置上的显示位置的步骤、
根据确定的显示位置输出上述多个动态图象信息的步骤、
接受从上述输入器件输入的光标指示信息的步骤、
根据上述光标指示信息算出显示光标的光标位置信息的步骤、
根据上述光标位置信息生成光标图象信息的步骤、
算出上述多个动态图象信息的显示位置与上述光标位置信息之间的距离生成距离信息的步骤、
根据上述距离信息从上述多个动态图象信息中选择特定的动态图象信息，将与该动态图象信息对应的声音数据输出到声音输出装置的步骤、
声音识别包含在输出到上述声音输出装置的声音数据中的语言的步骤、
将声音识别的语言变换成文字信息并进行输出的步骤、和
合成上述多个动态图象信息、上述光标图象信息和上述文字信息生成显示图象将它输出到上述显示装置上的步骤的多信道信息处理方法。
22.一种程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施备有下述步骤的多信道处理方法：
确定上述多个动态图象信息在显示装置上的显示位置的步骤、
根据确定的显示位置输出上述多个动态图象信息的步骤、
接受从上述输入器件输入的光标指示信息的步骤、
根据上述光标指示信息算出显示光标的光标位置信息的步骤、
根据上述光标位置信息生成光标图象信息的步骤、
算出上述多个动态图象信息的显示位置与上述光标位置信息之间的距离生成距离信息的步骤、
根据上述距离信息从上述多个动态图象信息中选择特定的动态图象信息，将与该动态图象信息对应的声音数据输出到声音输出装置的步骤、
声音识别包含在输出到上述声音输出装置的声音数据中的语言的步骤、
连接因特网的步骤、
将声音识别的语言作为关键字检索存在于因特网上的关联主页的步骤、和合成上述多个动态图象信息、上述光标图象信息和上述检索出的关联主页生成显示图象将它输出到上述显示装置上的步骤的多信道信息处理方法。
23.一种程序，是同时在显示装置上显示多个动态图象信息时的多信道信息处理方法的程序，用于在计算机中实施备有下述步骤的多信道处理方法：
确定上述多个动态图象信息在显示装置上的显示位置的步骤、
根据确定的显示位置输出上述多个动态图象信息的步骤、
根据预定的算法从在上述显示装置上显示出来的多个动态图象信息选择特定的动态图象信息的步骤、和
将与选择的动态图象对应的声音数据输出到上述声音输出装置的步骤的多信道信息处理方法。
24.一种存储媒体，是存储根据权利要求16～23的程序的计算机可读存储媒体。
CN01823081.4A 2001-03-26 2001-03-26 多信道信息处理装置和多信道信息处理方法 Expired - Fee Related CN1258285C (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2001/002423 WO2002078328A1 (fr) 2001-03-26 2001-03-26 Processeur d'informations multicanal

Publications (2)

Publication Number Publication Date
CN1494801A true CN1494801A (zh) 2004-05-05
CN1258285C CN1258285C (zh) 2006-05-31

Family

ID=11737161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN01823081.4A Expired - Fee Related CN1258285C (zh) 2001-03-26 2001-03-26 多信道信息处理装置和多信道信息处理方法

Country Status (4)

Country Link
US (1) US7633487B2 (zh)
JP (1) JP3910537B2 (zh)
CN (1) CN1258285C (zh)
WO (1) WO2002078328A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101132516B (zh) * 2007-09-28 2010-07-28 华为终端有限公司 一种视频通讯的方法、系统及用于视频通讯的装置
US8037507B2 (en) 2006-12-27 2011-10-11 Canon Kabushiki Kaisha Video/audio output apparatus and video/audio output method
US8497843B2 (en) 2009-01-19 2013-07-30 Renesas Electronics Corporation Controller driver, display device, and control method therefor
CN105700848A (zh) * 2014-12-12 2016-06-22 三星电子株式会社 用于控制声音输出的装置和方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7366712B2 (en) * 2001-05-31 2008-04-29 Intel Corporation Information retrieval center gateway
US20030122777A1 (en) * 2001-12-31 2003-07-03 Grover Andrew S. Method and apparatus for configuring a computer system based on user distance
US7062444B2 (en) * 2002-01-24 2006-06-13 Intel Corporation Architecture for DSR client and server development platform
JP4011949B2 (ja) * 2002-04-01 2007-11-21 キヤノン株式会社 マルチ画面合成装置及びデジタルテレビ受信装置
KR100906136B1 (ko) * 2003-12-12 2009-07-07 닛본 덴끼 가부시끼가이샤 정보 처리용 로봇
JP4781059B2 (ja) * 2004-12-14 2011-09-28 富士通テン株式会社 表示装置及び出力制御装置
EP1705916A1 (en) * 2005-03-25 2006-09-27 Alcatel Interactive displaying system
US7509593B2 (en) * 2005-05-12 2009-03-24 Microsoft Corporation Mouse sound volume control
WO2008093630A1 (ja) * 2007-01-29 2008-08-07 Access Co., Ltd. 動画生成方法、動画生成プログラム、および動画生成装置
JPWO2009081478A1 (ja) * 2007-12-21 2011-05-06 富士通株式会社 電子装置及びプログラム
KR101854141B1 (ko) * 2009-01-19 2018-06-14 삼성전자주식회사 디스플레이 정보 제어 장치 및 방법
JP5789075B2 (ja) * 2009-01-22 2015-10-07 理想科学工業株式会社 インクジェットインク
CN101923554A (zh) * 2009-06-11 2010-12-22 鸿富锦精密工业（深圳）有限公司 网页查找方法
JP5929243B2 (ja) * 2012-01-30 2016-06-01 カシオ計算機株式会社 情報処理装置、情報処理方法、及びプログラム
US9066048B2 (en) 2013-06-17 2015-06-23 Spotify Ab System and method for switching between audio content while navigating through video streams
US10097604B2 (en) 2013-08-01 2018-10-09 Spotify Ab System and method for selecting a transition point for transitioning between media streams
US9529888B2 (en) 2013-09-23 2016-12-27 Spotify Ab System and method for efficiently providing media and associated metadata
US9654532B2 (en) 2013-09-23 2017-05-16 Spotify Ab System and method for sharing file portions between peers with different capabilities
US9063640B2 (en) 2013-10-17 2015-06-23 Spotify Ab System and method for switching between media items in a plurality of sequences of media items
US9235602B2 (en) * 2013-10-25 2016-01-12 Parham Aarabi Method, system and computer program for interactive spatial link-based image searching, sorting and/or displaying
US9423998B2 (en) 2014-03-28 2016-08-23 Spotify Ab System and method for playback of media content with audio spinner functionality
EP3059973A1 (en) * 2014-03-28 2016-08-24 Spotify AB System and method for multi-track playback of media content
US9606620B2 (en) 2015-05-19 2017-03-28 Spotify Ab Multi-track playback of media content during repetitive motion activities
TWI736542B (zh) * 2015-08-06 2021-08-21 日商新力股份有限公司 資訊處理裝置、資料配訊伺服器及資訊處理方法、以及非暫時性電腦可讀取之記錄媒體
US20170052926A1 (en) * 2015-08-17 2017-02-23 Ci&T System, method, and computer program product for recommending content to users
US9798514B2 (en) 2016-03-09 2017-10-24 Spotify Ab System and method for color beat display in a media content environment
CA3049732C (en) 2017-01-27 2021-11-23 Appario Global Solutions (AGS) AG Method and system for transmitting alternative image content of a physical display to different viewers

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04114576A (ja) * 1990-09-04 1992-04-15 Sony Corp 画面合成機能を備えた電子機器の音声出力回路
JPH05113864A (ja) * 1991-10-22 1993-05-07 Canon Inc マルチウインドウ動画表示方法及び装置
JP3426267B2 (ja) * 1992-09-29 2003-07-14 沖電気工業株式会社 音声出力制御方法
JPH07129356A (ja) * 1993-11-08 1995-05-19 Matsushita Electric Ind Co Ltd マルチウィンドウズシステム
JP3337798B2 (ja) * 1993-12-24 2002-10-21 キヤノン株式会社 画像データ及び音声データを処理する装置、データ処理装置並びにデータ処理方法
US5736982A (en) * 1994-08-03 1998-04-07 Nippon Telegraph And Telephone Corporation Virtual space apparatus with avatars and speech
JPH08292872A (ja) * 1995-04-21 1996-11-05 Hitachi Ltd 音声誘導装置及び方法
US5796945A (en) * 1995-06-07 1998-08-18 Tarabella; Robert M. Idle time multimedia viewer method and apparatus for collecting and displaying information according to user defined indicia
US6118493A (en) * 1997-04-01 2000-09-12 Ati Technologies, Inc. Method and apparatus for selecting a channel from a multiple channel display
US6081266A (en) * 1997-04-21 2000-06-27 Sony Corporation Interactive control of audio outputs on a display screen
KR100330012B1 (ko) * 1998-09-14 2002-08-08 삼성전자 주식회사 텔레비전의채널변경방법
US6469712B1 (en) * 1999-03-25 2002-10-22 International Business Machines Corporation Projected audio for computer displays

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8037507B2 (en) 2006-12-27 2011-10-11 Canon Kabushiki Kaisha Video/audio output apparatus and video/audio output method
CN101212577B (zh) * 2006-12-27 2015-03-11 佳能株式会社 视频/音频输出设备和视频/音频输出方法
CN101132516B (zh) * 2007-09-28 2010-07-28 华为终端有限公司 一种视频通讯的方法、系统及用于视频通讯的装置
US8259625B2 (en) 2007-09-28 2012-09-04 Huawei Technologies Co., Ltd. Method, system, and device of video communication
US8497843B2 (en) 2009-01-19 2013-07-30 Renesas Electronics Corporation Controller driver, display device, and control method therefor
CN105700848A (zh) * 2014-12-12 2016-06-22 三星电子株式会社 用于控制声音输出的装置和方法
CN105700848B (zh) * 2014-12-12 2019-10-08 三星电子株式会社 用于控制声音输出的装置和方法

Also Published As

Publication number Publication date
CN1258285C (zh) 2006-05-31
JP3910537B2 (ja) 2007-04-25
JPWO2002078328A1 (ja) 2004-07-15
US7633487B2 (en) 2009-12-15
US20040056885A1 (en) 2004-03-25
WO2002078328A1 (fr) 2002-10-03

Similar Documents

Publication Publication Date Title
CN1258285C (zh) 多信道信息处理装置和多信道信息处理方法
CN1198478C (zh) 电子设备及其模拟像处理方法
CN1161946C (zh) 便携电话
CN1235389C (zh) 图像信息分布方法及系统、中央和终端设备及扫描仪
CN1627316A (zh) 信息处理装置及其控制方法
CN1045677C (zh) 目标图像显示装置
CN1131773A (zh) 手写文字输入显示装置
CN1195374C (zh) 图像信号处理装置
CN1914666A (zh) 声音合成装置
CN1713583A (zh) 通过合作筛选的信息传输系统、信息处理设备以及程序
CN1289097A (zh) 能够指示变化趋势的信息处理系统
CN1517915A (zh) 在信息终端显示图像用的信息处理系统
CN101053693A (zh) 内容检索和选择方法、内容回放装置、以及搜索服务器
CN1967588A (zh) 交互式问卷定制、交互系统及方法
CN1585512A (zh) 一种向移动终端递送内容的系统和方法
CN1591425A (zh) 用于产生网站导航的方法
CN101076166A (zh) 具有显示按钮的装置及用于所述装置的显示方法和介质
CN1867047A (zh) 图像处理设备和方法及程序
CN1578219A (zh) 复合内容传递方法和传递系统
CN1208745C (zh) 对象处理装置和对象属性变更方法
CN1684059A (zh) 一种多媒体信息文件的编辑方法和装置
CN1949227A (zh) 一种针对可播放媒体文件的搜索方法、系统及装置
CN1960192A (zh) 便携终端以及用于该便携终端的程序
CN1508754A (zh) 图像检索程序、存储有该程序的存储介质、图像检索装置和图像检索方法
CN1825310A (zh) 用于浏览多媒体文档的方法和系统以及计算机产品

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060531

Termination date: 20170326

CF01 Termination of patent right due to non-payment of annual fee