CN111801952A - 信息处理装置、信息处理方法、信息处理系统和程序 - Google Patents

信息处理装置、信息处理方法、信息处理系统和程序 Download PDF

Info

Publication number
CN111801952A
CN111801952A CN201980016614.XA CN201980016614A CN111801952A CN 111801952 A CN111801952 A CN 111801952A CN 201980016614 A CN201980016614 A CN 201980016614A CN 111801952 A CN111801952 A CN 111801952A
Authority
CN
China
Prior art keywords
speaker
information processing
processing apparatus
speakers
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980016614.XA
Other languages
English (en)
Inventor
饭田文彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111801952A publication Critical patent/CN111801952A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B31/00—Associated working of cameras or projectors with sound-recording or sound-reproducing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Landscapes

  • Signal Processing (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

[问题]提供使得可以根据投影区域的位置从多个扬声器中选择合适的扬声器的技术。[解决方案]根据本发明的信息处理装置设置有控制单元，该控制单元获取关于其中可以投影图像的多个投影区域中的指定投影区域的位置的信息，获取关于能够输出音频的多个扬声器中的每一个的位置的信息，并且基于关于指定投影区域的位置的信息以及关于多个扬声器中的每一个的位置的信息来选择要用于指定投影区域的扬声器。

Description

信息处理装置、信息处理方法、信息处理系统和程序
技术领域
本技术涉及从多个扬声器中选择要使用的扬声器的技术。
背景技术
在相关技术中，可以将视频投影在屏幕、墙壁等上的投影仪是众所周知的。
专利文献1描述了一种投影仪，其可以通过自动控制投影仪中的光学系统的方向在墙壁或天花板的任何区域上投影视频。
根据专利文献1中描述的技术，首先基于对要在其上投影的对象例如墙壁的图像进行成像来确定要被投影的对象的白度、不均匀度等。然后，基于白度、不均匀度等，确定作为用于投影视频的投影区域的候选的投影区域候选。
接下来，将视频投影在投影区域候选上，并且将投影区域候选呈现给用户。在投影区域候选是一个投影区域候选的情况下，将仅一个投影区域候选确定为实际投影区域。
另一方面，在存在多个投影区域候选并且用户指示切换投影区域候选的情况下，候选被切换到其他投影区域候选。然后，相对于投影区域候选投影视频，并且将投影区域候选呈现给用户。当在呈现投影区域候选中的任何投影区域候选的同时用户指示结束时，将当前投影区域候选确定为实际投影区域。
引用列表
专利文献
专利文献1：日本专利申请公开第2015-144344号
发明内容
技术问题
如果将相同位置处的扬声器(例如，投影仪内置扬声器)用于不同位置的多个投影区域，则可能破坏真实感。
鉴于以上提及的情况作出本技术，并且本技术的目的是提供从与投影区域的位置对应的多个扬声器中选择适当的扬声器的技术。
问题的解决方案
一种根据本技术的信息处理装置包括控制部，该控制部基于能够投影图像的多个投影区域中的指定投影区域的位置信息以及多个扬声器的位置信息，从多个扬声器中选择当在指定投影区域上执行投影时要使用的扬声器。
因此，从与投影区域的位置对应的多个扬声器中选择适当的扬声器。
在信息处理装置中，控制部可以基于指定投影区域与每个扬声器之间的距离来选择要使用的扬声器。
在信息处理装置中，控制部可以从多个扬声器中选择距离最接近指定投影区域的扬声器作为要使用的扬声器。
在信息处理装置中，控制部可以选择两个或更多个扬声器作为要使用的扬声器。
在信息处理装置中，不同的语音声道可以被分配给相应的两个或更多个扬声器。
在信息处理装置中，控制部可以设置用于搜索扬声器的多个搜索区域，并且选择要用于每个搜索区域的扬声器。
在信息处理装置中，控制部可以使用指定投影区域的位置作为基准来设置多个搜索区域。
在信息处理装置中，控制部可以获取关于用户的位置的信息，并且基于关于用户的位置的信息来选择要使用的扬声器。
在信息处理装置中，控制部可以获取关于多个扬声器的每个可听区域的信息，并且基于关于每个可听区域的信息来选择要使用的扬声器。
在信息处理装置中，控制部可以确定是否存在将用户的位置包括在搜索区域中的扬声器，并且如果存在，则选择将用户的位置包括在搜索区域中的扬声器作为要使用的扬声器。
在信息处理装置中，如果不存在将用户的位置包括在搜索区域中的扬声器，则控制部可以从多个扬声器中选择距离最接近投影区域的扬声器作为要使用的扬声器。
在信息处理装置中，控制部可以选择两个或更多个扬声器作为要使用的扬声器。
在信息处理装置中，控制部可以设置用于搜索扬声器的多个搜索区域，并且选择要用于每个搜索区域的扬声器。
在信息处理装置中，控制部可以基于用户的位置来设置多个搜索区域。
在信息处理装置中，多个扬声器中的每一个可以具有用于获取关于扬声器的位置的信息的标识。
在信息处理装置中，多个扬声器中的至少一个扬声器能够被用户保持，并且控制部可以获取关于由用户保持的扬声器的位置的信息，并且基于关于扬声器的位置的信息来登记投影区域。
在信息处理装置中，控制部可以改变投影区域的位置。
一种根据本技术的信息处理系统包括多个扬声器；以及信息处理装置，该信息处理装置包括控制部，该控制部基于能够投影图像的多个投影区域中的指定投影区域的位置信息以及多个扬声器的位置信息，从多个扬声器中选择当在指定投影区域上执行投影时要使用的扬声器。
一种根据本技术的信息处理方法包括基于能够投影图像的多个投影区域中的指定投影区域的位置信息以及多个扬声器的位置信息，从多个扬声器中选择当在指定投影区域上执行投影时要使用的扬声器。
一种根据本技术使计算机用作控制部的程序，该控制部基于能够投影图像的多个投影区域中的指定投影区域的位置信息以及多个扬声器的位置信息，从多个扬声器中选择当在指定投影区域上执行投影时要使用的扬声器。
发明的有益效果
如上所述，根据本技术，可以提供从与投影区域的位置对应的多个扬声器中选择适当的扬声器的技术。
附图说明
[图1]图1是示出根据本技术的第一实施方式的信息处理系统的图。
[图2]图2是示出信息处理系统的框图。
[图3]图3是示出扬声器的放大图。
[图4]图4是示出登记投影区域的处理的流程图。
[图5]图5示出了用户保持扬声器并且登记投影区域的状态。
[图6]图6示出了在房间中登记的多个投影区域的位置的示例。
[图7]图7示出了多个投影区域的坐标的示例。
[图8]图8示出了每个扬声器的坐标的示例。
[图9]图9是示出了选择扬声器的处理的流程图。
[图10]图10是示出在第二实施方式中选择扬声器的处理的流程图。
[图11]图11示出了基于投影区域坐标系设置的多个搜索区域。
[图12]图12示出了语音声道被分配给任何扬声器的状态。
[图13]图13是示出在第三实施方式中选择扬声器的处理的流程图。
[图14]图14示出了距用户的距离(阈值)。
[图15]图15示出了可听区域的示例。
[图16]图16是示出在第四实施方式中选择扬声器的处理的流程图。
[图17]图17示出了对于每个扬声器设置每个可听区域的状态。
[图18]图18是示出在第五实施方式中选择扬声器的处理的流程图。
[图19]图19示出了基于用户坐标系设置的多个搜索区域。
具体实施方式
在下文中，将参照附图描述本技术的实施方式。
<<第一实施方式>>
<信息处理系统的整体和每个部分的结构以及每个部分>
图1是示出根据本技术的第一实施方式的信息处理系统100的图。图2是示出信息处理系统100的框图。如图1和图2所示，信息处理系统100包括信息处理装置10、投影仪20、多个摄像装置30和多个扬声器40。
信息处理装置10执行根据本技术的信息处理方法中的主要控制。信息处理装置10可以是信息处理系统100的专用装置，并且可以是可用于除了信息处理系统100之外的任何应用的通用装置。在将通用装置用作信息处理装置10的情况下，信息处理装置10包括例如，诸如台式PC(个人计算机)、膝上型PC、平板PC的各种PC，智能电话，游戏机，音乐播放器等。通常，信息处理装置10可以是具有信息处理功能的任何装置。
图1示出了信息处理装置10布置在房间中的状态的示例。另一方面，信息处理装置10可以被布置在房间的外部(例如，信息处理装置10可以是网络上的服务器装置等)。
信息处理装置10包括控制部11、存储部12和通信部13。控制部11包括例如CPU(中央处理单元)等。控制部11对信息处理装置10的每个部分以及整个信息处理系统100进行整体地控制。控制部11中的各种处理将在下面名为“操作描述”的栏中详细描述。
存储部12包括其中有控制部11的处理所需的各种数据和各种程序的非易失性存储器以及用作控制部11的工作区域的易失性存储器。上述各种程序可以从诸如半导体存储器和光盘的便携式记录介质读出，或者可以从网络上的服务器装置下载(这同样适用于稍后描述的其他存储部中的程序)。
通信部13能够与投影仪20、摄像装置30和多个扬声器40彼此无线或有线地通信。
投影仪20能够朝向房间中的诸如墙壁、天花板、地板、家具(桌子、柜子等)和屏幕的各种投影目标投影图像。投影仪20附接至姿势控制机构，该姿势控制机构附接至房间中的任何位置例如天花板、桌子上等。
另外，通过驱动姿势控制机构，使得能够可任选地来调整(即，可移动)投影仪20的方向和姿势。通过调整方向和姿势，使得投影仪20能够将图像投影在房间中的任何投影区域R(见图5)上。
注意，在本实施方式中，可以改变投影仪20的整体方向和姿势。另一方面，可以不改变投影仪20的整体方向和姿势，并且可以改变投影仪20(例如，仅投影部23)的方向和姿势的一部分。
投影仪20包括控制部21、存储部22、投影部23和通信部24。控制部21包括例如CPU(中央处理单元)等，并且对投影仪20的每个部分进行整体地控制。
存储部22包括其中有控制部21的处理所需的各种数据和各种程序的非易失性存储器以及用作控制部21的工作区域的易失性存储器。通信部23能够与信息处理装置10彼此无线或有线地通信。
投影部23包括生成从光源发出的光的反射光的反射器，用于将反射光转换成投影光的图像转换装置(例如，液晶、镜光学系统)，以及投射投影光的投影透镜。投影部23可以包括变焦机构和自动聚焦机构。
多个摄像装置30中的每一个取决于来自信息处理装置10的指令获取扬声器40的图像、用户的图像等，并且将获取的图像发送至信息处理装置10。例如，使得多个摄像装置30能够被布置在房间中的稍高的位置处，以能够进行尽可能宽的成像。注意，每个摄像装置30可以具有通过调整方向和姿势使可成像范围可改变(即，可移动)的配置。
多个摄像装置30中的每一个包括控制部31、存储部32、成像部33和通信部34。控制部31包括例如CPU(中央处理单元)等，并且对摄像装置30的每个部分进行整体地控制。
存储部32包括其中有控制部31的处理所需的各种数据和各种程序的非易失性存储器以及用作控制部31的工作区域的易失性存储器。通信部34能够与信息处理装置10彼此无线或有线地通信。
成像部33包括诸如CMOS(互补金属氧化物半导体)传感器和CCD(电荷耦合器件)传感器的图像传感器以及诸如成像透镜的透镜光学系统，成像透镜对相对于图像传感器的曝光表面的对象光进行成像。
图3是示出扬声器40的放大图。使得扬声器40的尺寸和重量能够达到用户可以用一只手保持的程度，并且扬声器40被用户放置在房间中的任何位置处并且被使用。
如图3所示，扬声器40包括其中容纳有各种部件的壳体46。在壳体46的正面、右侧面、背面和左侧面的下部位置处存在多个小开口48，小开口48用于将在壳体46的内部生成的声音发射到壳体46的外部。
另外，在壳体46的正面的上部位置处布置有标识47。布置标识47以便于进行扬声器40的位置识别。
图3示出了采用QR码(注册商标)作为标识47的示例情况。另一方面，标识47可以是除了QR码之外的几何图案，也可以是以预定频率发射光的LED或激光。替选地，标识47可以是回射性材料。标识47通常可以是使得易于识别扬声器40的位置的任何标识47。
此外，在壳体46的上面的大致中央的位置处布置有用户向其输入操作的操作部43。在该实施方式中，由用户使用操作部43在房间中的任何区域上设置投影区域R。
图3示出了利用按钮型操作部作为操作部43的示例情况。另一方面，操作部43可以是通过接近传感器的触摸型操作部。替选地，操作部43可以是通过语音向其输入用户的操作的形式(麦克风)。操作部43通常可以是可以向其输入用户的操作的任何操作部。
参照图2，扬声器40包括控制部41、存储部42、操作部43、通信部44和声音输出部45。
控制部41包括例如CPU(中央处理单元)等，并且对扬声器40的每个部分进行整体地控制。
存储部42包括其中有控制部41的处理所需的各种数据和各种程序的非易失性存储器以及用作控制部41的工作区域的易失性存储器。通信部44能够与信息处理装置10彼此无线或有线地通信。
声音输出部45将从控制部41输入的声音信号转换成物理振动，并且生成与信号声音对应的声音。声音输出部45可以是包括纸盆型、压电型、超声型等任何类型的声音输出部。
<操作描述>
[投影区域R的登记处理]
接下来，将描述信息处理装置10的控制部11的处理。在处理描述中，将首先描述信息处理装置10的控制部11登记投影区域R的处理。
图4是示出登记投影区域R的处理的流程图。图5示出了用户保持扬声器40并且登记投影区域R的状态。
在图5中，如上部图中所示，用户首先在房间的空间中寻找要登记投影区域R的任何地方，保持扬声器40，并且移动到该地方。图5的上部图示出了用户站在墙壁旁边试图将墙壁的一部分登记为投影区域R的状态。注意，投影区域R不限于墙壁，并且也可以登记天花板、地板、家具(桌子、柜子等)、屏幕等。
在用户保持扬声器40并且移动到任何地方之后，用户将扬声器40定位在要登记的矩形投影区域R的四个角的下侧的一个角处。然后，用户在该状态下按压扬声器40的操作部43(一旦被按压，则保持按压状态)。
参照图4，信息处理装置10的控制部11首先确定扬声器40的操作部43是否被按压(步骤101)。
例如，如图5的上部图所示，在用户按压扬声器40的操作部43的情况下，将显示该按压的信息从扬声器40发送至信息处理装置10。当信息处理装置10的控制部11接收显示操作部43的按压的信息(步骤101中的“是”)时，控制部11使多个摄像装置30捕获图像并且从多个摄像装置30获取相应的图像(步骤102)。
接下来，信息处理装置10的控制部11从获取的所有图像中提取显示其每一个的操作部43被按压的扬声器40的标识47的多个图像(步骤103)。
接下来，信息处理装置10的控制部11基于在提取的多个图像中的多个视点处的标识47的位置，来计算扬声器40在空间(XYZ坐标系)中的坐标(步骤104)。
注意，在该实施方式中，步骤104中要计算的坐标与矩形投影区域R中的下侧的一个坐标对应。在下文中，矩形投影区域R中的下侧的一个坐标被称为第一坐标P1(见图5的中部)。
参照图5的中部图，在用户保持扬声器40并且保持按压操作部43的同时，用户移动。然后，用户将扬声器40定位在与要登记的矩形投影区域R的四个角的下侧的另一角对应的位置处。此后，用户在该状态下释放扬声器40的操作部43的按压。
参照图4，在计算出扬声器40在空间中的坐标(第一坐标Pl)之后，信息处理装置10的控制部11确定对扬声器40的操作部43的按压是否被释放(步骤105)。
例如，如图5的中部图所示，在用户释放对扬声器40的操作部43的按压的情况下，将显示按压的释放的信息从扬声器40发送至信息处理装置10。当信息处理装置10的控制部11接收到显示操作部43的按压的释放的信息(步骤105中的“是”)时，控制部11使多个摄像装置30捕获图像并且从多个摄像装置30获取相应的图像(步骤106)。
接下来，信息处理装置10的控制部11从获取的所有图像中提取示出对其每一个的按压被释放的扬声器40的标识47的多个图像(步骤107)。
接下来，信息处理装置10的控制部11基于在提取的多个图像中的多个视点处的标识47的位置，来计算扬声器40在空间(XYZ坐标系)中的坐标(步骤108)。
注意，在该实施方式中，步骤108中要计算的坐标与矩形投影区域R中的下侧的另一坐标对应。在下文中，矩形投影区域R中的下侧的另一坐标被称为第二坐标P2。
接下来，信息处理装置10基于第一坐标P1和第二坐标P2来计算投影区域R的四个角的坐标(XYZ坐标系)(步骤109)。这里，在该实施方式中，预先确定投影区域R的纵横比。
因此，如果确定了投影区域R的四个角的坐标中的两个坐标(即，第一坐标P1和第二坐标P2)，则另外两个角的坐标自动确定。在以下描述中，在上侧的两个角处的坐标中，一个角处的坐标被称为第三坐标P3，并且另一角处的坐标被称为第四坐标P4。
注意，由用户指定的第一坐标P1和第二坐标P2(在下侧的两个角处的坐标)可能在高度方向上具有偏离值(z值)。在该情况下，投影区域R可能倾斜。因此，可以对坐标进行校正，以在第一坐标P1和第二坐标P2的高度方向上具有相同的值(在该情况下，在第三坐标P3和第四坐标P4的高度方向上的值将是相同的)。
此外，当操作扬声器40的操作部43并且登记第一坐标P1和第二坐标P2时，扬声器40实际上被定位为距墙壁稍远。因此，如果不采取任何措施，则投影区域R被不期望地登记在距墙壁稍远的位置处。因此，可以对坐标进行校正，使得四个角的坐标与墙壁(投影目标)的位置匹配。
以相同的方式，用户保持扬声器40，并且登记另一投影区域R。注意，用户可以通过使用一个扬声器40一个接一个地登记各投影区域R，或者可以通过使用一个(同一)扬声器40登记多个投影区域R或所有投影区域R。此后，如图5的下部图所示，用户将扬声器40放置在房间中的任何位置处。
注意，在该实施方式中，这并不意味着投影区域R链接到用于登记投影区域R的扬声器40。另外，在该实施方式中，由于可以通过使用一个(同一)扬声器40来登记所有投影区域R，因此操作部43可以被布置在多个扬声器40中的至少一个扬声器40处。
这里描述了当扬声器40的操作部43被按压时计算第一坐标P1并且当操作部43的按压被释放时计算第二坐标P2的情况。另一方面，当扬声器40的操作部43被按压并且按压被立即释放时(第一次)，可以计算第一坐标P1。接下来，当扬声器40的操作部43被按压并且按压被立即释放时(第二次)，可以计算第二坐标P2。
另外，这里描述了投影区域R中的下侧的两个角由用户指定的情况。投影区域R中的右侧的两个角或左侧的两个角可以由用户指定。替选地，对角地定位的两个角可以由用户指定。此外，三个角或全部四个角可以由用户指定。
另外，这里描述了由用户使用扬声器40登记任何投影区域R的情况。另一方面，任何投影区域R可以不通过使用扬声器40登记，而是通过用户的姿势和音频命令登记。在该情况下，用于获取用户的语音的麦克风被布置在例如扬声器40、摄像装置30等上。
作为示例，假定用户做出指向要登记的矩形投影区域R的左下(第一坐标P1)和右上(第三坐标P3)的姿势，并且说“这里是左下”、“这里是右上”等。
在该情况下，信息处理装置10的控制部11首先基于由多个摄像装置30获取的图像来确定用户在空间(XYZ坐标系)中所指向的位置的坐标。然后，信息处理装置10的控制部11分析由麦克风获取的语音，以确定用户所指向的位置的坐标与四个角中的哪个角处的坐标对应。
信息处理装置10的控制部11可以通过自动推荐功能为用户推荐投影区域R。在该情况下，例如，信息处理装置10的控制部11基于由摄像装置30获取的图像来确定诸如墙壁的投影目标的颜色、平坦度等。信息处理装置10的控制部11自动计算房间中可以作为投影区域R的区域。
然后，信息处理装置10的控制部11预先在区域上投影图像，并且向用户推荐投影区域R。在该情况下，用户从推荐的投影区域R中选择要登记的投影区域R。
图6示出了在房间中登记的多个投影区域R的位置的示例。注意，图6还示出了信息处理装置10的位置以及扬声器40的位置。图7示出了多个投影区域R的坐标的示例。
如图6所示，信息处理装置10的控制部11包括以信息处理装置10的位置作为原点的XYZ坐标系。注意，XYZ坐标系的原点的位置不限于信息处理装置10的位置，并且可以适当地改变。
图6和图7示出了将第一投影区域R1、第二投影区域R2、第三投影区域R3和第四投影区域R4的四个投影区域R登记为投影区域R的情况的示例。
如上所述，各投影区域R由四个角的坐标(第一坐标P1、第二坐标P2、第三坐标P3和第四坐标P4)限定。
在图6和图7中示出的示例中，第一投影区域R1的第一坐标P1(x,y,z)、第二坐标P2(x,y,z)、第三坐标P3(x,y,z)和第四坐标P4(x,y,z)分别为(2,4,0.5)、(3,4,0.5)、(3,4,1.5)和(2,4,1.5)。
此外，第二投影区域R2的第一坐标P1(x,y,z)、第二坐标P2(x,y,z)、第三坐标P3(x,y,z)和第四坐标P4(x,y,z)分别为(4,3,1)、(4,2,1)、(4,2,2)和(4,3,2)。
此外，第三投影区域R3的第一坐标Pl(x,y,z)、第二坐标P2(x,y,z)、第三坐标P3(x,y,z)和第四坐标P4(x,y,z)分别为(3,-0.25,0.5)、(2,-0.25,0.5)、(2,-0.25,1.5)和(3,-0.25,1.5)。
此外，第四投影区域R4的第一坐标P1(x,y,z)、第二坐标P2(x,y,z)、第三坐标P3(x,y,z)和第四坐标P4(x,y,z)分别为(-0.25,1,1.5)、(-0.25,2,1.5)、(-0.25,2,2)和(-0.25,1,2)。
[扬声器40的选择处理]
接下来，描述由信息处理装置10的控制部11针对用户所指定的投影区域R从多个扬声器40中选择适当的扬声器40的处理。
图9是示出选择扬声器40的处理的流程图。首先，信息处理装置10的控制部11确定用户是否从多个投影区域R中指定了任何投影区域R(步骤201)。存在指定投影区域R的各种方法，例如，通过用户的姿势指定、通过语音指定、直接输入到信息处理装置10等。可以使用任何方法。
当指定了投影区域R时，信息处理装置10的控制部11使相应的多个摄像装置30捕获图像并且从多个摄像装置30获取相应的图像(步骤202)。接下来，信息处理装置10的控制部11基于在多个图像中的多个视点处的每个标识47的位置来计算每个扬声器40在空间(XYZ坐标系)中的坐标(步骤203)。
图8示出了每个扬声器40的坐标的示例。参照图6和图8，该示例示出了四个扬声器40，即第一扬声器40a、第二扬声器40b、第三扬声器40c和第四扬声器40d，被布置在房间中的示例情况。
在图6和图8中示出的示例中，第一扬声器40a的坐标(x,y,z)、第二扬声器40b的坐标(x,y,z)、第三扬声器40c的坐标(x,y,z)和第四扬声器40d的坐标(x,y,z)分别为(2,4,1)、(4,2,0.5)、(3,-0.25,0)和(-0.25,1,3)。
在计算出每个扬声器40的坐标之后，信息处理装置10的控制部11接下来计算指定投影区域R的重心坐标(步骤204)。然后，信息处理装置10的控制部11计算指定投影区域R的重心坐标与每个扬声器40的坐标之间的距离(步骤205)。
这里，可以说由于人耳的特性，声源在垂直方向(z轴方向)上的位置的分辨率(识别声源多高的能力)低于声源在水平方向(xy轴方向)上的位置的分辨率(识别声源在水平方向上的位置的能力)。
因此，当计算指定投影区域R与每个扬声器40之间的距离时，信息处理装置10的控制部11可以通过加权来计算该距离，以将水平方向(xy轴方向)上的距离考虑为比垂直方向(z轴方向)上的距离更重要。
通过忽略垂直方向上的距离，可以参考仅水平方向上的距离(如果垂直方向上的加权为零)。注意，通过加权来计算距离可以类似地应用于如稍后所述的计算投影区域R与扬声器40之间的距离的情况(例如，如稍后所述的步骤310、403等)。
在计算出指定投影区域R的重心坐标与每个扬声器40的坐标之间的距离之后，控制部11选择距离最接近指定投影区域R的扬声器40作为要使用的扬声器40(步骤206)。
例如，在图6至图8中示出的示例中，在由用户指定第一投影区域R1的情况下，选择距离最接近第一投影区域R1的第一扬声器40a作为在投影区域R中使用的扬声器40。
类似地，在由用户指定第二、第三和第四投影区域R4的情况下，选择距离最接近第二、第三和第四投影区域R4的第二、第三和第四扬声器40d作为在投影区域R中使用的扬声器40。
在选择了要使用的扬声器40之后，信息处理装置10的控制部11将语音信息发送至选择的扬声器40，并且还将视频信息发送至投影仪20(步骤207)。
扬声器40的控制部41基于从信息处理装置10接收的语音信息使语音被输出。
此外，投影仪20的控制部21通过姿势控制机构来调整投影仪20的方向和姿势以便能够将视频投影在选择的投影区域R上，并且然后基于从信息处理装置10接收的视频信息将视频投影在投影区域R上。
投影仪20的控制部21(或信息处理装置10的控制部11)可以在投影区域R具有不均匀度的情况下对视频执行几何校正，或者可以取决于投影区域R的色调对要投影的视频执行色调校正。
<动作等>
(扬声器40的选择)
根据该实施方式的信息处理装置10获取关于能够投影视频的多个投影区域R中的指定投影区域R的位置(坐标)的信息，并且获取关于能够输出语音的多个扬声器40的位置(坐标)的信息。然后，基于关于指定投影区域R的位置(坐标)的信息以及关于多个扬声器40的位置(坐标)的信息来选择要在投影区域R中使用的扬声器40。
因此，对应于指定投影区域的位置，可以从多个扬声器40中选择适当的扬声器40。因此，在该实施方式中，可以提供投影区域R的位置与声源的位置不偏离的视频体验，从而防止观看视频并且收听语音的用户的真实感被破坏。
此外，在该实施方式中，由于基于指定投影区域R与每个扬声器40之间的距离来选择要使用的扬声器40，因此可以从多个扬声器40中更有效地选择适当的扬声器40。
此外，在该实施方式中，由于从多个扬声器40中选择了距离最接近指定投影区域R的扬声器40作为要使用的扬声器40，因此可以从多个扬声器40中更有效地选择适当的扬声器40。
此外，在该实施方式中，在扬声器40的选择中，当获取多个扬声器40的相应的位置时，使用布置在各扬声器40处的标识47。因此，可以准确地确定多个扬声器40的相应的位置。
这里，在该实施方式中，使得扬声器40的尺寸和重量能够达到用户可以用一只手保持的程度。因此，房间中的扬声器40的位置可能经常被用户改变。例如，用户可能由于扬声器40的位置被改变为更期望的位置、扬声器40妨碍清洁等而改变扬声器40的位置。
因此，在该实施方式中，每当用户指定投影区域R时，就获取多个扬声器40的当前位置，并且使得扬声器40的当前位置能够用于计算到指定投影区域R的距离(见步骤201至步骤205)。因此，每当用户指定投影区域R时，就获取多个扬声器40的当前位置，这可以适当地对应于扬声器40的位置被经常改变的情况。
(投影区域R的登记)
在该实施方式中，获取关于用户所保持的扬声器40的位置(坐标P1、P2等)的信息，并且基于关于扬声器40的信息来登记投影区域R。因此，用户保持扬声器40，移动扬声器40，并且可以直观地登记空间中的投影区域R。
此外，在该实施方式中，当在投影区域R的登记中获取扬声器40的位置时，使用布置在扬声器40处的标识47。因此，可以准确地确定扬声器40的位置。
此外，在该实施方式中，操作部43被布置在扬声器40处以登记投影区域R，在操作部43被操作时获取扬声器40的位置(标识47的位置)。因此，通过操作操作部43，用户可以容易地将投影区域R登记在空间中的任何区域中。
此外，在该实施方式中，还存在的用法是使得扬声器40能够被布置在登记的投影区域R附近(见图6)。在该情况下，可以防止用户忘记投影区域R布置在哪儿。
<第一实施方式的修改>
以上描述了下述情况：每当用户指定投影区域R时，就获取多个扬声器40的当前位置，并且将扬声器40的当前位置用于计算到指定投影区域R的距离。另一方面，可以预先登记多个扬声器40的位置。
作为示例，在用户将扬声器40布置在房间中的任何位置处(例如，见图5的下侧)之后，用户按压布置在扬声器40处的操作部43(一旦按压，就立即释放：该操作与用于登记投影区域R的操作不同)。
当信息处理装置10的控制部11从扬声器40接收到显示操作部43被按压(按压并且立即释放)的信息时，扬声器40(其中操作部43被操作的扬声器40)的位置基于由摄像装置30获取的多个图像。
以该方式，信息处理装置10的控制部11预先登记所有扬声器40的位置。注意，在用户将所有扬声器40布置在任何位置处之后，用户可以按压操作部43(这同样适用于当改变扬声器40被布置的地方时)。
在该情况下，信息处理装置10的控制部11可以预先识别所有投影区域R的位置以及所有扬声器40的位置。因此，在该情况下，信息处理装置10的控制部11预先对于所有投影区域R确定距离最接近指定投影区域R的扬声器40，并且使存储部12存储投影区域R与扬声器40之间的每个关系。
然后，当指定了当时使用的投影区域R时，信息处理装置10的控制部11可以选择与投影区域R关联的扬声器40作为要使用的扬声器40。
以上描述了一旦投影区域R的位置被登记则投影区域R的位置被固定的情况。另一方面，可以改变设置有投影区域R的投影目标的状况，并且如果投影区域R的位置被固定，则有可能不对应于投影目标的状况的改变。
投影目标(墙壁等)的状况的改变是例如指阳光照射投影目标、对象被放置(倚靠)在投影目标上等情况。
因此，信息处理装置10的控制部11可以(基于摄像装置30的图像等)确定设置有投影区域R的投影目标的状况，并且可以基于确定的投影目标的状况来改变投影区域R的位置和尺寸中的至少之一。例如，在阳光照射投影目标或者对象被放置在投影目标上的情况下，信息处理装置10的控制部11使得能够改变投影区域R的位置和尺寸中的至少之一，以避开阳光或对象。
在使投影区域R的位置改变的情况下，信息处理装置10的控制部11计算改变之后的投影区域R的位置与每个扬声器40的位置之间的距离，并且确定距离最接近投影区域R的扬声器40。然后，信息处理装置10的控制部11可以选择扬声器40作为要使用的扬声器40。这里，当选择了扬声器时，可以通过由投影仪20在扬声器40周围照明向用户通知选择了扬声器40的状况，或者可以通过来自扬声器40的语音来呈现选择状况。
<<第二实施方式>>
接下来，将描述本技术的第二实施方式。在第二实施方式之后的描述中，包括与上述第一实施方式类似的结构和功能的部件由相同的附图标记表示，并且因此将省去其详细描述。
上面的第一实施方式描述了选择一个扬声器40作为要用于指定投影区域R的扬声器40的情况。另一方面，第二实施方式与第一实施方式的不同之处在于分配有相应的不同的语音声道的两个或更多个扬声器40作为要用于指定投影区域R的扬声器40。因此，将主要描述这一点。
图10是示出在第二实施方式中选择扬声器40的处理的流程图。
如图10所示，信息处理装置10的控制部11首先确定用户是否从多个投影区域R中指定了任何投影区域R(步骤301)。当指定了投影区域R(步骤301中的“是”)时，信息处理装置10的控制部11使相应的多个摄像装置30捕获图像并且从多个摄像装置30获取相应的图像(步骤302)。
接下来，信息处理装置10的控制部11基于在多个图像中的多个视点处的每个标识47的位置来计算每个扬声器40在空间(XYZ坐标系)中的坐标(步骤303)。
接下来，信息处理装置10的控制部11通过使用指定投影区域R的位置(重心坐标)作为基准(原点)来设置投影区域坐标系(步骤304)。接下来，信息处理装置10的控制部11基于投影区域坐标系来设置多个搜索区域(步骤305)。
图11示出了基于投影区域坐标系设置的多个搜索区域。图11示出了由用户从四个投影区域R中指定第一投影区域R1并且通过使用第一投影区域R1的位置(重心坐标)作为基准(原点)来设置投影区域坐标系的状态。
在投影区域坐标系中，将穿过投影区域R的重心坐标并且垂直于投影区域R的面绘制的线作为Y'轴。另外，将穿过投影区域R的重心坐标并且在投影区域R中平行于水平方向绘制的线作为X'轴。另外，将穿过投影区域R的重心坐标并且在投影区域R中平行于垂直方向绘制的线作为Z'轴。
在图11中示出的示例中，将三个搜索区域设置为多个搜索区域。三个搜索区域中的第一搜索区域是用于搜索分配有前声道的扬声器40的前声道扬声器的搜索区域。
第二搜索区域是用于搜索分配有R(右)声道的扬声器40的R声道扬声器的搜索区域。另外，第三搜索区域是用于搜索分配有L(左)声道的扬声器40的L声道扬声器的搜索区域。
前声道扬声器的搜索区域被设置在更接近指定投影区域R的范围内以包围投影区域R。另外，R声道扬声器的搜索区域被设置在投影区域R的前侧处的距投影区域R稍远并且在Y轴的右侧(从用户侧观看的右侧：从投影区域R侧观看的左侧)的范围内。
另外，L声道扬声器的搜索区域被设置在投影区域R的前侧处的距投影区域R稍远并且在Y轴的左侧(从用户侧观看的左侧：从投影区域R侧观看的右侧)的范围内。
在图11中示出的示例中，搜索区域的数目是与前声道、R声道和L声道对应的三个。另一方面，如果声道的数目是两个，则搜索区域的数目可以是两个。如果声道的数目是四个，则搜索区域的数目可以是四个。也就是说，如果要分配的声道的数目改变，则搜索区域的数目可以与之对应地改变。
信息处理装置10的控制部11设置多个搜索区域，并且然后从存储部12中读出一个搜索区域(步骤306)。接下来，控制部11基于每个扬声器40的坐标来确定在搜索区域中是否存在扬声器40(步骤307)。
在搜索区域中存在扬声器40(步骤307中的“是”)的情况下，信息处理装置10的控制部11确定在搜索区域中存在的扬声器40的数目是否为多个(步骤308)。
在搜索区域中存在的扬声器40的数目为一个(步骤308中的“否”)的情况下，信息处理装置10的控制部11选择扬声器40作为分配有对应的声道的扬声器40(步骤309)。然后，信息处理装置10的控制部11进行至下一步骤312。
另一方面，在搜索区域中存在多个扬声器40(步骤308中的“是”)的情况下，信息处理装置10的控制部11计算指定投影区域R的重心坐标与搜索区域中存在的每个扬声器40的坐标之间的距离(步骤310)。
接下来，控制部11选择距离最接近指定投影区域R的扬声器40作为分配有对应的声道的扬声器40(步骤311)。然后，控制部11进行至下一步骤312。
注意，在一个搜索区域中存在多个扬声器40的情况下，考虑到各扬声器40的布置平衡，可以以良好的平衡选择扬声器40。在该情况下，例如，通过使用将指定投影区域R与用户的位置(如后所述能够通过图像确定)连接的直线作为基准来考虑扬声器40的布置平衡。另外，在一个搜索区域中存在多个扬声器40的情况下，可以使用稍后描述的关于可听区域的信息。
在步骤307中，在读出的搜索区域中不存在扬声器40(步骤307中的“否”)的情况下，信息处理装置10的控制部11不选择分配有对应的声道的扬声器40，并且进行至步骤312。
在步骤312中，信息处理装置10的控制部11确定对于所有搜索区域关于扬声器40的选择的处理是否结束(步骤307至步骤311中的处理)。如果仍然存在其中关于扬声器40的选择的处理尚未结束的区域(步骤312中的“否”)，则信息处理装置10的控制部11读出下一区域(步骤306)并且执行步骤307之后的处理。
如果对于所有区域关于扬声器40的选择的处理均结束(步骤312中的“是”)，则信息处理装置10的控制部11进行至下一步骤313。在步骤313中，信息处理装置10的控制部11将视频信息发送至投影仪20，并且还将对应的声道的语音信号发送至选择的扬声器40。
图12示出了语音声道被分配给任何扬声器40的状态。
在图11中，由于在前声道扬声器的搜索区域中存在仅第一扬声器40a，如图12所示，因此选择第一扬声器40a作为分配有前声道的前声道扬声器40。
另外，在图11中，由于在R声道扬声器的搜索区域中存在仅第二扬声器40b，如图12所示，因此选择第二扬声器40b作为分配有R声道的扬声器40。
类似地，在图11中，由于在L声道扬声器的搜索区域中存在仅第四扬声器40d，如图12所示，因此选择第四扬声器40d作为分配有L声道的L声道扬声器40。
在第二实施方式中，选择两个或更多个扬声器40作为要使用的扬声器40，并且将不同的语音声道分配给两个或更多个扬声器40。因此，如果存在多个语音声道，则可以适当地对应。
此外，在第二实施方式中，设置多个搜索区域并且选择用于每个搜索区域的扬声器40。因此，可以在每个搜索区域中适当地选择要分配声道的扬声器40。
此外，在第二实施方式中，使用指定投影区域R的位置(投影区域坐标系)作为基准来设置多个搜索区域中的每一个。因此，可以适当地设置用于搜索要分配声道的扬声器40的多个区域中的每一个。
注意，该示例描述了如果在关注的搜索区域中不存在扬声器40则不将对应的声道分配给扬声器40的情况。例如，假定在前声道扬声器的搜索区域以及R声道扬声器的搜索区域处存在扬声器40，但在L声道扬声器的搜索区域处不存在扬声器40。在这样的情况下，在图10中示出的示例中，选择前声道扬声器和R声道扬声器40，但不选择L声道扬声器40。
另一方面，如果因此在所有区域中的至少一个区域处不存在扬声器40，并且不能够选择扬声器40，则可以将多个语音声道的输出变为单声道语音的输出。在该情况下，一个扬声器40(例如，距离最接近投影区域R的扬声器40)输出单声道语音(见第一实施方式)。
<<第三实施方式>>
接下来，将描述本技术的第三实施方式。第三实施方式及以后的实施方式与上述各实施方式的不同之处在于不仅使用关于指定投影区域R的位置的信息以及关于扬声器40的位置的信息，还使用关于用户的位置的信息作为用于选择要使用的扬声器40的信息。
图13是示出在第三实施方式中选择扬声器40的处理的流程图。
如图13所示，信息处理装置10的控制部11首先确定用户是否从多个投影区域R中指定了任何投影区域R(步骤401)。当指定了投影区域R(步骤401中的“是”)时，信息处理装置10的控制部11使相应的多个摄像装置30捕获图像并且从多个摄像装置30获取相应的图像(步骤402)。
接下来，信息处理装置10的控制部11基于在多个图像中的多个视点处的每个标识47的位置来计算每个扬声器40在空间(XYZ坐标系)中的坐标(步骤403)。
接下来，信息处理装置10的控制部11基于在多个图像中的多个视点处的用户的位置来计算用户在空间(XYZ坐标系)中的坐标(步骤404)。
在计算出用户的坐标之后，信息处理装置10的控制部11接下来计算用户与每个扬声器40之间的距离。
注意，当计算出用户与每个扬声器40之间的距离时，信息处理装置10的控制部11可以通过加权来计算距离，以将水平方向(xy轴方向)上的距离考虑为比垂直方向(z轴方向)上的距离更重要。
接下来，信息处理装置10的控制部11确定扬声器40到用户的距离是否不大于阈值(步骤406)。图14示出了距用户的距离(阈值)。
在存在到用户的距离不大于阈值的扬声器40(步骤406中的“是”)的情况下，信息处理装置10的控制部11确定扬声器40的数目是否为多个(步骤407)。
在到用户的距离不大于阈值的扬声器40的数目为一个(步骤407的“否”)的情况下，信息处理装置10的控制部11选择一个扬声器40作为要使用的扬声器40(步骤408)。然后，信息处理装置10的控制部11进行至下一步骤412。
注意，在图14中示出的示例中，由于仅存在到用户的距离不大于阈值的第四扬声器40d，因此选择第四扬声器40d作为要使用的扬声器40。
另一方面，在步骤407中，在存在到用户的距离均不大于阈值的多个扬声器40(步骤407中的“是”)的情况下，信息处理装置10的控制部11选择距离最接近用户的扬声器40作为要使用的扬声器40(步骤409)。然后，信息处理装置10的控制部11进行至下一步骤412。
在步骤406中，在不存在到用户的距离不大于阈值的扬声器40(步骤407中的“否”)的情况下，计算指定投影区域R的重心坐标与每个扬声器40的坐标之间的距离(步骤410)。
然后，信息处理装置10的控制部11选择距离最接近指定投影区域R的扬声器40作为要使用的扬声器40(步骤411)。然后，信息处理装置10的控制部11进行至下一步骤412。
在步骤412中，信息处理装置10的控制部11将视频信息发送至投影仪20，并且还将语音信息发送至选择的扬声器40。
在第三实施方式中，还基于关于用户的位置的信息来选择要使用的扬声器40。因此，对应于用户的位置，可以从多个扬声器40中选择适当的扬声器40。
此外，在第三实施方式中，由于基于用户与每个扬声器40之间的距离来选择要使用的扬声器40，因此可以从多个扬声器40中更有效地选择适当的扬声器40。
<<第四实施方式>>
接下来，将描述本技术的第四实施方式。第四实施方式与上述各实施方式的不同之处在于不仅使用关于指定投影区域R的位置的信息、关于扬声器40的位置的信息以及关于用户的位置的信息，还使用关于扬声器40的可听区域的信息作为用于选择要使用的扬声器40的信息。
图15示出了可听区域的示例。注意，可听区域意指来自扬声器40的声音有效地到达的区域。
如图15所示，存在各种类型的扬声器40，包括例如全向扬声器40、普通扬声器40、定向扬声器40等。此外，可听区域的相应的形状对应于扬声器40的类型而不同。
由于全向扬声器40能够在每个方向上均匀地输出声音，因此全向扬声器40的可听区域是例如圆形(在上方向或下方向上观看)的。另外，由于普通扬声器40以一定程度的方向性输出声音，因此普通扬声器40的可听区域具有例如有着相当宽的扇形(在上方向或下方向上观看)的中心角。另外，由于定向扬声器40输出具有方向性的声音，因此定向扬声器40的可听区域具有例如有着相当窄的扇形(在上方向或下方向上观看)的中心角。
在第四实施方式中，使用关于图15中示出的可听区域的信息作为用于选择要使用的扬声器40的信息。
图16是示出在第四实施方式中选择扬声器40的处理的流程图。
如图16所示，信息处理装置10的控制部11首先确定用户是否从多个投影区域R中指定了任何投影区域R(步骤501)。当指定了投影区域R(步骤501中的“是”)时，信息处理装置10的控制部11使相应的多个摄像装置30捕获图像并且从多个摄像装置30获取相应的图像(步骤502)。
接下来，信息处理装置10的控制部11基于在多个图像中的多个视点处的每个标识47的位置来计算每个扬声器40在空间(XYZ坐标系)中的坐标(步骤503)。
接下来，信息处理装置10的控制部11基于在多个图像中的多个视点处的用户的位置来计算用户在空间(XYZ坐标系)中的坐标(步骤504)。
接下来，信息处理装置10的控制部11获取关于每个扬声器40的可听区域的信息，并且将可听区域设置在空间(XYZ坐标系)中。为了设置每个扬声器40的可听区域，信息处理装置10的控制部11可以获取关于各扬声器40的类型(全向扬声器40、普通扬声器40和定向扬声器40)的信息。注意，一旦扬声器40的类型被指定，则可听区域的形状被指定。
例如，在特定扬声器40就扬声器40的类型而言是全向扬声器40的情况下，基于扬声器40的坐标设置圆形可听区域。此外，在特定扬声器40就扬声器40的类型而言是普通扬声器40或定向扬声器40的情况下，基于扬声器40的坐标设置扇形可听区域。
这里，在扬声器40就扬声器40的类型而言是普通扬声器40或定向扬声器40的情况下，信息处理装置10的控制部11需要确定扬声器40指向的方向。扬声器40指向的方向能够基于由摄像装置30获取的图像来确定。注意，如上所述，由于标识47被布置在扬声器40中的壳体46的正面处(见图3)，可以基于标识47相对于整个扬声器40的位置来确定扬声器40指向的方向。
注意，为了指定可听区域，可以实际地测量从扬声器40输出的声音。在该情况下，例如，可以在房间内的各个位置处布置用于收集来自扬声器40的声音的多个麦克风。另外，如果能够根据用户的年龄等来估计用户的听力，则可以对应于用户的听力来调整可听区域的尺寸。替选地，通过参考其他语音输出设备(例如，电视设备等)的设置音量，可以估计用户的听力并且可以调整可听区域。
图17示出了对于每个扬声器40设置每个可听区域的状态。
图17示出了第一扬声器40a和第二扬声器40b是全向扬声器40而第三扬声器40c和第四扬声器40d是普通扬声器40的情况的示例。另外，图17还示出了用户的位置(例如，当通过姿势指定任何投影区域R时的位置)。注意，在图17中，假定第一投影区域R1由用户指定。
在设置了可听区域之后，信息处理装置10的控制部11接下来确定是否存在将用户的坐标包括在可听区域中的扬声器40(步骤506)。在存在将用户的坐标包括在可听区域中的扬声器40(步骤506中的“是”)的情况下，信息处理装置10的控制部11确定将用户的坐标包括在可听区域中的扬声器40的数目是否为多个(步骤507)。
在仅存在一个将用户的坐标包括在可听区域中的扬声器40(步骤507中的“否”)的情况下，信息处理装置10的控制部11选择该扬声器40作为要使用的扬声器40(步骤508)。然后，信息处理装置10的控制部11进行至下一步骤513。
另一方面，在存在各自将用户的坐标包括在可听区域中的多个扬声器40(步骤507中的“是”)的情况下，信息处理装置10的控制部11进行至下一步骤509。在步骤509中，信息处理装置10的控制部11计算指定投影区域R的重心坐标与将用户的坐标包括在可听区域中的每个扬声器40的坐标之间的每个距离。
接下来，信息处理装置10的控制部11从各自将用户的坐标包括在可听区域中的多个扬声器40中选择距离最接近投影区域R的扬声器40作为要使用的扬声器40(步骤510)。然后，信息处理装置10的控制部11进行至下一步骤513。
注意，在图17中，作为各自将用户的坐标包括在可听区域中的扬声器40，存在两个扬声器40，即，第二扬声器40b和第三扬声器40c。在该情况下，从第二扬声器40b和第二扬声器40b中选择距离最接近用户所指定的第一投影区域R的第二扬声器40b作为要使用的扬声器40。
在步骤506中，在不存在到用户的距离不大于阈值的扬声器40(步骤506中的“否”)的情况下，信息处理装置10的控制计算指定投影区域R的重心坐标与每个扬声器40的坐标之间的距离(步骤511)。
然后，信息处理装置10的控制部11选择距离最接近指定投影区域R的扬声器40作为要使用的扬声器40(步骤512)。然后，信息处理装置10的控制部11进行至下一步骤513。
在步骤513中，信息处理装置10的控制部11将语音信息发送至选择的扬声器40，并且将视频信息发送至投影仪20。
在第四实施方式中，基于关于每个扬声器40的可听区域的信息来选择要使用的扬声器40。因此，对应于扬声器40的可听区域，可以从多个扬声器中选择适当的扬声器40。
<<第五实施方式>>
接下来，将描述本技术的第五实施方式。第五实施方式与上述各实施方式的不同之处在于在第四实施方式中设置基于用户的用户坐标系以选择要使用的扬声器40。
图18是示出在第五实施方式中选择扬声器40的处理的流程图。
首先，信息处理装置10的控制部11确定用户是否从多个投影区域R中指定了任何投影区域R(步骤601)。当指定了投影区域R(步骤601中的“是”)时，信息处理装置10的控制部11使相应的多个摄像装置30捕获图像并且从多个摄像装置30获取相应的图像(步骤602)。
接下来，信息处理装置10的控制部11基于在多个图像中的多个视点处的每个标识47的位置来计算每个扬声器40在空间(XYZ坐标系)中的坐标(步骤603)。
接下来，信息处理装置10的控制部11基于在多个图像中的多个视点处的用户的位置来计算用户在空间(XYZ坐标系)中的坐标(步骤604)。另外，此时，确定用户指向的方向等。
接下来，信息处理装置10的控制部11通过使用用户的位置作为基准(原点)来设置用户坐标系(步骤605)。接下来，信息处理装置10的控制部11基于投影区域坐标系来设置多个搜索区域(步骤606)。
图19示出了基于用户坐标系设置的多个搜索区域。图19示出了由用户从四个投影区域R中指定第一投影区域R1并且用户指向第一投影区域R1的方向的示例情况。
在用户坐标系中，将用户的坐标设置为原点，并且将用户的前方向和后方向(能够从用户的面部的方向等确定)作为Y”轴。另外，将用户的左方向和右方向设置成X”轴，并且将与X”轴和Y”轴正交的方向设置成Z”轴。
在图19中示出的示例中，前声道扬声器的搜索区域被设置在距用户稍远的位置处的Y轴周围的区域中。另外，R声道扬声器的搜索区域被设置在用户附近的范围中并且在Y轴的右侧(从用户侧观看的右侧)处的范围内。另外，L声道扬声器的搜索区域被设置在用户附近的范围中并且在Y轴的左侧(从投影区域R侧观看的左侧)处的范围内。
注意，由于此后从步骤607至步骤614的处理与如上所述的图10(第二实施方式)中的步骤306至步骤313相似，因此将省去其详细描述。注意，在上述第二实施方式中，基于投影坐标系来设置搜索区域。相比之下，在第五实施方式中，基于用户坐标系来设置搜索区域。
在第五实施方式中，由于基于用户的坐标来设置搜索区域，因此即使用户被定位在空间中的任何位置(即使用户指向任何方向)，也可以选择要分配声道的适当的扬声器40。
<<各种修改>>
以上描述了投影仪20的数目为一个的情况，但是投影仪20的数目可以为多个。另外，以上描述了投影仪20是可移动的情况，但是投影仪20可以是固定的(特别地，在投影仪20的数目为多个的情况下)。另外，代替投影仪20，可以使用能够在与登记的投影区域对应的位置处显示视频的安装型设备。
以上描述了摄像装置的数目为多个的情况，但是摄像装置30的数目可以为一个。成像波长不限于可见光区，并且可以包括紫外区和红外区。另外，代替摄像装置30，可以使用仅测量照明度的传感器。
另外，为了检测用户的位置和移动，除了摄像装置30之外或者代替摄像装置30，还可以使用深度传感器、热摄像装置、麦克风等。另外，为了检测扬声器40的位置，除了摄像装置30之外或者代替摄像装置30，还可以使用深度传感器、麦克风等。
以上描述了扬声器40是便携式的，但是可以是固定的(例如，大型扬声器40)。代替专用扬声器40，可以使用诸如智能电话、游戏机、移动音乐播放器等具有声音输出部的设备。
以上描述了信息处理装置10与投影仪20、摄像装置30、扬声器40等分开的情况。另一方面，信息处理装置10可以与投影仪20、摄像装置30或扬声器40集成(在该情况下，投影仪20、摄像装置30或扬声器40起到信息处理装置10的作用)。
上述各实施方式可以彼此组合。作为示例，将描述第二实施方式与第五实施方式的组合。在该情况下，将通过使用投影坐标系选择扬声器40的方法与通过使用用户坐标系选择扬声器40的方法组合。
在该情况下，例如，信息处理装置10的控制部11基于坐标系中的一个坐标系设置搜索区域以尝试搜索扬声器40，并且然后基于坐标系中的另一坐标系设置搜索区域以尝试搜索扬声器40。然后，信息处理装置10的控制部11可以选择包括可以在其上搜索到扬声器40的更大数目的区域的坐标系。
注意，本技术还可以具有以下结构。
(1)一种信息处理装置，包括：
控制部，所述控制部基于能够投影图像的多个投影区域中的指定投影区域的位置信息以及多个扬声器的位置信息，从所述多个扬声器中选择当在所述指定投影区域上执行投影时要使用的扬声器。
(2)根据(1)所述的信息处理装置，其中
所述控制部基于所述指定投影区域与每个扬声器之间的距离，来选择所述要使用的扬声器。
(3)根据(2)所述的信息处理装置，其中
所述控制部从所述多个扬声器中选择距离最接近所述指定投影区域的扬声器作为所述要使用的扬声器。
(4)根据(1)至(3)中的任意一项所述的信息处理装置，其中
所述控制部选择两个或更多个扬声器作为所述要使用的扬声器。
(5)根据(4)所述的信息处理装置，其中
不同的语音声道分别被分配给所述两个或更多个扬声器。
(6)根据(5)所述的信息处理装置，其中
所述控制部设置多个搜索区域以用于搜索所述扬声器，并且选择每个搜索区域要使用的扬声器。
(7)根据(6)所述的信息处理装置，其中
所述控制部使用所述指定投影区域的位置为基准来设置所述多个搜索区域。
(8)根据(1)至(7)中的任意一项所述的信息处理装置，其中
所述控制部获取用户的位置信息，并基于所述用户的位置信息来选择所述要使用的扬声器。
(9)根据(8)所述的信息处理装置，其中
所述控制部获取所述多个扬声器的每个可听区域的信息，并且基于所述每个可听区域的信息来选择所述要使用的扬声器。
(10)根据(9)所述的信息处理装置，其中
所述控制部确定是否存在将所述用户的位置包括在所述可听区域中的扬声器，并且如果存在，则选择将所述用户的位置包括在所述可听区域中的所述扬声器作为所述要使用的扬声器。
(11)根据(10)所述的信息处理装置，其中
如果不存在将所述用户的位置包括在所述可听区域中的扬声器，则所述控制部从所述多个扬声器中选择距离最接近投影区域的扬声器作为所述要使用的扬声器。
(12)根据(8)至(11)中的任意一项所述的信息处理装置，其中
所述控制部选择两个或更多个扬声器作为所述要使用的扬声器。
(13)根据(12)所述的信息处理装置，其中
所述控制部设置用于搜索所述扬声器的多个搜索区域，并且选择每个搜索区域要使用的扬声器。
(14)根据(13)所述的信息处理装置，其中
所述控制部使用所述用户的所述位置为基准来设置所述多个搜索区域。
(15)根据(1)至(14)中的任意一项所述的信息处理装置，其中
所述多个扬声器中的每一个具有用于获取所述扬声器的位置信息的标识。
(16)根据(1)至(15)中的任意一项所述的信息处理装置，其中
所述多个扬声器中的至少一个扬声器能够被用户保持，并且
所述控制部获取由所述用户保持的所述扬声器的位置信息，并且基于所述扬声器的位置信息来登记所述投影区域。
(17)根据(1)至(16)中的任意一项所述的信息处理装置，其中
所述控制部改变所述投影区域的位置。
(18)一种信息处理系统，包括：
多个扬声器；以及
信息处理装置，所述信息处理装置包括控制部，所述控制部基于能够投影图像的多个投影区域中的指定投影区域的位置信息以及多个扬声器的位置信息，从所述多个扬声器中选择当在所述指定投影区域上执行投影时要使用的扬声器。
(19)一种信息处理方法，包括：
基于能够投影图像的多个投影区域中的指定投影区域的位置信息以及多个扬声器的位置信息，从所述多个扬声器中选择当在所述指定投影区域上执行投影时要使用的扬声器。
(20)一种使计算机用作控制部的程序，所述控制部基于能够投影图像的多个投影区域中的指定投影区域的位置信息以及多个扬声器的位置的信息，从所述多个扬声器中选择当在所述指定投影区域上执行投影时要使用的扬声器。
附图标记列表
10 信息处理装置
20 投影仪
30 摄像装置
40 扬声器
100 信息处理系统

Claims (20)

1.一种信息处理装置，包括：
控制部，所述控制部基于能够投影图像的多个投影区域中的指定投影区域的位置信息以及多个扬声器的位置信息，从所述多个扬声器中选择当在所述指定投影区域上执行投影时要使用的扬声器。
2.根据权利要求1所述的信息处理装置，其中
所述控制部基于所述指定投影区域与每个扬声器之间的距离，来选择所述要使用的扬声器。
3.根据权利要求2所述的信息处理装置，其中
所述控制部从所述多个扬声器中选择距离最接近所述指定投影区域的扬声器作为所述要使用的扬声器。
4.根据权利要求1所述的信息处理装置，其中
所述控制部选择两个或更多个扬声器作为所述要使用的扬声器。
5.根据权利要求4所述的信息处理装置，其中
不同的语音声道分别被分配给所述两个或更多个扬声器。
6.根据权利要求5所述的信息处理装置，其中
所述控制部设置多个搜索区域以用于搜索所述扬声器，并且选择每个搜索区域要使用的扬声器。
7.根据权利要求6所述的信息处理装置，其中
所述控制部使用所述指定投影区域的位置为基准来设置所述多个搜索区域。
8.根据权利要求1所述的信息处理装置，其中
所述控制部获取用户的位置信息，并基于所述用户的位置信息来选择所述要使用的扬声器。
9.根据权利要求8所述的信息处理装置，其中
所述控制部获取所述多个扬声器的每个可听区域的信息，并且基于所述每个可听区域的信息来选择所述要使用的扬声器。
10.根据权利要求9所述的信息处理装置，其中
所述控制部确定是否存在将所述用户的位置包括在所述可听区域中的扬声器，并且如果存在，则选择将所述用户的位置包括在所述可听区域中的所述扬声器作为所述要使用的扬声器。
11.根据权利要求10所述的信息处理装置，其中
如果不存在将所述用户的位置包括在所述可听区域中的扬声器，则所述控制部从所述多个扬声器中选择距离最接近投影区域的扬声器作为所述要使用的扬声器。
12.根据权利要求8所述的信息处理装置，其中
所述控制部选择两个或更多个扬声器作为所述要使用的扬声器。
13.根据权利要求12所述的信息处理装置，其中
所述控制部设置用于搜索所述扬声器的多个搜索区域，并且选择每个搜索区域要使用的扬声器。
14.根据权利要求13所述的信息处理装置，其中
所述控制部使用所述用户的所述位置为基准来设置所述多个搜索区域。
15.根据权利要求1所述的信息处理装置，其中
所述多个扬声器中的每一个具有用于获取所述扬声器的位置信息的标识。
16.根据权利要求1所述的信息处理装置，其中
所述多个扬声器中的至少一个扬声器能够被用户保持，并且
所述控制部获取由所述用户保持的所述扬声器的位置信息，并且基于所述扬声器的位置信息来登记所述投影区域。
17.根据权利要求1所述的信息处理装置，其中
所述控制部改变所述投影区域的位置。
18.一种信息处理系统，包括：
多个扬声器；以及
信息处理装置，所述信息处理装置包括控制部，所述控制部基于能够投影图像的多个投影区域中的指定投影区域的位置信息以及多个扬声器的位置信息，从所述多个扬声器中选择当在所述指定投影区域上执行投影时要使用的扬声器。
19.一种信息处理方法，包括：
基于能够投影图像的多个投影区域中的指定投影区域的位置信息以及多个扬声器的位置信息，从所述多个扬声器中选择当在所述指定投影区域上执行投影时要使用的扬声器。
20.一种使计算机用作控制部的程序，所述控制部基于能够投影图像的多个投影区域中的指定投影区域的位置信息以及多个扬声器的位置的信息，从所述多个扬声器中选择当在所述指定投影区域上执行投影时要使用的扬声器。
CN201980016614.XA 2018-03-08 2019-02-15 信息处理装置、信息处理方法、信息处理系统和程序 Pending CN111801952A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-041838 2018-03-08
JP2018041838 2018-03-08
PCT/JP2019/005537 WO2019171907A1 (ja) 2018-03-08 2019-02-15 情報処理装置、情報処理方法、情報処理システム及びプログラム

Publications (1)

Publication Number Publication Date
CN111801952A true CN111801952A (zh) 2020-10-20

Family

ID=67846680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980016614.XA Pending CN111801952A (zh) 2018-03-08 2019-02-15 信息处理装置、信息处理方法、信息处理系统和程序

Country Status (5)

Country Link
US (1) US20210006930A1 (zh)
JP (1) JPWO2019171907A1 (zh)
CN (1) CN111801952A (zh)
DE (1) DE112019001215T5 (zh)
WO (1) WO2019171907A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220295025A1 (en) * 2019-04-12 2022-09-15 Daniel Seidel Projection system with interactive exclusion zones and topological adjustment

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050152565A1 (en) * 2004-01-09 2005-07-14 Jouppi Norman P. System and method for control of audio field based on position of user
US20070104341A1 (en) * 2005-10-17 2007-05-10 Sony Corporation Image display device and method and program
CN101479659A (zh) * 2006-07-03 2009-07-08 松下电器产业株式会社 投影系统及影像投射方法
JP2009283997A (ja) * 2008-05-19 2009-12-03 Sharp Corp 音声出力装置、プログラム、および記録媒体
US20110096136A1 (en) * 2009-05-12 2011-04-28 Huawei Device Co., Ltd. Telepresence system, telepresence method, and video collection device
CN102204245A (zh) * 2008-11-04 2011-09-28 惠普开发有限公司 相对于摄像机位置控制视频窗口位置
JP2012004733A (ja) * 2010-06-15 2012-01-05 Tamura Seisakusho Co Ltd 光通信を用いた音響システム
CN102484688A (zh) * 2009-06-03 2012-05-30 传斯伯斯克影像有限公司 多媒体投影管理
JP2013255029A (ja) * 2012-06-05 2013-12-19 Nikon Corp 画像表示装置
CN106064383A (zh) * 2016-07-19 2016-11-02 东莞市优陌儿智护电子科技有限公司 一种机器人智能投影的白墙定位方法及机器人
CN106463128A (zh) * 2014-03-26 2017-02-22 弗劳恩霍夫应用研究促进协会 屏幕相关的音频对象重映射的设备和方法
WO2017033574A1 (ja) * 2015-08-21 2017-03-02 ソニー株式会社 プロジェクションシステム、および機器ユニット

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007033391A1 (de) * 2007-07-18 2009-01-22 Robert Bosch Gmbh Informationsvorrichtung, Verfahren zur Information und/oder Navigation von einer Person sowie Computerprogramm

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050152565A1 (en) * 2004-01-09 2005-07-14 Jouppi Norman P. System and method for control of audio field based on position of user
US20070104341A1 (en) * 2005-10-17 2007-05-10 Sony Corporation Image display device and method and program
CN101479659A (zh) * 2006-07-03 2009-07-08 松下电器产业株式会社 投影系统及影像投射方法
JP2009283997A (ja) * 2008-05-19 2009-12-03 Sharp Corp 音声出力装置、プログラム、および記録媒体
CN102204245A (zh) * 2008-11-04 2011-09-28 惠普开发有限公司 相对于摄像机位置控制视频窗口位置
US20110096136A1 (en) * 2009-05-12 2011-04-28 Huawei Device Co., Ltd. Telepresence system, telepresence method, and video collection device
CN102484688A (zh) * 2009-06-03 2012-05-30 传斯伯斯克影像有限公司 多媒体投影管理
JP2012004733A (ja) * 2010-06-15 2012-01-05 Tamura Seisakusho Co Ltd 光通信を用いた音響システム
JP2013255029A (ja) * 2012-06-05 2013-12-19 Nikon Corp 画像表示装置
CN106463128A (zh) * 2014-03-26 2017-02-22 弗劳恩霍夫应用研究促进协会 屏幕相关的音频对象重映射的设备和方法
WO2017033574A1 (ja) * 2015-08-21 2017-03-02 ソニー株式会社 プロジェクションシステム、および機器ユニット
CN106064383A (zh) * 2016-07-19 2016-11-02 东莞市优陌儿智护电子科技有限公司 一种机器人智能投影的白墙定位方法及机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
顾山: "多区域音乐播放系统概述", 《实用影音技术》 *

Also Published As

Publication number Publication date
JPWO2019171907A1 (ja) 2021-03-04
US20210006930A1 (en) 2021-01-07
WO2019171907A1 (ja) 2019-09-12
DE112019001215T5 (de) 2020-11-19

Similar Documents

Publication Publication Date Title
US9229584B2 (en) Information input apparatus
EP3400705B1 (en) Active speaker location detection
JP6075122B2 (ja) システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
US20140362253A1 (en) Beamforming method and apparatus for sound signal
JP6780315B2 (ja) 投影装置、投影システム、投影方法及びプログラム
JP2013061552A (ja) プロジェクタ装置および操作検出方法
US9304582B1 (en) Object-based color detection and correction
JP7294350B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN106416223A (zh) 成像设备和通过成像设备进行的视频生成方法
US8311400B2 (en) Content reproduction apparatus and content reproduction method
US20180061372A1 (en) Display apparatus, display system, and control method for display apparatus
JP2015177383A (ja) 投影装置及びプログラム
US11156852B2 (en) Holographic projection device, method, apparatus, and computer readable storage medium
KR102578695B1 (ko) 복수의 디바이스들을 관리하는 방법 및 전자 디바이스
CN111801952A (zh) 信息处理装置、信息处理方法、信息处理系统和程序
CN112381729B (zh) 图像处理方法、装置、终端及存储介质
CN106973275A (zh) 投影设备的控制方法和装置
KR102333931B1 (ko) 영상 투사 장치 및 그의 동작 방법
JP2009065292A (ja) 番組同時視聴システム、番組同時視聴方法及び番組同時視聴プログラム
US10310676B2 (en) Image projection apparatus and operation method thereof
US11054621B2 (en) Camera, and image display apparatus including the same
JP2005227194A (ja) 投影装置、角度検出方法及びプログラム
EP3842907A1 (en) Mobile device and control method for mobile device
JP2008048226A (ja) プロジェクタ調整システムおよびプロジェクタ調整プログラム
JP2016191854A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201020

RJ01 Rejection of invention patent application after publication