CN101052547A - 娱乐系统 - Google Patents

娱乐系统 Download PDF

Info

Publication number
CN101052547A
CN101052547A CNA2005800375016A CN200580037501A CN101052547A CN 101052547 A CN101052547 A CN 101052547A CN A2005800375016 A CNA2005800375016 A CN A2005800375016A CN 200580037501 A CN200580037501 A CN 200580037501A CN 101052547 A CN101052547 A CN 101052547A
Authority
CN
China
Prior art keywords
composograph
image
produces
travel
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800375016A
Other languages
English (en)
Other versions
CN101052547B (zh
Inventor
森敏昭
水口裕二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101052547A publication Critical patent/CN101052547A/zh
Application granted granted Critical
Publication of CN101052547B publication Critical patent/CN101052547B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004—Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0042—Arrangements for holding or mounting articles, not otherwise provided for characterised by mounting means
    • B60R2011/008—Adjustable or movable supports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供一种娱乐系统，其中移动体中的观众可迅速调整至安全状态。该娱乐系统(600)包括：成像单元(12)，用于拍摄车辆的前进方向中的前景，并产生前景图像；前进方向位置检测单元(17)，用于从前景图像检测车辆的前进方向上的位置；视频内容再现单元(11)，用于输出包括图像信息的内容信息；前进方向位置检测单元(17)，用于从前景图像检测车辆的前进方向上的位置；合成图像产生单元(14)，用于从由视频内容再现单元(11)输出的内容信息，产生内容图像，并将内容图像与前景图像相结合，以便以如下方式产生合成图像，使得内容图像被安排在前景图像中检测的位置的周围；以及显示单元(15)，用于显示由合成图像产生单元(14)得到的合成图像。

Description

娱乐系统
技术领域
本发明涉及一种娱乐系统，更具体地，涉及一种为移动体中的观众提供内容的娱乐系统。
背景技术
娱乐系统被安装在车辆(vehicle)(作为移动体的例子)中，以通过安装在例如前座或后座周围的监视器，向车厢内的乘客(观众)提供以电影、新闻或者电视为代表的内容的娱乐信息。然而，根据这种提供系统，当车辆转弯或减速时，观众不能提前知道车辆的行动，使得该观众不能采取安全的姿势。结果，存在如下问题：该娱乐系统可能导致观众中的运动疾病。
为了解决该问题，已经提供了(例如，参见JP-A-2003-154900)旨在避免运动疾病的发生的娱乐系统(下文中称之为“传统娱乐系统”)。也就是说，该娱乐系统以这样一种方式向乘客告知车辆的行动，以避免运动疾病：基于从方向盘、刹车或方向指示灯(winker)传感的运行信息，将车辆的转弯或减速以语音输出或显示在监视器上，通过机载照相机拍摄的行进方向上的前景图像(landscape image)被显示在后座监视器上，等等。
这里，图11是示出现有技术中的娱乐系统的配置的框图。在图11中，传统的娱乐系统包括：语音合成器电路51，用于通过从方向盘52、刹车53以及方向指示灯54接收运行信息，提供语音的运行状态；OSD装置55，用于提供视频上的运行状态；摄像机62，用于拾取行进方向上的前景的图像；DVD播放器单元57；后座监视器61；导航系统58，用于辅助车辆的驾驶；混频器56，用于对语音合成器电路51的语音输出、DVD播放器单元57的语音信号、以及导航系统58的语音信号进行合成；IR电路59，用于将合成的语音信号转换成红外信号；以及耳机60，用于将来自IR电路59的红外信号转换成为声音。
发明内容
本发明要解决的问题
然而，根据传统的娱乐系统，例如，当车辆围绕曲线行驶而无需方向指示灯的操作时，这种影响没有以语音输出至耳机60，后座监视器61上没有显示，确切地说，在后座监视器61上没有显示行进方向上的前景图像。因此，当车辆转一曲线或车辆的行为改变到一定程度时，乘客不可能提前知道这种行为的发生。结果，传统的娱乐系统存在这样的问题：乘客既不能提前采取安全的姿势，又不能有效地避免运动疾病的发生。
因此，本发明的一个目的在于提供一种娱乐系统，该娱乐系统能够允许移动体中的观众立刻采取安全的姿势。
解决上述问题的手段
为了实现上述目的，本发明的一种娱乐系统包括：拍摄部分，用于通过拍摄车辆的行进方向上的前景，产生前景图像；内容信息输出部分，用于输出包含图像信息的内容信息；行进方向上的位置传感部分，用于基于通过所述拍摄部分产生的所述前景图像，传感所述车辆的所述行进方向上的位置；第一合成图像产生部分，用于从通过所述内容信息输出部分输出的所述内容信息产生内容图像，并且通过将所述内容图像与所述前景图像相结合，产生合成图像，使得所述内容图像被安排在所述前景图像中的所述传感到的位置的周围；以及显示部分，用于显示通过所述第一合成图像产生部分产生的所述合成图像。
在该娱乐系统中，所述第一合成图像产生部分通过将所述内容图像与中间图像相结合，产生所述合成图像，使得所述传感到的位置不被所述中间图像中的所述内容图像所覆盖。
在该娱乐系统中，所述第一合成图像产生部分产生中间图像，其中，代表预定的形状的图信息被结合在由所述拍摄部分产生的所述前景图像中的、通过所述行进方向上的位置传感部分传感的位置中，并且通过将所述内容图像与所述中间图像相结合，产生所述合成图像，使得所述内容图像被安排在所述中间图像中的所述图信息的周围。
本发明的娱乐系统还包括：白线传感部分，用于基于通过所述拍摄部分产生的所述前景图像，传感描绘在道路表面上的白线，其中，所述行进方向上的位置传感部分传感指示通过所述白线传感部分传感的所述白线交叉点的消失点，作为所述车辆的所述行进方向上的所述位置。
本发明的娱乐系统还包括：运行信息输出部分，用于输出指示所述车辆的转弯方向的运行信息；以及第二合成图像产生部分，用于产生中间图像，其中，当所述运行信息由所述运行信息输出部分给出时，指示通过所述行进方向上的位置传感部分传感的所述位置的位置信息，与通过所述拍摄部分产生的所述前景图像，以及来自通过所述拍摄部分产生的所述前景图像中的、从所述内容信息输出部分输出的所述内容信息的内容图像相结合，并且产生所述合成图像，其中所述内容图像与所述中间图像相结合，使得所述内容图像被安排在如下的位置：所述位置在通过所述运行信息指示的所述车辆的所述转弯方向的对侧，并且在所述中间图像中的所述位置信息的周围，其中，所述显示部分显示通过所述第二合成图像产生部分产生的所述合成图像。
本发明的娱乐系统还包括：位置判定部分，用于判定由所述行进方向上的位置传感部分传感的所述位置，是低于还是高于从显示在所述显示部分上的所述合成图像的基线开始的预定高度；排除部分，用于排除通过所述拍摄部分拍摄的所述前景图像的上部一个量，借此，当通过所述位置判定部分判定所述位置低于所述预定高度时，所述显示部分上的显示图像中显示的所述位置被移动到所述预定高度或更高；以及第三合成图像产生部分，用于产生中间图像，其中指示通过所述行进方向上的位置传感部分传感的所述位置的位置信息，与将不被所述排除部分排除的剩余前景图像，以及来自由所述内容信息输出部分输出的内容信息的内容图像相结合，并通过将所述中间图像与所述内容图像相结合，产生合成图像，使得所述内容图像被安排在所述中间图像中的所述位置信息的周围，其中，所述显示部分显示通过所述第三合成图像产生部分产生的所述合成图像。
本发明的娱乐系统还包括：驱动部分，用于改变拍摄部分的拍摄方向；位置判定部分，用于判定由所述行进方向上的位置传感部分传感的所述位置，是低于还是高于从显示在所述显示部分上的所述合成图像的基线开始的预定高度；以及控制信息输出部分，用于当通过所述位置判定部分判定所述位置低于所述预定高度时，输出控制信息至所述驱动部分，该控制信息使得所述显示部分上的显示图像中显示的所述位置移动到所述预定高度或更高，其中，所述驱动部分基于由所述控制信息输出部分输出的所述控制信息，改变所述拍摄部分的所述拍摄方向。
此外，本发明的第二个方面目的在于一种娱乐提供方法。所述娱乐提供方法包括：通过拍摄车辆的行进方向上的前景，产生前景图像；输出包含图像信息的内容信息；基于所述拍摄的前景图像，传感所述车辆的所述行进方向上的位置；基于所述输出的内容信息，产生内容图像，并且通过将所述内容图像与所述前景图像相结合，产生合成图像，使得所述内容图像被安排在所述前景图像中的所述传感到的位置的周围；以及显示所述合成图像。
本发明的优点：
根据本发明，图像合成部分14合成内容图像和前景图像，使得前景图像中的车辆的行进方向上的位置不被内容图像所覆盖。因此，即使当方向指示灯没有使用时，同车乘客也可以预见车辆的转弯，使得观众可以提前采取安全的姿势，并可以避免观众中的运动疾病的发生。
当结合附图理解了下述的本发明的详细说明时，本发明的以上以及其他的目的、特征、方面和优点将变得更加清楚。
附图说明
图1是表示根据本发明的实施例的娱乐系统600的配置的框图。
图2是图示通过图1中所示的拍摄部分12所拍摄的图像100的示意图。
图3(a)是图示通过图1中所示的白线传感部分16产生的空间高频信号表示的边缘图像的示意图；而图3(b)是图示通过图1中所示的白线传感部分16产生的提取出的边缘图像120的示意图。
图4(a)是图示通过图1中所示的白线传感部分16产生的道路图像130的示意图；而图4(b)是图示通过图1中所示的白线传感部分16产生的区域图像140的示意图。
图5是表示直至图像被显示在如图1中所示的娱乐系统600中所需的处理过程的流程图。
图6(a)是图示通过图1中所示的拍摄部分12拍摄的前景的示意图；图6(b)是解释图5中所示的步骤S150中的过程的示意图；图6(c)是解释步骤160中的过程的示意图；以及，图6(d)是解释步骤170中的过程的示意图。
图7(a)至(c)是解释图5中所示的步骤S180中的过程的示意图。
图8是解释图1中所示的图像合成部分14的过程的示意图。
图9是表示图1中所示的娱乐系统600中的拍摄部分12的控制拍摄方向中所应用的操作步骤的流程图。
图10(a)是图示拍摄部分12在拍摄方向改变前产生的前景图像510的示意图；图10(b)是解释拍摄部分12在拍摄方向改变后产生的前景图像520的示意图；图10(c)是解释内容图像540的示意图，以及，图10(d)是解释合成图像550的示意图。
图11是表示现有技术中娱乐系统的配置的框图。
参考标号描述
11视频内容播放部分
12拍摄部分
13方向指示灯部分
14图像合成部分
15显示部分
16白线传感部分
17行进方向上的位置传感部分
18拍摄方向控制部分
19驱动部分
600娱乐系统
具体实施方式
本发明的一个实施例将参考下面的附图进行说明。图1是表示根据本发明的实施例的娱乐系统600的配置的框图。
在图1中，娱乐系统600被安装在车辆(作为移动体的例子)中，并且包括视频内容播放部分11、拍摄部分12、方向指示灯部分13、图像合成部分14、显示部分15、白线传感部分16、运动方向上的位置传感部分17、拍摄方向控制部分18、以及驱动部分19。
视频内容播放部分11播放存储在CD-ROM或DVD-ROM(放置在CD-ROM驱动器或DVD-ROM驱动器中)中的视频内容信息。此外，视频内容播放部分11播放如通过通信线路接收的电视广播等的视频内容信息。视频内容播放部分11组成输出包含图像信息的内容信息的内容信息输出部分。
拍摄部分12是具有镜头和CCD的相机，并通常被安装在车辆的前部或顶部。拍摄部分12输出视频信号1h，该视频信号拾取在车辆的行进方向上的前景图像。
当车辆右转或左转时，方向指示灯部分13输出运行信号2h。方向指示灯部分13组成输出表示车辆的转弯方向的运行信息的运行信息输出部分。在这种情况下，该运行信息输出部分不仅可通过方向指示灯部分13构成，而且还可以通过与车辆的运行一起运行的其他机械组成部分构成。此外，在本实施例中，方向指示灯部分13被解释为娱乐系统600的组成部分。但通常方向指示灯部分13是车辆的组成部分。也就是说，方向指示灯部分13并不是娱乐系统600的基本组成部分。
图像合成部分14接收从拍摄部分12输出的视频信号1h、从方向指示灯部分13输出的运行信号2h、从视频内容播放部分11输出的内容信息3h、以及从行进方向上的位置传感部分17输出的消失点位置信息4h，以指示消失点(细节将在下面描述)的位置。图像合成部分14通过使用它们之中的必要信息，产生并输出代表下文给出的图像的合成图像信号5h。图像合成部分14响应于合成图像产生方法，作为第一图像合成部分、第二图像合成部分以及第三图像合成部分的任何之一来运作。
(1)当由拍摄部分12拍摄的前景图像不显示时，基于内容信息3h的图像信号5h
(2)当内容信息3h不显示时，由拍摄部分12拍摄的基于视频信号1h的图像信号5h
(3)表示内容图像与视频信号1h所代表的前景图像结合的图像信号5h，不覆盖消失点的位置以及它的周围区域，如图7中所示
例如，TFT彩色液晶显示监视器被用来作为显示部分15。显示部分15显示基于从图像合成部分14输入的图像信号5h的视频。
白线传感部分16从代表由拍摄部分12拍摄的图像100(见图2)的视频信号1h中提取出高频成分，并产生代表包含如图3(a)中所示的车道(1ane)R1、R2和R3的边缘图像110的空间高频信号。此外，白线传感部分16基于被应用来有效提取车道R1、R2和R3的轮廓部分的阈值，扫描边缘图像110，并产生包含通过使车道R1、R2和R3变细所得到的边缘r1、r2和r3的提取出的边缘图像120，如图3(b)中所示。
此外，白线传感部分16从代表由拍摄部分12拍摄的图像100(见图2)的视频信号1h，提取出低频成分，并产生包含包含道路表面131的道路表面图像130，如图4(a)中所示。进一步地，白线传感部分16从以这种方式产生的道路表面图像130，产生具有区域AR1和AR2的区域图像140(见图4(b))，区域AR1和AR2分别具有从道路表面131的外缘向内和向外的宽度W。
此外，白线传感部分16判定包含在提取出的边缘图像120(见图3(b))中的边缘r1和r3是否分别吻合区域AR1和AR2(见图4(b))。如果白线传感部分16判定各边缘分别吻合各区域，它就将车道R1和R3视为白线，然后输出表示边缘r1和r3的提取出的边缘信号6h。这里，白线传感的详细内容在例如JP-A-2001-273504和JP-A-2003-154900中提出。
当行进方向上的位置传感部分17接收由白线传感部分16产生的提取出的边缘信号6h时，它得出代表边缘r1和r3自身的直线，或者如果边缘r1和r3是曲线，就通过使用最小二乘法或Hough转换得到的其近似直线。然后，行进方向上的位置传感部分17计算由这些直线r1和r3的交叉点组成的消失点的位置P(X，Y)。然后，行进方向上的位置传感部分17向图像合成部分14和拍摄方向控制部分18，发送表示所计算的消失点的位置P(X，Y)的消失点位置信息4h。
拍摄方向控制部分18基于从行进方向上的位置传感部分17接收到的消失点位置信息4h，确定消失点的位置P是否低于从显示在显示部分15上的合成图像的基线开始的预定的高度。然后，如果判定位置P低于预定的高度，那么拍摄方向控制部分18发送位置控制信息7h至驱动部分19，以将位置P移动到至少高于预定高度的高度。这里，这种拍摄方向控制部分18组成位置判定部分和控制信息输出部分。
驱动部分19包括伺服马达(servomotor)，以改变拍摄部分12的拍摄方向，并按照由从拍摄方向控制部分18馈送的位置控制信息7h指示的量，将伺服马达转到正方向或相反的方向。因此，驱动部分19改变拍摄部分12的拍摄方向，使得位置P被移到预定的高度或更高。
接下来，直至图像被显示在显示部分15上的上述娱乐系统600的操作，将参考图5中的流程图在下文进行解释。
车辆的行进方向上的前景(见图6(a))由拍摄部分12所摄取，而白线传感部分16和图像合成部分14接收产生的视频信号1h(步骤S110)。
如上所述，白线传感部分16产生表示来自视频信号1h的边缘r1和r3的提取出的边缘信号6h，并将该信号发送至行进方向上的位置传感部分17(步骤S120)。
当行进方向上的位置传感部分17接收到来自白线传感部分16的提取出的边缘信号6h时，如上所述，基于接收到的提取出的边缘信号6h，它计算出消失点的位置P(X，Y)，在该点处边缘r1和r3相互交叉。行进方向上的位置传感部分17将指示所计算的消失点P(X，Y)的消失点信号4h，给予图像合成部分14和拍摄方向控制部分18(步骤S130)。
图像合成部分14从行进方向上的位置传感部分17获取由消失点信号4h所指示的消失点的位置P。然后，图像合成部分14判定消失点的位置P是否低于从显示部分15上的显示屏幕的基线开始的高度H1(步骤S140)。这里，高度H1是从显示屏的基线到下文将述的内容图像220的上侧的距离。如果步骤S140中的判定为是，图像合成部分14将通过预定形状的图形显示消失点的消失点位置信息213(图6中以O环绕)，与对应于图6(a)中所示的前景图像210中的消失点的位置P的位置相结合，然后，从前景图像210获得位于低于高度H1的部分212，从而产生图6(b)中所示的中间合成图像215(步骤S150)。换句话说，图像合成部分14从前景图像210中切去空的部分211。这里，图像合成部分14组成位置判定部分和排除部分。
然后，图像合成部分14通过使用由视频内容播放部分11输出的内容信息3h，产生图6(c)中图示的内容图像220(步骤S160)。接下来，图像合成部分14产生代表如下图像的合成图像信号5h，在该图像中内容图像220与中间合成图像215合成在一起(见图6(d))，使得中间合成图像215中合成的消失点位置信息213不被内容图像220所隐藏(步骤S170)。该合成图像信号5h被输出至显示部分15。
当步骤S140中图像合成部分14判定为否时，产生中间前景图像310(见图7(a))，其中消失点位置信息被安排在对应于中间合成图像215中的位置P的位置，以指示通过从行进方向上的位置传感部分17接收的消失点信号4h所指示的消失点的位置P(步骤S180)。
然后，图像合成部分14从由视频内容播放部分11所获得的内容信息3h，产生内容图像320(见图7)(步骤S190)。接下来，图像合成部分14产生图7中所示的合成图像330，其中内容图像320和前景图像310结合在一起，使得前景图像310中的消失点位置信息311不被内容图像320所覆盖(步骤S200)。图像合成部分14输出该图像至显示部分15，作为代表合成图像330的合成图像信号5h的一个实例。
当合成图像信号5h由图像合成部分14给出时，显示部分15基于输入信号5h，显示合成图像(步骤S210)。然后，过程结束。
接下来，下文将解释当指示车辆的行进方向的运行信号2h从方向指示灯部分13输出时、娱乐系统600的图像显示操作。
如图8中所示，例如，当方向指示灯部分13输出指示车辆驾驶方向右转的运行信号2h至图像合成部分14时，图像合成部分14产生合成图像440，其中安排在图8中图示的合成图像410的右下方的内容图像430，被安排在左下方并且不覆盖消失点的位置信息420的位置。根据所述操作，消失点位置信息420和车辆应转向的右转道路被显示在显示部分15上。
接下来，娱乐系统600中用于控制拍摄部分12的拍摄方向的操作将参考图9中的流程图在下文进行解释。
当指示消失点的位置P的消失点信号4h由行进方向上的位置传感部分17给出时，拍摄方向控制部分18判定消失点的位置P是否位于从屏幕的基线开始的高度H2之下(步骤S310)。这里，所述高度H2是从显示屏幕的基线到下文将述的内容图像220的上侧的距离。
当拍摄方向控制部分18判定消失点的位置P高于高度H2时(步骤S310；否)，就继续执行该过程，直至消失点的位置P低于高度H2。相反地，当拍摄方向控制部分18判定位置P低于屏幕上的高度H2时(步骤S310；是)，就通过从高度H2减去位置P的高度Y(H2-Y)，计算T(T＝H2-Y+L)，然后加上值L至值H2-Y，以得到细长的边缘(步骤S320)。
然后，拍摄方向控制部分18向驱动部分19输出位置控制信号7h，其控制基于值T所计算的相机方向，使得消失点的位置P高于高度H2(步骤S330)。
驱动部分19根据由拍摄方向控制部分18输出的位置控制信号7h，在该方向执行预定的转弯，并改变拍摄部分12的拍摄方向(步骤S340)。然后，拍摄部分12输出图10(b)中图示的前景图像520的视频信号1h至图像合成部分14，在图10(b)中，消失点的位置P从改变前图10(a)中图示的前景图像510被移动到(H2+L)。
图像合成部分14从由行进方向上的位置传感部分17输出的消失点信号4h，计算消失点的位置P，然后产生图10(b)中图示的前景图像530，在图10(b)中，指示消失点的位置的消失点位置信息531被显示在前景图像510中的消失点的位置P的位置(步骤S350)。然后，图像合成部分14通过使用视频内容播放部分11所输出的内容信息3h，产生图10(c)中图示的内容图像540(步骤S360)。
然后，图像合成部分14产生图10(d)中图示的合成图像550，在图10(d)中，内容图像540和前景图像530被合成，使得前景图像530中的消失点位置信息531不被内容图像540所覆盖(步骤S370)。接下来，图像合成部分14将代表合成图像550的合成图像信号5h馈至显示部分15。然后，显示部分15显示接收到的合成图像550(步骤S380)。然后，过程结束。
根据该实施例的娱乐系统600，由行进方向上的位置传感部分17传感、并且显示车辆的行进方向上的位置的前景图像，被产生在由拍摄部分12所拍摄的前景图像上，内容图像从由视频内容播放部分11输出的内容信息所产生，并且图像合成部分14合成内容图像和前景图像，使得前景图像中车辆行进方向上的位置不被内容图像所覆盖。因此，即使当方向指示灯没有使用时，车辆的转弯也能够由乘客提前预见，使得观众可以提前采取安全的姿势，并且能够避免观众中运动疾病的发生。
在上述实施例中，作为优选实施例，解释了这样一种模式：消失点位置信息213与前景图像210相结合，然后内容图像220和中间合成图像215相结合，使得组成的消失点位置信息213不被内容图像220所隐藏。但是本发明并不局限于该模式。消失点位置信息213可以不与前景图像210相结合，而在步骤S170中，内容图像220可以仅与由消失点位置信息213所指明的位置的邻居相结合。换句话说，图像合成部分14可以合成内容图像和前景图像，使得前景图像中车辆的行进方向上的位置不被内容图像所覆盖。这里，表述“前景图像中车辆的行进方向上的位置不被内容图像所覆盖”的意思是指状态“内容图像被安排在车辆的行进方向上的位置(位置信息)的周围”。所述状态“内容图像被安排在车辆的行进方向上的位置(位置信息)的周围”指的是普通状态“当车辆的行进方向上的位置的显示被维持在显示部分15上时，内容图像也被安排在显示部分15上”。因此，该措词“内容图像被安排在位置信息的周围”不仅仅局限于内容图像被安排在车辆的行进方向上的位置的紧邻的情况，而包括内容图像被安排得稍微从上述位置移开的这样一种状态。
此外，根据娱乐系统600，内容图像和前景图像被合成，使得前景图像中车辆的行进方向上的位置不被运行信息中所示的位置信息所覆盖，该运行信息位于车辆的转弯方向的对侧。因此，该系统可以通知乘客车辆的转弯方向。
此外，根据娱乐系统600，预定的上部或预定的下部被排除在所拍摄的前景图像外，然后使用剩余的前景图像由图像合成部分14产生合成图像。因此，所述系统能够移动显示在显示部分上的合成图像中的前景图像。
此外，根据娱乐系统600，拍摄方向控制部分18输出控制信息至拍摄部分12，以改变拍摄部分12的拍摄方向，使得由车辆的行进方向上的位置传感部分17传感的车辆的行进方向上的位置，被显示在由图像合成部分14产生的合成图像上。因此，车辆的行进方向上的位置总可以被显示在所显示的合成图像的前景图像上。
此外，根据娱乐系统600，行进方向上的位置传感部分17传感由白线传感部分16传感的消失点，作为在道路表面上描绘的白线之间的交叉点，作为车辆的行进方向上的位置。因此，车辆的行进方向上的位置可以被简单地指明。
这里，当娱乐系统600被提供给第二排以及后面等的后铺(sheet)时，可以实现后座娱乐系统。在这种情况中，组成显示部分15的监视器被提供给在后座前方提供的座位的后侧等。特别地，由于坐在后座的乘客不能经常知道行进方向，因此本发明对于后座娱乐系统的实现特别有用。
在这种情况中，系统可以这样一种方式控制：从提供给车辆的导航系统获取道路的弯曲信息、和在交叉点处道路右转和左转的信息，然后考虑到至之前设定的目的地的路线，行进道路的图像总显示在显示部分15上。
进一步地，本发明包含娱乐提供方法。该方法(1)通过拍摄车辆的行进方向上的前景，产生前景图像；(2)输出包含图像信息的内容信息；(3)从所拍摄的前景图像传感车辆的行进方向上的位置；(4)从输出的内容信息产生内容图像，然后通过将内容图像与前景图像相结合，产生合成图像，使得内容图像被安排在前景图像中的传感的位置的周围；以及(5)显示合成图像。
此外，本发明中还包括用于使计算机执行上述各个步骤的程序。所述程序以各种格式被包含在系统的内部或外部。例如，程序可以被记录在系统中的预定存储器中。此外，程序可以被记录在信息记录装置，如硬盘等，或者信息记录媒体，如CD-ROM、DVD-ROM、存储卡等。
在上述实施例中，车辆的行进方向上的位置是通过道路表面上的白线传感的道路的消失点。然而，不仅传感白线的方法，而且传感图像上的并行直线的汇聚点的任何方法，都可以被用作为传感消失点的方法。例如，消失点可以通过使用由建筑物墙面构成的一组直线来被传感。此外，车辆的行进方向上的位置可不通过消失点而通过其它信息而被传感。
此外，在图9中，当消失点的位置低于高度H2时，控制相机方向。但当消失点的位置高于高度H2时，可以控制相机方向，使得消失点的位置P被设定为高度H2。
此外，如果本发明的内容信息包含能够与前景图像相结合的图像信息，那么该内容信息的类型不受限。
上面解释了本发明的各种实施例，但是本发明并不局限于实施例中公开的内容。基于说明书的描述和众所周知的技术，由本领域技术人员做出的变化和改编，对本发明是可接受的，并且包含在请求保护的范围内。
本发明基于2004年10月29日提交的日本专利申请(专利申请号2004-316462)；该申请通过引用在此引入其全部内容。
产业上的可利用性
根据本发明的娱乐系统对于后座娱乐系统是有用的，使得当车辆展现极端行为到某种程度时，例如，当车辆转弯时，乘客们可能预见车辆的极端行为，使得观众能够提前采取安全的姿势，并能够避免观众中运动疾病的发生，等等。

Claims (8)

1.一种娱乐系统，包括：
拍摄部分，其通过拍摄车辆的行进方向上的前景，产生前景图像；
内容信息输出部分，其输出包含图像信息的内容信息；
行进方向上的位置传感部分，其基于通过所述拍摄部分产生的所述前景图像，传感所述车辆的所述行进方向上的位置；
第一合成图像产生部分，其从通过所述内容信息输出部分输出的所述内容信息产生内容图像，并且通过将所述内容图像与所述前景图像相结合，产生合成图像，使得所述内容图像被安排在所述前景图像中的所述传感到的位置的周围；以及
显示部分，其显示通过所述第一合成图像产生部分产生的所述合成图像。
2.根据权利要求1所述的娱乐系统，其中，所述第一合成图像产生部分通过将所述内容图像与中间图像相结合，产生所述合成图像，使得所述传感到的位置不被所述中间图像中的所述内容图像所覆盖。
3.根据权利要求1所述的娱乐系统，其中，所述第一合成图像产生部分产生中间图像，其中，代表预定的形状的图信息被结合在由所述拍摄部分产生的所述前景图像中的、通过所述行进方向上的位置传感部分传感的位置中，并且通过将所述内容图像与所述中间图像相结合，产生所述合成图像，使得所述内容图像被安排在所述中间图像中的所述图信息的周围。
4.根据权利要求1所述的娱乐系统，还包括：
白线传感部分，其基于通过所述拍摄部分产生的所述前景图像，传感描绘在道路表面上的白线，
其中，所述行进方向上的位置传感部分传感指示通过所述白线传感部分传感的所述白线交叉点的消失点，作为所述车辆的所述行进方向上的所述位置。
5.根据权利要求4所述的娱乐系统，还包括：
运行信息输出部分，其输出指示所述车辆的转弯方向的运行信息；以及
第二合成图像产生部分，其产生中间图像，其中，当所述运行信息由所述运行信息输出部分给出时，指示通过所述行进方向上的位置传感部分传感的所述位置的位置信息，与通过所述拍摄部分产生的所述前景图像，以及来自通过所述拍摄部分产生的所述前景图像中的、从所述内容信息输出部分输出的所述内容信息的内容图像相结合，并且产生所述合成图像，其中所述内容图像与所述中间图像相结合，使得所述内容图像被安排在如下的位置：所述位置在通过所述运行信息指示的所述车辆的所述转弯方向的对侧，并且在所述中间图像中的所述位置信息的周围，
其中，所述显示部分显示通过所述第二合成图像产生部分产生的所述合成图像。
6.根据权利要求4所述的娱乐系统，还包括：
位置判定部分，其判定由所述行进方向上的位置传感部分传感的所述位置，是低于还是高于从显示在所述显示部分上的所述合成图像的基线开始的预定高度；
排除部分，其排除通过所述拍摄部分拍摄的所述前景图像的上部一个量，借此，当通过所述位置判定部分判定所述位置低于所述预定高度时，所述显示部分上的显示图像中显示的所述位置被移动到所述预定高度或更高；以及
第三合成图像产生部分，其产生中间图像，其中指示通过所述行进方向上的位置传感部分传感的所述位置的位置信息，与将不被所述排除部分排除的剩余前景图像，以及来自由所述内容信息输出部分输出的内容信息的内容图像相结合，并通过将所述中间图像与所述内容图像相结合，产生合成图像，使得所述内容图像被安排在所述中间图像中的所述位置信息的周围，
其中，所述显示部分显示通过所述第三合成图像产生部分产生的所述合成图像。
7.根据权利要求4所述的娱乐系统，还包括：
驱动部分，其改变所述拍摄部分的所述拍摄方向；
位置判定部分，其判定由所述行进方向上的位置传感部分传感的所述位置，是低于还是高于从显示在所述显示部分上的所述合成图像的基线开始的预定高度；以及
控制信息输出部分，当通过所述位置判定部分判定所述位置低于所述预定高度时，其输出控制信息至所述驱动部分，该控制信息使得所述显示部分上的显示图像中显示的所述位置移动到所述预定高度或更高，
其中，所述驱动部分基于由所述控制信息输出部分输出的所述控制信息，改变所述拍摄部分的所述拍摄方向。
8.一种娱乐提供方法，包括：
通过拍摄车辆的行进方向上的前景，产生前景图像；
输出包含图像信息的内容信息；
基于所述拍摄的前景图像，传感所述车辆的所述行进方向上的位置；
基于所述输出的内容信息，产生内容图像，并且通过将所述内容图像与所述前景图像相结合，产生合成图像，使得所述内容图像被安排在所述前景图像中的所述传感到的位置的周围；以及
显示所述合成图像。
CN2005800375016A 2004-10-29 2005-10-28 娱乐系统 Expired - Fee Related CN101052547B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP316462/2004 2004-10-29
JP2004316462 2004-10-29
PCT/JP2005/019929 WO2006046715A1 (ja) 2004-10-29 2005-10-28 エンタテインメントシステム

Publications (2)

Publication Number Publication Date
CN101052547A true CN101052547A (zh) 2007-10-10
CN101052547B CN101052547B (zh) 2010-07-14

Family

ID=36227955

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800375016A Expired - Fee Related CN101052547B (zh) 2004-10-29 2005-10-28 娱乐系统

Country Status (6)

Country Link
US (1) US20090138919A1 (zh)
EP (1) EP1813477B1 (zh)
JP (1) JPWO2006046715A1 (zh)
CN (1) CN101052547B (zh)
DE (1) DE602005027596D1 (zh)
WO (1) WO2006046715A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821267A (zh) * 2011-06-08 2012-12-12 富士通天株式会社 图像生成装置以及图像生成方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITBS20050066A1 (it) * 2005-06-01 2006-12-02 Sys Tec S R L Metodo e macchina per allineare lastre di stampa flessografica su cilindri di stampa
JP2009126270A (ja) * 2007-11-21 2009-06-11 Sanyo Electric Co Ltd 画像処理装置及び方法、運転支援システム、車両
JP5911775B2 (ja) * 2012-08-21 2016-04-27 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
US20170324993A1 (en) * 2014-11-17 2017-11-09 Nec Corporation Video processing system, transmission device, and video processing method
US20220024459A1 (en) * 2020-07-21 2022-01-27 Hyundai Mobis Co., Ltd. Motion sickness reduction system and method for vehicle occupants
EP4215415A1 (en) * 2022-01-21 2023-07-26 Bayerische Motoren Werke Aktiengesellschaft Method of operating a display device, vehicle and system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02147446A (ja) * 1988-11-30 1990-06-06 Hitachi Ltd 車載用画像表示装置
JP3160434B2 (ja) * 1993-08-31 2001-04-25 アルパイン株式会社 車載用ナビゲーション装置の走行案内画像表示方法
US6405975B1 (en) * 1995-12-19 2002-06-18 The Boeing Company Airplane ground maneuvering camera system
EP1383100A3 (en) * 1996-08-28 2005-02-02 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus and method therefor
JP3288370B2 (ja) * 1996-08-28 2002-06-04 松下電器産業株式会社 道路方向検出装置
JPH10116086A (ja) * 1996-10-08 1998-05-06 Aqueous Res:Kk 車載カラオケ
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
US20030229897A1 (en) * 2000-04-07 2003-12-11 Live Tv, Inc. Aircraft in-flight entertainment system providing passenger specific advertisements, and associated methods
JP2002277258A (ja) * 2001-03-15 2002-09-25 Nissan Motor Co Ltd 車両用表示装置
JP2003154900A (ja) * 2001-11-22 2003-05-27 Pioneer Electronic Corp リアエンタテイメントシステム及びその制御方法
JP4062145B2 (ja) * 2003-03-25 2008-03-19 コニカミノルタホールディングス株式会社 撮像装置
JP2005294954A (ja) * 2004-03-31 2005-10-20 Pioneer Electronic Corp 表示装置及び補助表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821267A (zh) * 2011-06-08 2012-12-12 富士通天株式会社 图像生成装置以及图像生成方法
CN102821267B (zh) * 2011-06-08 2015-09-30 富士通天株式会社 图像生成装置以及图像生成方法

Also Published As

Publication number Publication date
CN101052547B (zh) 2010-07-14
DE602005027596D1 (de) 2011-06-01
EP1813477A4 (en) 2009-01-28
EP1813477A1 (en) 2007-08-01
WO2006046715A1 (ja) 2006-05-04
JPWO2006046715A1 (ja) 2008-05-22
EP1813477B1 (en) 2011-04-20
US20090138919A1 (en) 2009-05-28

Similar Documents

Publication Publication Date Title
CN101052547A (zh) 娱乐系统
CN1295656C (zh) 图像合成装置
US8885045B2 (en) Device and method for monitoring vehicle surroundings
JP7106846B2 (ja) 周辺監視装置
JP6241687B2 (ja) 運転支援装置
CN1212724C (zh) 图像合成装置和方法
JP4325705B2 (ja) 表示システム及びプログラム
CN1922055A (zh) 车载显示装置、车载显示系统和车辆
CN1878299A (zh) 图像显示装置和方法
JP2007325166A (ja) 駐車支援プログラム、駐車支援装置、駐車支援画面
JP2009524171A (ja) 複数の画像を結合して鳥瞰図画像にする方法
CN103988499A (zh) 车辆周边监视装置
JP2011030078A (ja) 車両用画像表示装置
JP2007267343A (ja) 車両周辺画像提供装置および方法
CN1535866A (zh) 障碍物探测装置
JP2006240383A (ja) クルージング支援車載情報システム
JP2020068515A (ja) 画像処理装置
US10834294B2 (en) Imaging device, imaging element, and method of controlling imaging device
JP2009152966A (ja) 画像表示システム及びカメラ出力制御方法
JP2010079454A (ja) 運転支援装置
JP2005333565A (ja) 監視装置
JP5226621B2 (ja) 車両用画像表示装置
JP2011124879A (ja) 車両用撮像システム及び車載用撮像装置
JP6300949B2 (ja) 表示制御装置
CN1825951A (zh) 车辆周围环境观察装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100714