JP2016521473A - System and method for adjusting images for in-vehicle cameras - Google Patents

System and method for adjusting images for in-vehicle cameras Download PDF

Info

Publication number
JP2016521473A
JP2016521473A JP2016501836A JP2016501836A JP2016521473A JP 2016521473 A JP2016521473 A JP 2016521473A JP 2016501836 A JP2016501836 A JP 2016501836A JP 2016501836 A JP2016501836 A JP 2016501836A JP 2016521473 A JP2016521473 A JP 2016521473A
Authority
JP
Japan
Prior art keywords
image
vehicle
resolution
camera
horizon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016501836A
Other languages
Japanese (ja)
Other versions
JP6593929B2 (en
Inventor
デイビーズ,マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fox Sports Productions Inc
Original Assignee
Fox Sports Productions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fox Sports Productions Inc filed Critical Fox Sports Productions Inc
Publication of JP2016521473A publication Critical patent/JP2016521473A/en
Application granted granted Critical
Publication of JP6593929B2 publication Critical patent/JP6593929B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/243Aligning, centring, orientation detection or correction of the image by compensating for image skew or non-uniform image deformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • B60W2050/0085Setting or resetting initial positions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • B60W2050/0215Sensor drifts or sensor failures
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/16Pitch
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

システムおよび方法は、少なくとも1つの車載センサに応じて画像を調整する。The system and method adjust the image in response to at least one in-vehicle sensor.

Description

[関連出願の相互参照]
本願は、2012年8月6日に出願された米国特許出願第13/567,323号の一部継続出願である2013年3月13日に出願された米国特許仮出願第61/778,641号の利益を享受するものであり、2011年8月5日に出願された米国特許出願第61/515,549号および2011年11月23日に出願された米国特許出願第61/563,126号の優先権を主張し、その内容は参照により本願に含まれる。
[Cross-reference of related applications]
This application is a continuation-in-part of U.S. Patent Application No. 13 / 567,323, filed on August 6, 2012, which is a provisional U.S. Patent Application No. 61 / 778,641 filed on March 13, 2013. No. 61 / 515,549 filed on Aug. 5, 2011 and U.S. Patent Application No. 61 / 563,126 filed on Nov. 23, 2011. Claim priority, the contents of which are hereby incorporated by reference.

[発明の分野]
本発明は概して車載カメラに関し、より詳細には、本発明の例示的実施形態は車載カメラ用に画像、例えば画像内水平線を調整する方法に関する。
[Field of the Invention]
The present invention relates generally to in-vehicle cameras, and more particularly, exemplary embodiments of the present invention relate to a method for adjusting an image, such as an in-image horizon, for an in-vehicle camera.

乗物に搭載されるカメラは、道路やコース並びに飛行性能の記録のような個人使用から、レースカーでの専門的な用途まで幅広い用途に用いられる。   Cameras mounted on vehicles are used in a wide range of applications, from personal use such as recording roads, courses, and flight performance to specialized use in race cars.

従来技術を示す図1、2に、全体を参照符号10で示すナスカーレースでの従来のカメラ画像を図示する。図1、2は、直線とカーブでの、レースカーのボンネット14に対する固定された水平線(画像の固定された基準を示すよう、画像を横切る仮想画像内水平線12)を示す。この仮想線12は、コースの角度の変更により、空16に対して画像内水平線がずれたことを示す。   1 and 2 showing the prior art show conventional camera images in the Nascar race, generally indicated by reference numeral 10. 1 and 2 show a fixed horizontal line for the hood 14 of the race car (straight line 12 in the virtual image across the image to show a fixed reference of the image) in straight lines and curves. This imaginary line 12 indicates that the horizontal line in the image is shifted with respect to the sky 16 by changing the course angle.

この分野では、車載カメラからの画像を所望の通りに調整可能なシステムおよび方法が求められている。   There is a need in the art for a system and method that can adjust the image from the in-vehicle camera as desired.

車載カメラ用に画像を調整する本発明に係るシステムおよび方法は、少なくとも1つの車載センサに応じて調整可能な画像を提供することにより、従来技術の問題やデメリットを解消、抑制する。   The system and method according to the present invention for adjusting an image for an in-vehicle camera eliminates and suppresses the problems and disadvantages of the prior art by providing an image that can be adjusted according to at least one in-vehicle sensor.

例示的実施形態では、複数のセンサからの車両のテレメトリーを使用して、画像、例えば画像内水平線を所望の方法で自動的に調整してもよい。   In an exemplary embodiment, vehicle telemetry from multiple sensors may be used to automatically adjust an image, eg, an in-image horizon, in a desired manner.

他の例示的実施形態では、車両の傾斜中に、少なくとも1つのセンサからのデータを使用して、画像内水平線がスカイラインの水平線に一致するように自動的に調整される。例えば、レースカーがストレートからバンクを回る際に実行される。   In another exemplary embodiment, during vehicle tilt, data from at least one sensor is used to automatically adjust the horizon in the image to match the horizon of the skyline. For example, it is executed when a race car goes around a bank from a straight.

他の例示的実施形態では、車両が傾斜している間、画像内水平線およびズームの両方が自動的に調整される。   In other exemplary embodiments, both the in-image horizon and zoom are automatically adjusted while the vehicle is tilting.

他の例示的実施形態では、上述の画像内水平線の調整はデジタルビデオ効果により実現され、それにより実際に車両が傾斜している間にカメラの角度を調整する必要がなくなる。   In another exemplary embodiment, the above-described adjustment of the horizon in the image is realized by a digital video effect, thereby eliminating the need to adjust the camera angle while the vehicle is actually tilting.

上述の例示的実施形態やさらに別の形態を、以下の本発明の詳細な記載においてより詳しく説明する。   The exemplary embodiments described above and further forms are described in more detail in the detailed description of the invention below.

本発明の多くの態様が、以下の図面を参照によりよく理解される。図内の部材は、必ずしも寸法とおりとなるものではなく、本発明の原理がより明確に示されるよう、強調されている。さらに、同じ参照符号は図面を通じて同じ部位を指すものである。   Many aspects of the invention can be better understood with reference to the following drawings. The components in the figures are not necessarily to scale, emphasis instead being placed upon clearly illustrating the principles of the present invention. Further, like reference numerals designate like parts throughout the drawings.

図1は、従来技術を示し、レースコースの直線での、固定された画像内水平線を含むレースカーカメラ画像を示す。FIG. 1 illustrates the prior art and shows a race car camera image that includes a fixed in-image horizon in a straight line of the race course.

図2は、従来技術を示し、レースコースでのバンクカーブでの固定された画像内水平線を含むレースカーカメラ画像を示す。FIG. 2 illustrates the prior art and shows a race car camera image including a fixed in-image horizontal line at a bank curve on the race course.

図3は、車載カメラの画像内水平線を調整する例示的方法を示すフローチャートである。FIG. 3 is a flowchart illustrating an exemplary method of adjusting the in-image horizon of the in-vehicle camera.

図4は、レースコースの直線での、調整可能画像内水平線を含むレースカーカメラ画像を示す。FIG. 4 shows a race car camera image including a horizontal line within the adjustable image on a straight line of the race course.

図5は、レースコースのカーブでの、調整可能画像内水平線を含むレースカーカメラ画像を示す。FIG. 5 shows a race car camera image including an adjustable image horizontal line at the race course curve.

図6は、レースコースの直線での、調整可能画像内水平線を含むレースカーカメラ画像を示す。FIG. 6 shows a race car camera image including a horizontal line within the adjustable image on a straight line of the race course.

図7は、レースコースのカーブでの、調整済み画像内水平線を含むレースカーカメラ画像を示す。FIG. 7 shows a race car camera image including the adjusted horizontal line in the race course curve.

図8は、車載カメラ用に画像を調整する例示的システムを示す。FIG. 8 shows an exemplary system for adjusting an image for an in-vehicle camera.

図9は、従来技術を示し、HDおよび、HDよりも高解像度の画像の相対的ピクセル寸法を比較する図である。FIG. 9 is a diagram illustrating the related art and comparing the relative pixel dimensions of HD and higher resolution images.

図10は、720p選択抽出ウィンドウを含む4K撮影画像の例示的グラフィカルユーザーインターフェースを示す。FIG. 10 shows an exemplary graphical user interface of a 4K captured image that includes a 720p selection extraction window.

図11は、撮影を行い、撮影現場外のプロセッサおよびグラフィカルユーザーインターフェースに4K画像を伝送する例示的第1システムを示す。FIG. 11 illustrates an exemplary first system for taking a picture and transmitting a 4K image to a processor and graphical user interface outside the scene.

図12は、撮影を行い、撮影現場で4K画像を処理して、その後HD画像を撮影現場外に伝送する例示的第2システムを示す。FIG. 12 shows an exemplary second system for taking a picture, processing a 4K image at the shooting site, and then transmitting the HD image outside the shooting site.

上述の簡潔な説明とそれに関連した各図の詳細の記載に加え、以下に本発明の例示的実施形態がさらに詳細に説明される。しかし、例示的実施形態を、開示される特定の形態や、特定の詳細に限定する意図がないことが理解されよう。例示的実施形態は、例示的実施形態と請求の範囲内の全ての変形例、均等物、代替例の全てを網羅するものである。図に基づく説明全体を通じて、同じ番号は同じ部材を表すものとする。   In addition to the brief description above and a detailed description of each figure associated therewith, exemplary embodiments of the invention are described in further detail below. However, it will be understood that the exemplary embodiments are not intended to be limited to the particular forms disclosed or the particular details. The exemplary embodiments are intended to cover all variations, equivalents, and alternatives within the exemplary embodiments and claims. The same number represents the same member throughout the description based on the drawings.

第1、第2等の用語が様々な工程や計算に使用されるが、これら工程や計算は当該用語により限定されるものではない。当該用語は、単にある工程や計算を別の工程や計算と区別する目的にのみ使用される。例えば、本開示の範囲内で、第1計算を第2計算と称してよく、同様に第2計算を第1計算と称してよい。本稿で使用される「および/または」という用語は、列挙された要素の1つ以上そしてその全ての組み合わせを含む。   The terms such as first and second are used in various processes and calculations, but these processes and calculations are not limited by the terms. The terms are only used to distinguish one process or calculation from another. For example, within the scope of the present disclosure, the first calculation may be referred to as the second calculation, and similarly, the second calculation may be referred to as the first calculation. The term “and / or” as used herein includes one or more of the listed elements and all combinations thereof.

本明細書で使用される単数形は、文脈から明確に規定される場合を除き、複数形も含むことを意図している。また、本稿で使用される「含む」、「有する」という表現は、記載された特徴、整数、工程、作用、要素、および/または構成要素の存在を規定するものであるが、1以上の他の特徴、整数、工程、作用、要素、構成要素、および/またはそれらの群の存在を排除するものではないことが理解されよう。   As used herein, the singular forms are intended to include the plural forms as well, unless the context clearly dictates otherwise. Also, as used herein, the expressions “include” and “have” define the presence of the described feature, integer, process, action, element, and / or component, but one or more other It will be understood that this does not exclude the presence of features, integers, steps, actions, elements, components, and / or groups thereof.

いくつかの他の実施形態では、記載された機能や動作が図面に示したものとは異なる順序で実施されてもよい。例えば、連続して示された2つの図面や、いずれかの図面に示された複数の工程が、当該機能や動作に応じて、実際には実質的に同時に実行されてもよいし、場合によっては逆の順序で実行されてもよい。   In some other embodiments, the functions and operations described may be performed in a different order than that shown in the drawings. For example, two drawings shown in succession or a plurality of steps shown in any of the drawings may actually be executed substantially simultaneously depending on the function or operation, or in some cases. May be performed in the reverse order.

以下に本発明の例示的実施形態を詳細に説明する。   In the following, exemplary embodiments of the invention will be described in detail.

上述の通り、本発明は、少なくとも1つの車載センサに応じて調整される画像を提供することで、車載カメラ用に画像、例えば画像内水平線を調整することに関する。   As described above, the present invention relates to adjusting an image, for example, an in-image horizon, for an in-vehicle camera by providing an image that is adjusted according to at least one in-vehicle sensor.

例示的実施形態では、複数のセンサからによる車両テレメトリーにより、所望の通りに画像内水平線を自動的に調整してよい。センサデータは、ジャイロデータ、車両角度、姿勢、高度、速度、加速度、トラクション等のような任意の利便性の高いデータやナビゲーションデータなどのデータを含んでよい。センサデータはさらに、車両の環境状態を示すデータを含んでよい。天候、検知されたコース状況、乱気流や向かい風のような風など車両の環境状態を示すデータや、温度や、画像調整の調整用に有利なあらゆる検知データなどその他データも含んでよい。   In an exemplary embodiment, vehicle telemetry from multiple sensors may automatically adjust the horizon in the image as desired. The sensor data may include any convenient data such as gyro data, vehicle angle, attitude, altitude, speed, acceleration, traction, and navigation data. The sensor data may further include data indicating the environmental state of the vehicle. Other data may also be included such as data indicating the vehicle's environmental conditions such as weather, detected course conditions, winds such as turbulence and headwinds, and any detection data that is advantageous for adjusting the temperature and image adjustment.

以下の具体例に示すように、そのような画像調整は、画像内水平線の調整、トリミング、画像内の部分の選択、画像内の関心対象の追跡、HD(high definition;高解像度)より高い解像度のカメラからの選択的HD画像への展開、画像関心点の選択的撮影、環境状況に応じての画像調整等を含む。この例は、2012年8月6日に出願された本願発明者による米国特許同時継続出願第13/567,323号に記載され、2011年8月5日に出願された米国特許出願第61/515,549号および2011年11月23日に出願された米国特許出願第61/563,126号の優先権を主張し、その内容は参照により本願に含まれる。第13/567,323号に示された原画像内の部分の選択的撮影および提示は以下のとおりである。   As shown in the specific examples below, such image adjustment can be achieved by adjusting the horizontal line in the image, cropping, selecting a portion in the image, tracking the object of interest in the image, higher resolution than HD (high definition). Development of a selective HD image from the camera, selective photographing of an image interest point, image adjustment according to environmental conditions, and the like. An example of this is described in U.S. Patent Application Serial No. 13 / 567,323, filed August 6, 2012, filed on August 6, 2012, and filed on August 5, 2011. No. 515,549 and US Patent Application No. 61 / 563,126, filed November 23, 2011, the contents of which are hereby incorporated by reference. The selective photographing and presentation of the part in the original image shown in No. 13 / 567,323 is as follows.

通常、垂直解像度、水平解像度の両方が、一般的画像または動画フォーマットの基準となる。従来例を示す図9では、アスペクト比2.39:1の相対的ピクセル寸法の例を示しており、720pおよび1080pフォーマットがレターボックスで示される。   Usually, both vertical resolution and horizontal resolution are standards for general image or video formats. FIG. 9 showing a conventional example shows an example of a relative pixel size with an aspect ratio of 2.39: 1, and 720p and 1080p formats are shown in letterbox.

高垂直解像度の基準として、720p(1280x720ピクセル)、1080i(1920x1080ピクセルの総解像度に対する、2つの1920x540フィールドによるインターレースによる)、1080p(1920x1080ピクセルのプログレッシブスキャンを表す)が挙げられる。   High vertical resolution criteria include 720p (1280 x 720 pixels), 1080i (by interlacing with two 1920 x 540 fields for a total resolution of 1920 x 1080 pixels), 1080p (representing a 1920 x 1080 pixel progressive scan).

デジタルシネマの分野ではより一般的ではあるが、高水平解像度の基準の例は、2K(幅2048ピクセル)と4K(幅4096ピクセル)を含む。全体的解像度は、画像アスペクト比により定まる。例えば、スタンダードまたはアカデミー比4:3の2K画像は、全体比率が2048x1536ピクセルとなる。一方、2.39:1のパナビジョン比の画像は、全体比率が2048x856ピクセルとなる。従来技術を示す図9は、720p、1080p、2K、4K撮影画像の相対的ピクセル寸法の比較を示す。   Although more common in the field of digital cinema, examples of high horizontal resolution standards include 2K (width 2048 pixels) and 4K (width 4096 pixels). The overall resolution is determined by the image aspect ratio. For example, a 2K image with a standard or Academy ratio of 4: 3 has an overall ratio of 2048 × 1536 pixels. On the other hand, an image having a Panavision ratio of 2.39: 1 has an overall ratio of 2048 × 856 pixels. FIG. 9 showing the prior art shows a comparison of the relative pixel dimensions of the 720p, 1080p, 2K, 4K captured images.

現在、デジタルシネマ用にHD撮影を超える技術が存在し、例えば2K、4Kや、さらに上のものがある。しかし、そのような技術で撮影された画像も、放送やその他配信方式のため、配信スタジオで720p、1080i、または1080pのような、従来から消費者が使用可能なHD形式に引き下げられる。   Currently, there are technologies beyond HD shooting for digital cinema, such as 2K, 4K, and more. However, images shot with such a technique are also reduced to HD formats that can be used conventionally by consumers, such as 720p, 1080i, or 1080p, in broadcast studios for broadcast and other distribution schemes.

さらに、高解像度撮影はデジタルシネマでは使用されているが、従来の放送用撮影には使用されない。このような放送用撮影は、例えば1080pのような所望の消費者ディスプレイ解像度に合わせて行われる。消費者ディスプレイ解像度と放送業者の帯域の両方が限定的であるためである。したがって、たとえば画像内の選択された詳細部分がより良く見えるよう放送画像の一部拡大が求められる状況では、表示解像度は実際に現場で撮影された原画像よりもかなり低くなる。   Furthermore, high-resolution shooting is used in digital cinema, but is not used in conventional broadcast shooting. Such broadcast shooting is performed in accordance with a desired consumer display resolution such as 1080p. This is because both consumer display resolution and broadcaster bandwidth are limited. Therefore, for example, in a situation where a partial enlargement of the broadcast image is required so that the selected detailed portion in the image can be seen better, the display resolution is considerably lower than the original image actually taken on site.

選択的撮影に係る例示的実施形態では、第1画像または動画は、HDや所定の放送用表示解像度よりも高い第1解像度で撮影される。そして第1画像または動画の所望の部分が、より低い第2解像度で表示される。第2解像度は所定の放送用表示解像度に近く、そしてより低い解像度である。したがって、撮影画像の選択部分は、所定の放送用表示解像度、またはそれに近い解像度で表示される(所定の放送用表示解像度に対して画像詳細のロスを最小化するまたは無くする)。   In an exemplary embodiment related to selective shooting, the first image or moving image is shot at a first resolution higher than HD or a predetermined broadcast display resolution. Then, a desired portion of the first image or moving image is displayed with a lower second resolution. The second resolution is close to the predetermined broadcast display resolution and is a lower resolution. Accordingly, the selected portion of the captured image is displayed at or near a predetermined broadcast display resolution (minimizing or eliminating loss of image details for the predetermined broadcast display resolution).

この例を図10に示す。図10は、フルラスター4K動画像1110のスクリーンショットを示す。720p動画の選択抽出ウィンドウ1112として示す4K画像の一部が、提示用に選択される。したがって、原画像はHD解像度より高い解像度で撮影され、HD解像度より高い解像度で撮影された画像から、一部が720p抽出ウィンドウにより提示用に選択される。図10は4K撮影画像と、720p抽出ウィンドウとを具体的に示すが、撮影画像と、抽出ウィンドウの少なくとも一方が別の解像度で提供またはサイズ指定されてよい。   An example of this is shown in FIG. FIG. 10 shows a screen shot of a full raster 4K moving image 1110. A part of the 4K image shown as the 720p moving image selection extraction window 1112 is selected for presentation. Therefore, the original image is taken at a resolution higher than the HD resolution, and a part of the original image taken at a resolution higher than the HD resolution is selected for presentation by the 720p extraction window. Although FIG. 10 specifically shows a 4K captured image and a 720p extraction window, at least one of the captured image and the extraction window may be provided or sized at a different resolution.

また、図10では抽出ウィンドウは1つのみ示されているが、本開示は同一の撮影画像に対し、複数の抽出ウィンドウが同時に適用されることも含む。   Although only one extraction window is shown in FIG. 10, the present disclosure includes that a plurality of extraction windows are simultaneously applied to the same captured image.

さらなる例示的実施形態では、選択抽出ウィンドウ(図10の1112)は、グラフィカルユーザーインターフェース(GUI)(図11および12の1114)で提供される。これにより、操作者は取得された画像を検索して、撮影画像内の部分を提示用に選択可能となる。例示的実施形態では、抽出ウィンドウにより、操作者が抽出ウィンドウのサイズや位置を調整可能となる。別実施形態では、抽出ウィンドウは、動く画像を追跡、もしくは、スキャンするように構成されており、例えば、スポーツ競技中にプレーまたは関心対象物を追うようになっている。別の例示的実施形態では、複数の操作者が同一または複数のGUIにより、同一の画像から抽出を行ってよい。   In a further exemplary embodiment, the selection extraction window (1112 in FIG. 10) is provided in a graphical user interface (GUI) (1114 in FIGS. 11 and 12). As a result, the operator can search the acquired image and select a portion in the captured image for presentation. In an exemplary embodiment, the extraction window allows an operator to adjust the size and position of the extraction window. In another embodiment, the extraction window is configured to track or scan a moving image, for example to play or follow an object of interest during a sporting event. In another exemplary embodiment, multiple operators may extract from the same image using the same or multiple GUIs.

図11、12に示すよう、撮影画像の処理は、撮影現場外(図11)または撮影現場(図12)で行われてもよい。図11に示す例示的システムでは、カメラ1116が、例えば、スポーツ競技の競技場(全体を1118で示す)のような撮影現場で4K画像を撮影する。例えば、4K動画の全帯域を伝送可能とするケーブルのような伝送機構1120は、例えば、競技場1118から離れた中継トラックのような作業ベース(OB)(全体を1122で示す)に撮影画像を伝送する。   As shown in FIGS. 11 and 12, the processing of the photographed image may be performed outside the photographing site (FIG. 11) or the photographing site (FIG. 12). In the exemplary system shown in FIG. 11, a camera 1116 shoots 4K images at a shooting site, such as a sports arena (generally indicated at 1118). For example, a transmission mechanism 1120 such as a cable that can transmit the entire band of 4K moving images, for example, takes a photographed image on a work base (OB) such as a relay track away from the stadium 1118 (the whole is indicated by 1122). To transmit.

画像記録部1124は、取得された画像を、例えばデータストリームとしてサーバーに記録する。これにより、操作者は記録時間をさかのぼり、上述のように撮影画像の選択部分を調べることが可能となる。操作者は、GUI1114を通じて上記のような制御が可能となり、これは、GUI1114および記録部1124との間のインターフェースとなるプロセッサ1126を介しておこなわれる。例示的実施形態では、記録部、プロセッサ、GUIにより、操作者は即時又はほぼ即時に、記録画像の提示用の選択部分に戻ることができる。   The image recording unit 1124 records the acquired image on the server as a data stream, for example. As a result, the operator can go back the recording time and examine the selected portion of the captured image as described above. The operator can perform the above-described control through the GUI 1114, and this is performed via the processor 1126 serving as an interface between the GUI 1114 and the recording unit 1124. In an exemplary embodiment, the recording unit, processor, and GUI allow the operator to return immediately or almost immediately to the selected portion for presentation of the recorded image.

例えば、図10では、トラックにいる操作者は、GUIを使用して、フルラスター4K画像をナビゲートして、選択用16:9抽出ウィンドウを、カーソルのように操作して、関心領域を選択できる。例示的実施形態のGUIでは、抽出ウィンドウにより生中継画像および録画画像の少なくとも一方から関心領域を選択できる。さらに、上述のように、本発明は抽出ウィンドウのサイズ調整や拡大を含む。別実施形態のシステムでは、キーフレームにマーク付けして、例えば、該当画像周りのパン、ズームのような所望の動作をマッピングできる。   For example, in FIG. 10, the operator on the track uses the GUI to navigate the full raster 4K image, and operates the selection 16: 9 extraction window like a cursor to select the region of interest. it can. In the GUI of the exemplary embodiment, the region of interest can be selected from at least one of the live broadcast image and the recorded image by the extraction window. Further, as described above, the present invention includes size adjustment and enlargement of the extraction window. In another embodiment system, keyframes can be marked to map a desired action, such as panning or zooming around the image.

図11を再度参照すると、例示的実施形態では、システムの出力1128(例えば4K撮影に対する720p/59.94出力)がルーター1130に送られる。これにより、出力はライブで切換装置1132に送られるか、のちにプレイアウトされるようサーバー1134(EVS)に蓄積される。さらに、例示的実施形態では、必要に応じて得られた画像をサーバー1134または操作者側で(プロセッサ1126を介して)スローモーション再生や、静止画像にできる。   Referring back to FIG. 11, in an exemplary embodiment, the system output 1128 (eg, 720p / 59.94 output for 4K shooting) is sent to the router 1130. As a result, the output is sent live to the switching device 1132 or stored in the server 1134 (EVS) for later playout. Further, in the exemplary embodiment, the acquired image can be played back as a slow motion or still image on the server 1134 or operator side (via the processor 1126) as needed.

図12に示す別の例示的実施形態では、原画像(この例では4K画像)の取得、伝送、記録が、例えばスポーツ競技の競技場1118のような撮影現場で行われる。撮影現場のプロセッサ1126は、作業ベース1122(例えばトラック、GUIは任意の都合の良い場所からアクセス可能である)内の操作者にGUI1114を提供または接続し、画像の参照動画1138を提供することで、操作者に抽出ウィンドウによる画像指示を可能とする。そして出力1128が競技場から他地点のルーター1130に送られる。   In another exemplary embodiment shown in FIG. 12, the original image (4K image in this example) is acquired, transmitted, and recorded at a shooting site, such as a sports arena 1118. The on-site processor 1126 provides or connects a GUI 1114 to an operator within the work base 1122 (eg, a track, GUI is accessible from any convenient location), and provides a reference video 1138 of the image. The operator can give an image instruction using the extraction window. The output 1128 is sent from the stadium to the router 1130 at another point.

別の実施形態では、システムに対する指示ツールとしてのタブレットコントローラーにより、少なくとも1つのGUIがアクセスされる。このようなタブレットコントローラーは、無線携帯型であって、フレキシブルなメインまたはサブのナビゲーションツールであってよい。   In another embodiment, at least one GUI is accessed by a tablet controller as a pointing tool to the system. Such a tablet controller is wireless and portable and may be a flexible main or sub navigation tool.

別の実施形態では、複数のカメラを配置して、複数視点から画像を取得してもよい。そして、抽出ウィンドウは複数の視点の原画像から一部を選択して表示するよう、システムの複数の撮影画像に対して設けてもよい。   In another embodiment, a plurality of cameras may be arranged to acquire images from a plurality of viewpoints. The extraction window may be provided for a plurality of captured images of the system so that a part is selected and displayed from the original images of a plurality of viewpoints.

さらなる例示的実施形態では、関心対象(例えば、試合中の特定の、選択された、または予め指定済みの選手、または試合中のボールの自動追跡)のリアルタイムまたは略リアルタイム追跡が行われる。別の実施形態では、完全生放送へ挿入されるよう指定され、ヴァーチャルな指し示しおよび、関心対象の自動追跡が行われる。これは、バックエンドソフトウェアや追跡技術を利用して、まるで人間のカメラ操作者が行うように作動する仮想ファインダーを提供することで実行される。これら処理では、例えば単一の特定済み対象の単純な追跡や、例えば抽出ウィンドウの、パン、ティルト、ズームなど、実際の人間のカメラ操作者によりなされる動作を人間の操作者が行うような動作に似せるといった、より複雑な操作に人工的な技術を使用してもよい。4K(もしくは、同様な)キャプチャーを使用するこれら実施例のために、カメラ・キャプチャーに、特別設計の4Kカメラを利用しうる。また、後処理での再構成や平面化が可能なように、より広いレンズを使用して、被写体よりも大きな取得をしてよい。さらに、異なる用途に応じて、異なるレンズを専用に使用してもよい。   In a further exemplary embodiment, real-time or near real-time tracking of an object of interest (eg, automatic tracking of a specific, selected, or pre-designated player during a match, or a ball during a match) is performed. In another embodiment, it is specified to be inserted into a full live broadcast, with virtual pointing and automatic tracking of the object of interest. This is done by using a back-end software and tracking technology to provide a virtual viewfinder that works just as a human camera operator does. In these processes, for example, a simple tracking of a single identified object, or an action performed by a human operator, such as panning, tilting, zooming, etc., of an extraction window. Artificial techniques may be used for more complex operations such as For those embodiments that use 4K (or similar) capture, a specially designed 4K camera may be utilized for camera capture. Also, a wider lens may be used to obtain a larger acquisition than the subject so that reconstruction and planarization in post-processing are possible. Furthermore, different lenses may be used exclusively for different applications.

そのような処理は、上述の複数のカメラおよび/または複数の抽出ウィンドウを使用してよい。あるいは、1つの特定のカメラおよび/または抽出ウィンドウにより実行されるものであってもよい。これにより、人工知能が抽出ウィンドウを仮想ファインダーとして利用して、放送用素材を自動で取得、抽出し、表示できる。   Such processing may use multiple cameras and / or multiple extraction windows as described above. Alternatively, it may be performed by one specific camera and / or extraction window. As a result, the artificial intelligence can automatically acquire, extract and display the broadcast material using the extraction window as a virtual finder.

他の例示的実施形態では、例えば2ウィンドウ出力の単一の4Kまたは8Kカメラにより、仮想3D抽出も可能となる。   In other exemplary embodiments, virtual 3D extraction is also possible, for example with a single 4K or 8K camera with two windows output.

別の例示的実施形態では、上述の通り撮影解像度を上げることに加え、またはそれに代えて、放送用フレームレートよりも取得フレームレートを上げるものである。   In another exemplary embodiment, the acquisition frame rate is increased over the broadcast frame rate in addition to or instead of increasing the imaging resolution as described above.

そのような実施形態では、第1動画が、所定の放送用フレームレートよりも高い第1フレームレートで取得される。第1動画の所望の部分が、所定の放送用フレームレートに近く低い第2のより低いフレームレートで表示される。第1動画の所望の部分は、元の撮影動画内のフレームを抽出する抽出ウィンドウにより取得される。このようにして、強すぎるエッジやぼやけたフレームのない滑らかでクリアな動画が抽出される。このように撮影された第1動画は、所定の放送用フレームレートよりも高い任意のフレームレートであってよい。   In such an embodiment, the first moving image is acquired at a first frame rate that is higher than a predetermined broadcast frame rate. A desired portion of the first video is displayed at a second lower frame rate that is close to a predetermined broadcast frame rate. A desired portion of the first moving image is acquired by an extraction window that extracts a frame in the original captured moving image. In this way, a smooth and clear video with no too strong edges or blurred frames is extracted. The first moving image shot in this way may have an arbitrary frame rate higher than a predetermined broadcast frame rate.

さらなる例示的実施形態では、第1動画はスーパーモーションまたはハイパーモーションの第1フレームレートで撮影される。従来の動画で考えると、これはプログレッシブのフレームレートで毎秒約180(スーパーモーション)以上(「ハイパーモーション」または「ウルトラモーション」)となる。例示的実施形態では、ハイパーモーションを不連続に記録し、カメラ対象の動きでトリガーとなる場面がプレーバックできるようにしてもよい。別の例示的実施形態では、本システムにおいて、カメラのハイパーモーションでのフルタイム記録を行う。例えば、15分、30分、1時間、1時間半、2時間等の期間よりも長いプレーバック再生時間がとれるよう行うものとする。   In a further exemplary embodiment, the first video is filmed at a first frame rate of super motion or hyper motion. Considering a conventional moving image, this is a progressive frame rate of about 180 (super motion) or more per second ("hyper motion" or "ultra motion"). In an exemplary embodiment, hypermotion may be recorded discontinuously so that scenes triggered by camera motion can be played back. In another exemplary embodiment, the system performs full time recording in camera hypermotion. For example, it is assumed that a playback playback time longer than a period of 15 minutes, 30 minutes, 1 hour, 1 hour and a half, 2 hours, or the like is allowed.

別の例示的実施形態では、少なくとも1つのカメラからの生データが、画質を放送規格に合うよう操作される(「編集可能」とする)。例示的実施形態では、システムは、放送用の色温度、色彩、γ変数に則するすように生データが影響されるような放送側「操作」を含んでよい。   In another exemplary embodiment, raw data from at least one camera is manipulated (“editable”) to match image quality to broadcast standards. In an exemplary embodiment, the system may include broadcast-side “operations” such that the raw data is affected to comply with broadcast color temperature, color, and γ variables.

このように、本開示は放送用制作やその他用途のため、原画像の一部を選択し、提示できるようにする有利なシステムおよび方法を提供する。GUIを通じて選択抽出ウィンドウを使用する例示的実施形態を提供することで、操作者は原画像内の、操作者が提示したい部分を完全に制御できる。さらに、HDよりも高解像度の撮影(例えば4K)を利用する例示的実施形態を提供することで、操作者が選択した所望の部分を、HD画質に比較的近い画質(即ち画質の相対的劣化なし)で提供可能となりうる。さらに、所定の放送用フレームレートより高い撮影フレームレートを利用する例示的実施形態を提供することで、そこから抽出される動画は、エッジが強すぎたり、ぼやけたりしたフレームのない、滑らかでクリアなものとなる。最後に、関心対象の自動追跡や、1つまたは複数の(異なる視点からの)撮影画像に対する複数のGUIまたは抽出ウィンドウの使用のような高度なGUI機能を利用した様々な例示的実施形態により、柔軟な画像生成と利便性が得られる。   Thus, the present disclosure provides an advantageous system and method that allows a portion of an original image to be selected and presented for broadcast production and other uses. By providing an exemplary embodiment that uses a selective extraction window through a GUI, the operator has full control over the portion of the original image that the operator wishes to present. Further, by providing an exemplary embodiment that utilizes higher resolution shooting (eg, 4K) than HD, the desired portion selected by the operator can be displayed in an image quality that is relatively close to HD quality (ie, relative degradation of image quality). None). Furthermore, by providing an exemplary embodiment that utilizes a shooting frame rate that is higher than a predetermined broadcast frame rate, the video extracted therefrom is smooth and clear, with no frames that are too strong or blurred. It will be something. Finally, according to various exemplary embodiments utilizing advanced GUI features such as automatic tracking of objects of interest and the use of multiple GUIs or extraction windows for one or more captured images (from different viewpoints), Flexible image generation and convenience.

図3において、参照符号20で、車載カメラ用に画像を調整する例示的方法の全般が示されている。当該方法は、車載カメラから画像データを受信する工程(ボックス22に記載)と、少なくとも1つの車載センサからデータを受信する工程(ボックス24に記載)と、少なくとも1つの車載センサから受信したデータを利用して、画像内水平線を調整する工程(ボックス26に記載)とを含む。   In FIG. 3, reference numeral 20 generally indicates an exemplary method for adjusting an image for an in-vehicle camera. The method includes receiving image data from a vehicle-mounted camera (described in box 22), receiving data from at least one vehicle-mounted sensor (described in box 24), and data received from at least one vehicle-mounted sensor. And adjusting a horizontal line in the image (described in box 26).

例示的実施形態では、上述の画像内水平線の調整は、車載カメラを実際に操作する必要がないよう、デジタルビデオ効果として実行してよい。さらに、任意の画像内水平線調整も含まれる。ここで、調整の結果、画像内水平線がスカイライン線に合わされるか否かは問われない。   In an exemplary embodiment, the above-described adjustment of the horizon in the image may be performed as a digital video effect so that it is not necessary to actually operate the in-vehicle camera. In addition, any in-image horizontal line adjustment is included. Here, as a result of the adjustment, it does not matter whether the horizontal line in the image is aligned with the skyline.

さらに、車両において、画像調整の一部または全てを行っても良い。例えば、車載(車両内)プロセッサは、少なくとも1つのセンサからのデータに基づき、一部または全ての画像調整を行ってよい。例えば、帯域制限に対し、データパッケージ削減することが有利な無線送信態様では、処理電力を車両に割り当てることが特に有意である。さらに、例示的実施形態では、車両からの1つ以上の無線送信チャネルをほぼ動画出力専用として、操作者が車載プロセッサとその他チャネルを介して通信可能である。   Furthermore, part or all of the image adjustment may be performed in the vehicle. For example, the in-vehicle (in-vehicle) processor may perform some or all image adjustments based on data from at least one sensor. For example, in a wireless transmission mode where it is advantageous to reduce the data package against bandwidth limitations, it is particularly significant to allocate processing power to the vehicle. Further, in an exemplary embodiment, one or more wireless transmission channels from the vehicle are dedicated to video output only, and an operator can communicate with the in-vehicle processor via other channels.

さらに、例示的実施形態は、受信した車両テレメトリー・データに基づき、画像内水平線を調整することを含む。   Further, the exemplary embodiment includes adjusting an in-image horizon based on the received vehicle telemetry data.

別の例示的実施形態では、車両が傾斜している際に、少なくとも1つのセンサからのデータを使用して、画像内水平線をスカイライン線と一致するように自動的に調整する。これは例えばレースカーが直線から、バンクカーブを走行する場合に実行される。従来技術を示す図1、2に対する比較として、図4、5を参照する。図4,5は、直線からバンクカーブに移る場合にレースカーが傾斜している間に、画像内水平線12をスカイライン線に合わせる例示的調整を示す。   In another exemplary embodiment, when the vehicle is leaning, data from at least one sensor is used to automatically adjust the in-image horizon to match the skyline. This is executed, for example, when the race car runs on a bank curve from a straight line. Refer to FIGS. 4 and 5 for comparison with FIGS. 4 and 5 illustrate exemplary adjustments to align the in-image horizontal line 12 with the skyline while the race car is tilting when moving from a straight line to a bank curve.

別の例示的実施形態では、車両が傾斜している間、画像内水平線とズームが自動的に調整される。従来例を示す図1、2の比較として、図6、7を参照する。図6、7は、レースカーが直線からバンクカーブに入る場合に傾斜する際、カーブ中にズーム量増加により画像内水平線12をスカイライン線(線28として図示)に一致させるための例示的調整を示す。   In another exemplary embodiment, the in-image horizon and zoom are automatically adjusted while the vehicle is tilting. As a comparison between FIGS. 1 and 2 showing a conventional example, FIGS. FIGS. 6 and 7 illustrate exemplary adjustments for matching the horizontal line 12 in the image to the skyline (shown as line 28) by increasing the amount of zoom in the curve when the race car tilts when entering the bank curve from a straight line. Show.

図8は、車載カメラから画像内水平線を調整する例示的システムを示す。システム100はサーバー101を有してよい。サーバー101は、複数の情報を有してよい。情報としては車載カメラ、計算および処理モジュール、その他データ記憶部からの車両テレメトリー情報、静止的及び連続的動画などが挙げられるが、これに限られない。サーバー101は、通信チャンネル110介して、ネットワーク106と通信可能である。   FIG. 8 shows an exemplary system for adjusting the in-image horizon from the in-vehicle camera. The system 100 may include a server 101. The server 101 may have a plurality of information. Information includes, but is not limited to, on-board cameras, calculation and processing modules, vehicle telemetry information from other data storage units, stationary and continuous moving images, and the like. The server 101 can communicate with the network 106 via the communication channel 110.

さらに、システム100は第3者データソースまたはサーバー103にアクセスまたはインターフェースをとってよい。第3者データソースは、通信チャンネル111を介してネットワークと通信可能である。図では独立したものとして記載されているソース103がサーバー101と略同一のサーバーを含んでよい。サーバー101またはソース103は、例えば携帯電話サービスプロバイダ、ビジネス情報プロバイダ、その他適切なプロバイダやレポジトリのようなデータサービスプロバイダを含んでもよい。サーバー101またはソース103は、本明細書で説明されるインターフェース/処理のいずれかを実現するアプリケーションおよび/またはコンピュータにより実行可能なコードを提供するアプリケーションサーバーをさらに含んでよい。サーバー101またはソース103は、複数のアプリケーションの初期状態、選択肢、設定および/または構造を提供してよい。これに応じて装置は、アプリケーションを受信、処理可能となる。サーバー101またはソース103は、装置のユーザーが比較的容易に選択が可能なように、装置のユーザーインターフェースやウェブブラウザに任意のアプリケーションを提示してよい。   Further, the system 100 may access or interface with a third party data source or server 103. The third party data source can communicate with the network via the communication channel 111. The source 103 described as being independent in the figure may include substantially the same server as the server 101. Server 101 or source 103 may include a data service provider such as a mobile phone service provider, a business information provider, or any other suitable provider or repository. Server 101 or source 103 may further include an application server that provides applications and / or computer-executable code that implements any of the interfaces / processing described herein. Server 101 or source 103 may provide initial states, options, settings and / or structures for multiple applications. In response to this, the apparatus can receive and process the application. The server 101 or the source 103 may present an arbitrary application on the user interface or web browser of the device so that the user of the device can select it relatively easily.

さらに、別のサーバー部材やローカルコンピュータ装置、例えば104、105、106の少なくとも1つが、ユーザーインターフェースを生成し、サーバー101やソース103への接続性を制御してよい。そして、サーバー101またはローカルコンピュータ装置104、105、106の少なくとも1つが、定期的にソース103にアクセスして、本発明の実施形態で使用される関連データをキャッシュしてよい。   In addition, at least one of another server member or local computer device, eg, 104, 105, 106, may generate a user interface and control connectivity to the server 101 or source 103. Then, at least one of the server 101 or the local computing devices 104, 105, 106 may periodically access the source 103 to cache relevant data used in embodiments of the present invention.

ネットワーク106は、インターネット、WAN、および/またはローカルネットワークのような任意の適切なネットワークであってよい。サーバー101とソース103は、通信チャンネル110、111を介してネットワーク106と通信してよい。通信チャンネル110、111は、無線、衛星、有線などによる任意の適切な通信チャンネルであってよい。   Network 106 may be any suitable network such as the Internet, WAN, and / or local network. Server 101 and source 103 may communicate with network 106 via communication channels 110, 111. The communication channels 110 and 111 may be any appropriate communication channel by wireless, satellite, wired, or the like.

例示的システム100はさらに、通信チャンネル112を介してネットワーク106を通信するコンピュータ装置105を有する。コンピュータ装置105は、パーソナルコンピュータ(位置固定)、ノートパソコンまたは携帯型コンピュータ、PDA、携帯電話、携帯タブレットコンピュータ、携帯オーディオプレーヤーなどの任意の適切なコンピュータ装置であってよい。例えば、システム100は、それぞれ携帯電話、タブレットであるコンピュータ装置104および106を有してよい。装置104および106は、表示手段141、161および/またはボタン/制御部142を有してよい。制御部142は、上述の制御のいずれかに対し独立的または協働で作動してよい。   The exemplary system 100 further includes a computing device 105 that communicates over the network 106 via a communication channel 112. The computer device 105 may be any suitable computer device such as a personal computer (fixed position), a notebook computer or a portable computer, a PDA, a cellular phone, a portable tablet computer, a portable audio player, and the like. For example, the system 100 may include computer devices 104 and 106 that are mobile phones and tablets, respectively. Devices 104 and 106 may include display means 141, 161 and / or buttons / controls 142. The controller 142 may operate independently or in cooperation with any of the controls described above.

さらに、装置104、105および106は、通信チャンネル115、116(例えば、無線、有線、Bluetooth通信チャンネル等)を介して互いに通信可能であり、さらにネットワーク106に対して通信チャンネル112、113、および114を介して通信可能である。   Further, the devices 104, 105 and 106 can communicate with each other via communication channels 115, 116 (eg, wireless, wired, Bluetooth communication channels, etc.) and further communicate with the network 106 through communication channels 112, 113, and 114. Communication is possible.

したがって、装置104、105、および106は全て互いに、さらにサーバー101とソース103の少なくとも一方と通信可能であればよい。各装置は、ネットワーク106により互いにサーバー的な通信が可能である。そして各装置は、ネットワーク106と断続的に通信してもよい。したがって、装置104、105、および106はネットワーク106に常に接続されていなくとも(例えばインターフェースのデータ接続制御を利用して)動作可能である。例えば、データが利用不能な場合や、ユーザーが装置をオフラインで作動するよう指示した場合には、装置104、105、および106のいずれかに使用されるデータは、記憶またはキャッシュされた情報/パラメータに基づくものであってよい。それにより、装置104、105、および106はそれぞれ各種例示的実施形態で説明された処理を実行できる。   Thus, all devices 104, 105, and 106 need only be able to communicate with each other and with at least one of server 101 and source 103. Each device can communicate with each other via a network 106 as a server. Each device may communicate intermittently with the network 106. Thus, the devices 104, 105, and 106 can operate without being always connected to the network 106 (eg, utilizing data connection control of the interface). For example, if the data is not available or if the user instructs the device to operate offline, the data used for any of the devices 104, 105, and 106 is stored or cached information / parameters. It may be based on. Thereby, each of the devices 104, 105, and 106 can perform the processes described in the various exemplary embodiments.

さらに、図示の任意の通信媒体を使用して、装置104、105および106は、システム100の図示の要素のいずれかで生成された過去または最新データを操作、共有、送信および/または受信してよい。例えば、データがサーバー101および/またはソース103で利用可能であってよい。例えばある時間での指示の最新値を個別に判定するため、装置104、105および106のいずれかを使用するユーザーは個別にデータに対し操作や送信などを行ってよい。したがって、車載カメラからの画像内水平線の調整を目的として少なくとも1つの車両センサからの車両テレメトリー・データを使用するため、任意の適切な装置を使用してよい。   Further, using any of the illustrated communication media, devices 104, 105, and 106 may manipulate, share, send, and / or receive past or current data generated by any of the illustrated elements of system 100. Good. For example, data may be available at server 101 and / or source 103. For example, in order to individually determine the latest value of an instruction at a certain time, a user using any of the devices 104, 105, and 106 may individually operate or transmit data. Thus, any suitable device may be used to use vehicle telemetry data from at least one vehicle sensor for the purpose of adjusting the horizon in the image from the in-vehicle camera.

本発明の上述の実施形態、特に特定の例についての詳細な記載は、可能な実施の形態を単に例示したものであり、本発明の要旨が明確に理解されるよう記載されているに過ぎない。本発明の上述の実施形態には、本発明の精神と範囲から逸脱することなく、様々な変更や変形を加えることができる。そのような変形および変更は、本開示および本発明の範囲に含まれることが意図され、以下の請求の範囲によって保護される。   The detailed description of the above-described embodiments of the present invention, and in particular specific examples, are merely illustrative of possible embodiments and are merely set forth for a clear understanding of the subject matter of the present invention. . Various changes and modifications can be made to the above-described embodiments of the present invention without departing from the spirit and scope of the present invention. Such variations and modifications are intended to be included within the scope of this disclosure and the present invention and are protected by the following claims.

Claims (27)

車載カメラの画像内水平線を調整する方法であって、
カメラを車両に搭載する工程と、
前記車両の傾斜変化を検知するセンサを、少なくとも1つ、前記車両に搭載する工程と、
検知される前記車両の傾斜変化に応じて、画像内水平線を調整する工程と、を含む方法。
A method for adjusting the horizontal line in the image of the in-vehicle camera,
Mounting the camera on the vehicle;
Mounting at least one sensor for detecting a change in the inclination of the vehicle on the vehicle;
Adjusting the horizontal line in the image in response to the detected change in the inclination of the vehicle.
前記画像内水平線が、前記車両の前記検知された傾斜変化に応じて自動的に調整されることを特徴とする、請求項1に記載の方法。   The method of claim 1, wherein the in-image horizon is automatically adjusted in response to the detected tilt change of the vehicle. 前記画像内水平線は、デジタルビデオ効果で調整されることを特徴とする、請求項2に記載の方法。   The method of claim 2, wherein the in-image horizon is adjusted with a digital video effect. 前記検知された傾斜変化が、車両のテレメトリー・データとして提供されることを特徴とする、請求項1に記載の方法。   The method of claim 1, wherein the detected tilt change is provided as vehicle telemetry data. 前記車両の傾斜中に、前記画像内水平線がスカイラインの水平線に一致または近似するように調整されることを特徴とする、請求項2に記載の方法。   The method of claim 2, wherein during the vehicle tilt, the horizon in the image is adjusted to match or approximate the horizon of a skyline. 前記画像内水平線が、前記画像のズームの種類により調整されることを特徴とする、請求項2に記載の方法。   The method according to claim 2, wherein the horizontal line in the image is adjusted according to a zoom type of the image. 第一解像度の第一画像若しくは第一動画の取得であって、該第一解像度は高精細度以上であり、画像出力解像度である設定された第二解像度以上であるものと、
撮影された第1原画像または第1原動画からの、第1の所望部分を選択するものであって、該第1の部分は、撮影された前記第1画像または動画よりも低い解像度となるものと、
前記選択された第1の部分の、出力解像度である前記第2解像度での表示と、をさらに含むことを特徴とする、請求項1に記載の方法。
Acquisition of a first image or a first video of a first resolution, wherein the first resolution is higher than a high definition and is equal to or higher than a set second resolution that is an image output resolution;
A first desired portion is selected from the photographed first original image or the first original moving image, and the first portion has a lower resolution than the photographed first image or the moving image. things and,
The method of claim 1, further comprising displaying the selected first portion at the second resolution, which is an output resolution.
前記第一画像もしくは第一動画よりの所望の第一部分の前記選択を、選択抽出ウィンドウを有するグラフィカル・ユーザー・インターフェースを介して行われることを特徴とする、請求項7に記載の方法。   The method according to claim 7, characterized in that the selection of a desired first part from the first image or first animation is performed via a graphical user interface having a selection extraction window. 前記抽出ウィンドウは、オペレーターが前記取得された画像または動画において検索し、提示用に、前記取得された画像または動画の部分を選択可能とするものであることを特徴とする、請求項8に記載の方法。   9. The extraction window according to claim 8, wherein the extraction window allows an operator to search in the acquired image or moving image and select a portion of the acquired image or moving image for presentation. the method of. 車載カメラ用に画像内水平線を調整するシステムであって、
車両に搭載されたカメラと、
前記車両に搭載され、前記車両の傾斜変化を検知する少なくとも1つのセンサと、
カメラ画像データと、前記車両の傾斜を示すデータにアクセスするプロセッサと、
前記車両の前記検知された傾斜に応じて画像内水平線を調整するデジタルビデオ効果コンポーネントと、を有するシステム。
A system for adjusting the horizontal line in an image for a vehicle-mounted camera,
A camera mounted on the vehicle,
At least one sensor mounted on the vehicle for detecting a change in inclination of the vehicle;
A processor for accessing camera image data and data indicating the inclination of the vehicle;
A digital video effects component that adjusts an in-image horizon in response to the detected tilt of the vehicle.
前記デジタルビデオ効果コンポーネントは、前記車両の前記検知された傾斜に応じて自動的に画像内水平線を調整するように構成されていること、を特徴とする請求項10に記載のシステム。   The system of claim 10, wherein the digital video effects component is configured to automatically adjust an in-image horizon in response to the detected tilt of the vehicle. 前記検知された傾斜変化が、車両テレメトリー・データとして提供されることを特徴とする、請求項11に記載のシステム。   The system of claim 11, wherein the detected tilt change is provided as vehicle telemetry data. 前記車両の傾斜中において、前記画像内水平線がスカイラインの水平線に一致または近似するように調整されることを特徴とする、請求項11に記載のシステム。   The system of claim 11, wherein the in-image horizon is adjusted to match or approximate a skyline horizon while the vehicle is tilting. 前記画像内水平線が、前記画像のズーム変化で調整されることを特徴とする、請求項10に記載のシステム。   The system of claim 10, wherein the in-image horizon is adjusted by a zoom change of the image. 前記カメラは、第1解像度で、第1画像または第1の動画を取得するものであり、前記第1解像度は、高精細度および出力解像度である、所定の第2解像度よりも高いものであり、
前記システムはさらに、
前記の未処理の第1原画像または第1動画から、取得された前記第1画像または第1動画よりも低い解像度となる第1の所望部分を選択するためのグラフィカルユーザーインターフェースと通信するプロセッサと、
前記第1部分を前記第2出力解像度でルーター、切換装置、またはサーバーに伝送する出力機構と、を有することを特徴とする、請求項10に記載のシステム。
The camera acquires a first image or a first moving image at a first resolution, and the first resolution is higher than a predetermined second resolution, which is high definition and output resolution. ,
The system further includes:
A processor in communication with a graphical user interface for selecting, from the unprocessed first original image or first moving image, a first desired portion having a lower resolution than the acquired first image or first moving image; ,
11. The system of claim 10, comprising an output mechanism that transmits the first portion to the router, switching device, or server at the second output resolution.
前記グラフィカルユーザーインターフェースは、選択抽出ウィンドウを有することを特徴とする、請求項15に記載のシステム。   The system of claim 15, wherein the graphical user interface includes a selection extraction window. 前記抽出ウィンドウは、操作者に前記撮影画像または動画内を検索して、前記撮影画像または動画の部分を提示用に選択可能とする、請求項16に記載のシステム。   The system according to claim 16, wherein the extraction window allows an operator to search the captured image or moving image and select a portion of the captured image or moving image for presentation. 車載カメラ用に画像を調整する方法であって、
カメラを車両に搭載する工程と、
前記車両に関する重要事項のデータを検知する少なくとも1つのセンサを前記車両に搭載する工程と、
前記車両の前記検知されたデータに応じて、画像を調整する工程と、を含む方法。
A method for adjusting an image for an in-vehicle camera,
Mounting the camera on the vehicle;
Mounting at least one sensor on the vehicle for detecting important matter data relating to the vehicle;
Adjusting the image in response to the detected data of the vehicle.
前記センサデータは、ジャイロデータ、車両角度、姿勢、高度、速度、加速度、トラクション、およびナビゲーションデータの内の少なくとも1つを含むことを特徴とする請求項18に記載の方法。   The method of claim 18, wherein the sensor data includes at least one of gyro data, vehicle angle, attitude, altitude, speed, acceleration, traction, and navigation data. 前記センサデータは、天候、検知されたコース状況、風、および温度の内の少なくとも1つを含む、前記車両の環境状況を含むことを特徴とする請求項18に記載の方法。   The method of claim 18, wherein the sensor data includes environmental conditions of the vehicle including at least one of weather, sensed course conditions, wind, and temperature. 前記画像調整は、
画像内水平線の調整、
画像トリミングの調整、画像内の部分の選択、
画像内の関心対象の追跡、
HDより高い解像度のカメラから選択的HD画像へのレンダリング、
関心画像点の選択的取得、または、環境状況に応じた画像調整、
の内の少なくとも1つを含むことを特徴とする、請求項18に記載の方法。
The image adjustment is
Adjusting the horizontal line in the image,
Adjust image trimming, select parts in the image,
Tracking interests in images,
Rendering from a camera with higher resolution than HD to selective HD images,
Selective acquisition of image points of interest, or image adjustment according to environmental conditions,
19. The method of claim 18, comprising at least one of:
前記画像調整はデジタルビデオ効果として実行されることを特徴とする、請求項21に記載の方法。   The method of claim 21, wherein the image adjustment is performed as a digital video effect. 前記画像調整の少なくとも一部が、車載車両プロセッサにより実行されることを特徴とする、請求項22に記載の方法。   The method of claim 22, wherein at least a portion of the image adjustment is performed by an in-vehicle vehicle processor. 前記調整された画像は、無線プロトコルを介して外部コンピュータ装置に伝送されることを特徴とする、請求項23に記載の方法。   24. The method of claim 23, wherein the adjusted image is transmitted to an external computer device via a wireless protocol. HDおよび表示出力解像度である所定の第2解像度出力表示解像度よりも高い第1解像度で第1画像または動画を取得する工程と、
取得された第1原画像または動画から、第1の所望部分を選択する工程であって、該第一の部分は、取得された前記第1画像または動画よりも低い解像度であるものと、
前記第1の部分を前記第2出力解像度で表示する工程と、をさらに含むことを特徴とする、請求項18に記載の方法。
Acquiring a first image or a moving image at a first resolution higher than a predetermined second resolution output display resolution which is HD and a display output resolution;
A step of selecting a first desired portion from the acquired first original image or moving image, wherein the first portion has a lower resolution than the acquired first image or moving image;
The method of claim 18, further comprising displaying the first portion at the second output resolution.
前記第1画像または動画から所望の第1部分を選択する工程は、選択抽出ウィンドウを持つグラフィカル・ユーザー・インターフェースを介して行われることを特徴とする、請求項25に記載の方法。   26. The method of claim 25, wherein selecting a desired first portion from the first image or movie is performed via a graphical user interface having a selection extraction window. 前記抽出ウィンドウは、操作者に前記撮影画像または動画内を検索して、当該箇所を提示用に選択可能とすることを特徴とする、請求項26に記載の方法。   27. The method according to claim 26, wherein the extraction window allows an operator to search the captured image or the moving image and select the portion for presentation.
JP2016501836A 2013-03-13 2014-03-13 System and method for adjusting images for in-vehicle cameras Active JP6593929B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361778641P 2013-03-13 2013-03-13
US61/778,641 2013-03-13
PCT/US2014/025362 WO2014159868A1 (en) 2013-03-13 2014-03-13 System and method for adjusting an image for a vehicle mounted camera

Publications (2)

Publication Number Publication Date
JP2016521473A true JP2016521473A (en) 2016-07-21
JP6593929B2 JP6593929B2 (en) 2019-10-23

Family

ID=51625277

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016501836A Active JP6593929B2 (en) 2013-03-13 2014-03-13 System and method for adjusting images for in-vehicle cameras

Country Status (7)

Country Link
EP (1) EP2969652A4 (en)
JP (1) JP6593929B2 (en)
AU (3) AU2014244374A1 (en)
BR (1) BR112015022394A2 (en)
HK (1) HK1214796A1 (en)
MX (1) MX369718B (en)
WO (1) WO2014159868A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101793223B1 (en) * 2016-07-13 2017-11-03 모바일 어플라이언스 주식회사 Advanced driver assistance apparatus
CN108491840A (en) * 2018-03-18 2018-09-04 刘兴丹 A kind of method, apparatus of adjust automatically picture angles of display
US11405559B1 (en) 2021-02-19 2022-08-02 Honda Motor Co., Ltd. Systems and methods for live signal adjustment of a movable camera

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08164896A (en) * 1994-12-15 1996-06-25 Mitsubishi Heavy Ind Ltd Visibility display in operating unmanned aircraft
JPH0952555A (en) * 1995-08-11 1997-02-25 Mitsubishi Electric Corp Periphery monitoring device
JP2003162213A (en) * 2001-11-27 2003-06-06 Mitsubishi Heavy Ind Ltd Simulated environment creating device and simulated environment creating method
JP2004354236A (en) * 2003-05-29 2004-12-16 Olympus Corp Device and method for stereoscopic camera supporting and stereoscopic camera system
JP2004354256A (en) * 2003-05-29 2004-12-16 Olympus Corp Calibration slippage detector, and stereo camera and stereo camera system equipped with the detector
JP2006340108A (en) * 2005-06-02 2006-12-14 Canon Inc Image processing unit, image processing method, program, and storage medium
JP2010245821A (en) * 2009-04-06 2010-10-28 Denso Corp Image display for vehicle
US20130033605A1 (en) * 2011-08-05 2013-02-07 Fox Sports Productions, Inc. Selective capture and presentation of native image portions

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738697B2 (en) * 1995-06-07 2004-05-18 Automotive Technologies International Inc. Telematics system for vehicle diagnostics
US5865624A (en) * 1995-11-09 1999-02-02 Hayashigawa; Larry Reactive ride simulator apparatus and method
US6201554B1 (en) * 1999-01-12 2001-03-13 Ericsson Inc. Device control apparatus for hand-held data processing device
DE19962491A1 (en) * 1999-12-23 2001-07-05 Daimler Chrysler Ag Method for the optical monitoring of the surroundings of a moving vehicle
AU2001277259A1 (en) * 2000-06-30 2002-01-14 The Muller Sports Group, Inc. Sporting events broadcasting system
EP1637836A1 (en) * 2003-05-29 2006-03-22 Olympus Corporation Device and method of supporting stereo camera, device and method of detecting calibration, and stereo camera system
JP2006245726A (en) * 2005-03-01 2006-09-14 Fuji Photo Film Co Ltd Digital camera
US20090040308A1 (en) * 2007-01-15 2009-02-12 Igor Temovskiy Image orientation correction method and system
US20110181728A1 (en) * 2008-12-19 2011-07-28 Delphi Technologies, Inc. Electronic side view display system
JP5709675B2 (en) * 2011-07-07 2015-04-30 クラリオン株式会社 Vehicle surrounding imaging system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08164896A (en) * 1994-12-15 1996-06-25 Mitsubishi Heavy Ind Ltd Visibility display in operating unmanned aircraft
JPH0952555A (en) * 1995-08-11 1997-02-25 Mitsubishi Electric Corp Periphery monitoring device
JP2003162213A (en) * 2001-11-27 2003-06-06 Mitsubishi Heavy Ind Ltd Simulated environment creating device and simulated environment creating method
JP2004354236A (en) * 2003-05-29 2004-12-16 Olympus Corp Device and method for stereoscopic camera supporting and stereoscopic camera system
JP2004354256A (en) * 2003-05-29 2004-12-16 Olympus Corp Calibration slippage detector, and stereo camera and stereo camera system equipped with the detector
JP2006340108A (en) * 2005-06-02 2006-12-14 Canon Inc Image processing unit, image processing method, program, and storage medium
JP2010245821A (en) * 2009-04-06 2010-10-28 Denso Corp Image display for vehicle
US20130033605A1 (en) * 2011-08-05 2013-02-07 Fox Sports Productions, Inc. Selective capture and presentation of native image portions
JP2014529930A (en) * 2011-08-05 2014-11-13 フォックス スポーツ プロダクションズ,インコーポレイティッド Selective capture and display of a portion of a native image

Also Published As

Publication number Publication date
AU2019271924A1 (en) 2019-12-19
EP2969652A1 (en) 2016-01-20
AU2019271924B2 (en) 2021-12-02
MX2015011989A (en) 2015-12-01
HK1214796A1 (en) 2016-08-05
EP2969652A4 (en) 2016-11-09
MX369718B (en) 2019-11-20
WO2014159868A1 (en) 2014-10-02
AU2018201913A1 (en) 2018-04-26
BR112015022394A2 (en) 2017-07-18
JP6593929B2 (en) 2019-10-23
AU2014244374A1 (en) 2015-08-13

Similar Documents

Publication Publication Date Title
US11490054B2 (en) System and method for adjusting an image for a vehicle mounted camera
JP7223978B2 (en) Calibration device and calibration method
US20190394492A1 (en) Probabilistic model to compress images for three-dimensional video
JP5406813B2 (en) Panorama image display device and panorama image display method
JPWO2018030206A1 (en) Camera work generation method and video processing apparatus
US10939140B2 (en) Selective capture and presentation of native image portions
US10277890B2 (en) System and method for capturing and viewing panoramic images having motion parallax depth perception without image stitching
CN107103583A (en) Image data processing system and correlation technique and associated picture fusion method
US20180262687A1 (en) Methods and systems of reducing latency in communication of image data between devices
CN104365083A (en) Image processing device, image processing method, and program
AU2019271924B2 (en) System and method for adjusting an image for a vehicle mounted camera
US20160249038A1 (en) Method and apparatus for capturing 360 degree viewing images using spherical camera and mobile phone
WO2017112800A1 (en) Macro image stabilization method, system and devices
TWI564647B (en) Method of image conversion operation for panorama dynamic ip camera
EP3494691B1 (en) Method for temporal inter-view prediction and technical equipment for the same
JP5646033B2 (en) Image display device and image display method
CN117440176A (en) Method, apparatus, device and medium for video transmission

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170301

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190412

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190827

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190920

R150 Certificate of patent or registration of utility model

Ref document number: 6593929

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250