JP2015115760A - 映像処理装置、映像処理システムおよび映像処理方法 - Google Patents
映像処理装置、映像処理システムおよび映像処理方法 Download PDFInfo
- Publication number
- JP2015115760A JP2015115760A JP2013256200A JP2013256200A JP2015115760A JP 2015115760 A JP2015115760 A JP 2015115760A JP 2013256200 A JP2013256200 A JP 2013256200A JP 2013256200 A JP2013256200 A JP 2013256200A JP 2015115760 A JP2015115760 A JP 2015115760A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- image
- video
- related information
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 6
- 238000000034 method Methods 0.000 claims description 152
- 238000010586 diagram Methods 0.000 description 18
- 230000007613 environmental effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 4
- 101100018027 Pisum sativum HSP70 gene Proteins 0.000 description 3
- 101000911772 Homo sapiens Hsc70-interacting protein Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
例えば、特許文献1には、予め収録されている動画中のターゲット(対象物)にアンカー(関連情報)を設定する装置において、すべてのフレームに対してアンカーを設定する作業工数削減のため、基準となるフレームのターゲットに対してアンカーを設定し、他のフレームのターゲットについては、設定したアンカーをもとに補間により自動的にアンカーが設定されるようにしたことが記載されている。
実施の形態1.
図1は、この発明の実施の形態1における映像処理システムの構成を示すブロック図である。この映像処理システムは、対象物を含む映像を表示装置10に表示させる映像処理装置100と、表示装置10とを備えている。この発明では、この映像処理装置100が自動車等の車両に搭載され、車両に関する映像を表示装置10に表示させる場合を例に説明する。
画像取得部2は、映像取得装置(カメラ)1が取得した映像から、一定時間ごとに画像情報を取得する。この画像取得周期は、時間制御部3から一定周期にて送信される画像取得命令によって制御される。また、取得した画像は、画像記憶部4に記憶される。
画像記憶部4は、画像取得部2から送信された画像を記憶する記憶部である。ここで記憶された画像は、表示制御部5に送信され、表示装置10に表示される。また、処理判定部6により画像処理を行いフレームであると判定されている場合には画像処理部7に送信され、対象物の画像認識処理が行われる。
ここで、タグ情報(関連情報)とは、映像に含まれる移動物体や人物等の対象物の位置および領域を示す情報のことである。
図2は、この実施の形態1における映像処理装置100の処理を示すフローチャートである。
画像取得の指示(命令)を受けた画像取得部2は、映像取得装置(カメラ)1で取得された映像から画像情報を取得し(ステップST2)、取得した画像データを画像記憶部4に送信する。この結果、画像取得部2で取得された画像が画像記憶部4に記憶される(ステップST3)。
そして、選定した推定方法にてタグの推定生成処理を行う(ステップST13)。推定処理によって生成されたタグ情報(関連情報)は、画像認識処理の場合と同様に関連情報記憶部8に送信されて記憶され(ステップST6)、その後の処理(ステップST7)も同様である。
図3は、推定処理部9におけるタグ推定方法の一例を示す説明図である。なお、ここでは、表示装置10に表示された対象物について説明するために、最初の3フレームは画像認識処理、その後5フレームはタグ推定処理、再び1フレームが画像認識処理でその後の5フレームはタグ推定処理とし、あとはこの「1フレームが画像認識処理でその後5フレームがタグ推定処理」というのを繰り返す場合を例に、説明する。
図4は、推定処理部9におけるタグ推定方法の別の一例を示す説明図である。この場合にも、最初の3フレームは画像認識処理を行って対象物の位置および領域を決定することとし、続く5フレームはタグ推定処理、再び1フレームは画像認識処理、続く5フレームはタグ推定処理を行い、これを繰り返すものとして説明する。
図5は、推定処理部9におけるタグ推定方法のさらに別の一例を示す説明図である。
なお、この「領域幅変化を伴う直線推定」という推定方法は、特に対象物が領域変化を伴いながら画面上を横方向に移動するような場合に有効である。
図6は、この発明の実施の形態2における映像処理システムの構成を示すブロック図である。なお、実施の形態1で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。この実施の形態2の映像処理システムは、対象物を含む映像を表示装置10に表示させる映像処理装置200と、表示装置10とを備えており、映像処理装置200は、実施の形態1の映像処理装置100の構成に、さらに環境情報取得部14を備えるものである。
図7は、この実施の形態2における映像処理装置200の処理を示すフローチャートである。
その後、処理判定部6は、環境情報取得部14から各種環境情報を取得する(ステップST24)。ここで取得可能な情報としては、CANバス11から取得した車速、加速度、エンジン回転数、シフトレバー、舵角、ワイパー、ライトなどの車両操作情報、各種センサ12から取得した気温、湿度、雨量などの環境情報、カーナビゲーションシステム13から取得した道路情報、施設情報、時刻情報などのナビ情報が挙げられる。
図8は、この発明の実施の形態3における映像処理システムの構成を示すブロック図である。なお、実施の形態1,2で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。この実施の形態3の映像処理システムは、対象物を含む映像を表示装置10に表示させる映像処理装置300と、表示装置10とを備えており、映像処理装置300は、実施の形態2の映像処理装置200の構成において、推定処理部9から画像処理部7への画像処理命令が可能となっている点が異なっている。
図9は、この実施の形態3における映像処理装置300の処理を示すフローチャートである。
図10は、この発明の実施の形態4における映像処理システムの構成を示すブロック図である。なお、実施の形態1〜3で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。この実施の形態4の映像処理システムは、対象物を含む映像を表示装置10に表示させる映像処理装置400と、表示装置10とを備えており、映像処理装置400は、実施の形態1の映像処理装置100の構成に、さらに操作制御部17を備えるものである。また、予め収録された映像を対象としてタグ情報の推定処理を行うものである。なお、この発明では、予め収録された映像は、車両に関する映像である場合を例に説明する。
操作制御部17は、操作デバイス16を介してユーザからの操作命令を受け、時間制御部3、処理判定部6へ画像取得周期設定や画像認識処理周期設定を行う。
図11は、この実施の形態4における映像処理装置400の処理を示すフローチャートである。
以降のステップST42〜ST48の処理およびステップST51〜ST53の処理については、実施の形態1における図2に示すフローチャートのステップST1〜ST7の処理およびステップST11〜ST13の処理を同じであるので、説明を省略する。
図12は、この発明の実施の形態5における映像処理システムの構成を示すブロック図である。なお、実施の形態1〜4で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。この実施の形態5の映像処理システムは、対象物を含む映像を表示装置10に表示させる映像処理装置500と、表示装置10とを備えており、映像処理装置500は、実施の形態4の映像処理装置400の構成に、さらに環境情報取得部18を備えるものである。なお、実施の形態4と同様に、予め収録された映像を対象としてタグ情報の推定処理を行うものである。
図13は、この実施の形態5における映像処理装置500の処理を示すフローチャートである。
その後、処理判定部6は、環境情報取得部18から環境情報を取得する(ステップST65)。ここで取得可能な情報としては、車速、加速度、エンジン回転数、シフトレバー、舵角、ワイパー、ライトなどの車両操作情報、気温、湿度、雨量などの環境情報、道路情報、施設情報、時刻情報などのナビ情報が挙げられる。
図14は、この発明の実施の形態6における映像処理システムの構成を示すブロック図である。なお、実施の形態1〜5で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。この実施の形態6の映像処理システムは、対象物を含む映像を表示装置10に表示させる映像処理装置600と、表示装置10とを備えており、映像処理装置600は、実施の形態5の映像処理装置500の構成において、推定処理部9から画像処理部7への画像処理命令が可能となっている点が異なっている。
図15は、この実施の形態6における映像処理装置600の処理を示すフローチャートである。
Claims (10)
- 対象物を含む映像を表示装置に表示させる映像処理装置において、
前記映像から画像を取得する画像取得部と、
前記画像取得部により取得された画像を画像処理するか推定処理するかをフレームごとに判定する処理判定部と、
前記処理判定部により画像処理するフレームであると判定された場合に、前記画像取得部により取得された画像を認識して、前記対象物の位置および領域を示す関連情報を生成する処理を行う画像処理部と、
前記処理判定部により推定処理するフレームであると判定された場合に、前記画像処理部により過去のフレームから生成された前記関連情報に基づいて、前記関連情報が生成されていない対象物の位置および領域を示す関連情報を推定して、当該推定した前記関連情報を生成する推定処理部と、
前記画像処理部および前記推定処理部により生成された前記関連情報をすべてのフレームの前記対象物に付加して前記表示装置に表示させる表示制御部と
を備えたことを特徴とする映像処理装置。 - 前記処理判定部が前記画像処理を行うと判断するフレームは、一定の画像処理周期で設定されている
ことを特徴とする請求項1記載の映像処理装置。 - 前記推定処理部は、前記関連情報が生成されていない対象物の位置および領域を示す関連情報を、少なくとも2つ以上の前記過去のフレームの前記関連情報に基づいて直線的に推定するか、または、少なくとも3つ以上の前記過去のフレームの前記関連情報に基づいて曲線的に推定するか、という推定方法を決定する
ことを特徴とする請求項1記載の映像処理装置。 - 前記処理判定部は、前記対象物の種類、位置、移動方向、動作状態のうちの少なくとも1つに対応して、前記画像処理周期を自動的に変化させる
ことを特徴とする請求項2記載の映像処理装置。 - 前記推定処理部は、前記対象物の種類、位置、移動方向、動作状態のうちの少なくとも1つに対応して、前記推定方法を自動的に変化させる
ことを特徴とする請求項3記載の映像処理装置。 - 前記映像処理装置は、車両に関する映像を前記表示装置に表示させるものであり、
前記車両の運転情報、前記車両の周囲環境情報、前記車両のナビ情報のうちの少なくとも1つを取得する環境情報取得部をさらに備え、
前記処理判定部は、前記環境情報取得部により取得された情報に対応して、前記画像処理周期を自動的に変化させる
ことを特徴とする請求項2記載の映像処理装置。 - 前記映像処理装置は、車両に関する映像を前記表示装置に表示させるものであり、
前記車両の運転情報、前記車両の周囲環境情報、前記車両のナビ情報のうちの少なくとも1つを取得する環境情報取得部をさらに備え、
前記推定処理部は、前記環境情報取得部により取得された情報に対応して、前記推定方法を自動的に変化させる
ことを特徴とする請求項3記載の映像処理装置。 - 前記画像処理部は、前記推定処理部により前記推定した前記関連情報が生成された後に、前記推定して生成された前記関連情報に対して画像認識処理を行う
ことを特徴とする請求項1から請求項7のうちのいずれか1項記載の映像処理装置。 - 対象物を含む映像を表示装置に表示させる映像処理装置と前記表示装置とを備える映像処理システムにおいて、
前記映像から画像を取得する画像取得部と、
前記画像取得部により取得された画像を画像処理するか推定処理するかをフレームごとに判定する処理判定部と、
前記処理判定部により画像処理するフレームであると判定された場合に、前記画像取得部により取得された画像を認識して、前記対象物の位置および領域を示す関連情報を生成する処理を行う画像処理部と、
前記処理判定部により推定処理するフレームであると判定された場合に、前記画像処理部により過去のフレームから生成された前記関連情報に基づいて、前記関連情報が生成されていない対象物の位置および領域を示す関連情報を推定して、当該推定した前記関連情報を生成する推定処理部と、
前記画像処理部および前記推定処理部により生成された前記関連情報をすべてのフレームの前記対象物に付加して前記表示装置に表示させる表示制御部と
を備えたことを特徴とする映像処理システム。 - 対象物を含む映像を表示装置に表示させる映像処理装置と前記表示装置とを備えるシステムの映像処理方法において、
画像取得部が、前記映像から画像を取得するステップと、
処理判定部が、前記画像取得部により取得された画像を画像処理するか推定処理するかをフレームごとに判定するステップと、
画像処理部が、前記処理判定部により画像処理するフレームであると判定された場合に、前記画像取得部により取得された画像を認識して、前記対象物の位置および領域を示す関連情報を生成する処理を行うステップと、
推定処理部が、前記処理判定部により推定処理するフレームであると判定された場合に、前記画像処理部により過去のフレームから生成された前記関連情報に基づいて、前記関連情報が生成されていない対象物の位置および領域を示す関連情報を推定して、当該推定した前記関連情報を生成するステップと、
表示制御部が、前記画像処理部および前記推定処理部により生成された前記関連情報をすべてのフレームの前記対象物に付加して前記表示装置に表示させるステップと
を備えたことを特徴とする映像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013256200A JP6080751B2 (ja) | 2013-12-11 | 2013-12-11 | 映像処理装置、映像処理システムおよび映像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013256200A JP6080751B2 (ja) | 2013-12-11 | 2013-12-11 | 映像処理装置、映像処理システムおよび映像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015115760A true JP2015115760A (ja) | 2015-06-22 |
JP6080751B2 JP6080751B2 (ja) | 2017-02-15 |
Family
ID=53529197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013256200A Active JP6080751B2 (ja) | 2013-12-11 | 2013-12-11 | 映像処理装置、映像処理システムおよび映像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6080751B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018036444A (ja) * | 2016-08-31 | 2018-03-08 | アイシン精機株式会社 | 表示制御装置 |
JP2019033469A (ja) * | 2017-08-08 | 2019-02-28 | キヤノン株式会社 | 撮像装置、制御方法及びプログラム |
CN110169075A (zh) * | 2017-01-09 | 2019-08-23 | 国际商业机器公司 | 在直播中智能插入次要内容 |
WO2022074701A1 (ja) * | 2020-10-05 | 2022-04-14 | 日本電気株式会社 | 情報処理装置、情報処理システム、および情報処理方法 |
JP2022069671A (ja) * | 2018-12-27 | 2022-05-11 | ヤンマーパワーテクノロジー株式会社 | 作業車両用の障害物検知システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007142866A (ja) * | 2005-11-18 | 2007-06-07 | Fujifilm Corp | 撮像装置 |
JP2009193135A (ja) * | 2008-02-12 | 2009-08-27 | Xanavi Informatics Corp | 車載モニタ装置 |
JP2010050934A (ja) * | 2008-08-25 | 2010-03-04 | Canon Inc | 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム |
JP2011192092A (ja) * | 2010-03-15 | 2011-09-29 | Omron Corp | 対象物追跡装置、対象物追跡方法、および制御プログラム |
JP2012085090A (ja) * | 2010-10-12 | 2012-04-26 | Olympus Imaging Corp | 撮像装置および画像処理方法 |
-
2013
- 2013-12-11 JP JP2013256200A patent/JP6080751B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007142866A (ja) * | 2005-11-18 | 2007-06-07 | Fujifilm Corp | 撮像装置 |
JP2009193135A (ja) * | 2008-02-12 | 2009-08-27 | Xanavi Informatics Corp | 車載モニタ装置 |
JP2010050934A (ja) * | 2008-08-25 | 2010-03-04 | Canon Inc | 画像処理装置、撮像装置、画像処理装置の制御方法及びプログラム |
JP2011192092A (ja) * | 2010-03-15 | 2011-09-29 | Omron Corp | 対象物追跡装置、対象物追跡方法、および制御プログラム |
JP2012085090A (ja) * | 2010-10-12 | 2012-04-26 | Olympus Imaging Corp | 撮像装置および画像処理方法 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018036444A (ja) * | 2016-08-31 | 2018-03-08 | アイシン精機株式会社 | 表示制御装置 |
CN107791951A (zh) * | 2016-08-31 | 2018-03-13 | 爱信精机株式会社 | 显示控制装置 |
CN107791951B (zh) * | 2016-08-31 | 2023-01-17 | 株式会社爱信 | 显示控制装置 |
CN110169075A (zh) * | 2017-01-09 | 2019-08-23 | 国际商业机器公司 | 在直播中智能插入次要内容 |
CN110169075B (zh) * | 2017-01-09 | 2021-06-25 | 国际商业机器公司 | 在直播中智能插入次要内容 |
JP2019033469A (ja) * | 2017-08-08 | 2019-02-28 | キヤノン株式会社 | 撮像装置、制御方法及びプログラム |
JP7250433B2 (ja) | 2017-08-08 | 2023-04-03 | キヤノン株式会社 | 撮像装置、制御方法及びプログラム |
JP2022069671A (ja) * | 2018-12-27 | 2022-05-11 | ヤンマーパワーテクノロジー株式会社 | 作業車両用の障害物検知システム |
JP7317165B2 (ja) | 2018-12-27 | 2023-07-28 | ヤンマーパワーテクノロジー株式会社 | 作業車両用の障害物検知システム |
WO2022074701A1 (ja) * | 2020-10-05 | 2022-04-14 | 日本電気株式会社 | 情報処理装置、情報処理システム、および情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6080751B2 (ja) | 2017-02-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6080751B2 (ja) | 映像処理装置、映像処理システムおよび映像処理方法 | |
US11640812B2 (en) | Visual content overlay system | |
CN109557904B (zh) | 一种测试方法、装置、设备和介质 | |
JP5509712B2 (ja) | 運転支援システム、運転支援装置、運転支援方法、及び運転支援プログラム | |
JP4751429B2 (ja) | 物体追跡の方法 | |
JP5503728B2 (ja) | 車両の周辺監視装置 | |
US9761012B2 (en) | Object tracking device, object tracking method, and computer-readable medium | |
US8644553B2 (en) | Image display device, image display method, and image display program | |
CN105009032A (zh) | 信息处理装置、姿势检测方法和姿势检测程序 | |
US20160176345A1 (en) | Vehicle system for detecting object and operation method thereof | |
JP4609603B2 (ja) | 3次元情報表示装置および3次元情報表示方法 | |
WO2019069875A1 (ja) | 移動体用画像生成記録表示装置及びプログラム | |
KR102359083B1 (ko) | 움직이는 객체 검출 장치 및 방법 | |
CN108122245B (zh) | 一种目标行为描述方法、装置和监控设备 | |
US20190094962A1 (en) | Non-transitory computer-readable storage medium, display control method, and display control apparatus | |
EP3913527A1 (en) | Method and device for performing behavior prediction by using explainable self-focused attention | |
CN111989915B (zh) | 用于图像中的环境的自动视觉推断的方法、介质、及系统 | |
JP2019208212A (ja) | 移動体用画像生成記録表示装置及びプログラム | |
JP6518951B2 (ja) | 車載用表示装置、車載用表示装置の制御方法、プログラム | |
CN115206122B (zh) | 轨迹显示方法、装置、存储介质及计算机设备 | |
Minoura et al. | Driving support by estimating vehicle behavior | |
JP2017175268A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP4244887B2 (ja) | 移動位置予測装置、移動位置予測方法、衝突判定装置、及び衝突判定方法 | |
JP4654736B2 (ja) | 俯瞰映像表示装置 | |
JP2021104794A (ja) | 車両用表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150324 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160422 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161130 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20161208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6080751 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |